Microsoft и Hugging Face использовали ThinkingBox для обучения ИИ-агентов на проверяемых результатах
Microsoft и Hugging Face показали, как обучать ИИ-агентов не просто правильно вызывать инструменты, а доводить задачи до нужного результата. Для этого они использовали ThinkingBox — систему, которая проверяет конечное состояние базы данных и превращает результат проверки в сигнал для обучения с подкреплением.
ThinkingBox изначально создавали для проверки работы агентов в бизнес-сценариях. Система запускает агента с доступом к реальному бэкенду и инструментам, а затем проверяет, что изменилось в базе данных. В отличие от оценки по тексту ответа или последовательности вызовов инструментов, такой подход позволяет определить, действительно ли агент выполнил задачу.
Разработчики решили использовать эти проверки как награду при обучении. Для Qwen3.8-27B они отобрали задачи подходящей сложности, оценив вероятность их решения исходной моделью, и обучали модель методом GRPO в течение 50 шагов. На ThinkingBox-Bench средний успех вырос с 51,70% до 60,78%, а число задач, успешно выполненных во всех 20 попытках, увеличилось с 38 до 107.
При этом результат неоднозначен: доля задач, которые модель смогла решить хотя бы один раз, немного снизилась. Авторы также показали пример с бронированием отеля: исходная модель в 15 из 20 попыток меняла бронирование и оформляла возврат без обязательного согласования менеджера. После обучения агент во всех 20 попытках сохранял состояние бронирования и платежа, а в 19 случаях все ожидаемые записи совпадали.
Для вайбкодера здесь важен принцип обучения и оценки агентных систем: проверять не то, насколько убедительно модель сообщает о завершении работы, а то, что реально изменилось в проекте. Если агент пишет код, работает с API или изменяет базу данных, полезно строить тесты на конечное состояние, обязательные ограничения и побочные эффекты. Такие проверки могут стать основой для автоматической оценки и дальнейшего обучения агента. ThinkingBox-Training опубликован на GitHub, поэтому подход можно изучить и попробовать самостоятельно.
Черновик этой заметки подготовила нейросеть по ленте первоисточника. Мы помечаем такие материалы честно — факты и цифры сверяйте по ссылке на источник выше. Как мы работаем с данными.