Обвязки ИИ-агентов для кода дорожают, но не повышают качество задач

Что произошло

Контролируемое исследование показало, что смена «обвязки» (harness) для ИИ-агентов, которые пишут код, почти не влияет на долю успешно выполненных задач, но стоимость одной задачи может вырасти примерно втрое. Об этом сообщает The Decoder, ссылаясь на результаты исследования.

Основной причиной роста расходов назван системный промпт. Он передаётся модели заново на каждом шаге работы агента, поэтому издержки накапливаются по мере выполнения задачи. Сами по себе более сложные обвязки, судя по выводам исследования, не дают заметного прироста качества.

Почему это важно

Для организаций, которые внедряют ИИ-агентов в разработку, это меняет привычную логику выбора. Инструменты часто оцениваются по функциям и заявленной производительности, тогда как экономика выполнения задач остаётся в тени. Если расходы на токены и повторную передачу контекста растут быстрее результата, итоговая отдача от автоматизации может оказаться существенно ниже ожидаемой.

Для руководителей цифровой трансформации это также сигнал пересмотреть метрики. Оценивать ИИ-агентов стоит не только по доле решённых задач, но и по стоимости каждого результата и по тому, как она меняется при масштабировании.

Ключевые выводы исследования

• Почти без изменений — доля успешно выполненных задач при смене обвязки для кодовых агентов.
• Примерно втрое — возможный рост стоимости одной задачи.
• Каждый шаг — системный промпт передаётся заново на каждом этапе, что и выступает главным драйвером расходов.

Позиция Renascence

Мы считаем, что основной вопрос здесь не в том, какая обвязка «умнее», а в том, как устроена экономика повторяющихся взаимодействий с моделью. Многие команды будут искать улучшение в более сложных инструментах, тогда как реальный резерв может лежать в дисциплине контекста и в том, что именно передаётся модели на каждом шаге.

Большинство читателей пропустит главное: в ИИ-агентах дорожает не интеллект, а повторение. Так же, как в сервисном дизайне, где лишний шаг в процессе незаметно умножает издержки клиента и оператора, системный промпт, переотправляемый на каждом шаге, становится скрытым налогом на каждую задачу. Разумный оператор должен сначала измерить стоимость одного результата, а потом уже выбирать инструмент, и сокращать повторяющуюся нагрузку раньше, чем покупать более дорогую обвязку.