17.07.2025  Экспертиза, Искусственный интеллект, Менеджмент

Согласно результатам, опубликованным некоммерческой исследовательской группой METR, занимающейся вопросами искусственного интеллекта, инструменты ИИ могут замедлить работу опытных Open Source-разработчиков, а не ускорить ее, сообщает портал eWeek. Многие разработчики и эксперты ожидали, что использование передовых инструментов значительно повысит производительность и сократит время выполнения задач в привычных кодовых базах примерно на 24%. Однако рандомизированное исследование METR показало, что все обстоит с точностью до наоборот. По словам авторов исследования, «к удивлению, мы обнаружили, что когда разработчики используют инструменты ИИ, у них уходит на 19% больше времени», чем без использования передовых инструментов. Бенчмарки «жертвуют реализмом» В исследовании также отмечается, что «хотя бенчмарки для оценки возможностей агентов по кодированию оказались полезными для понимания возможностей ИИ, они обычно жертвуют реализмом ради масштаба и эффективности». Далее авторы отчета объясняют, что задачи кодирования часто «самодостаточны» и не требуют предварительного контекста для понимания возможностей инструментов. Бенчмарки также «используют алгоритмическую оценку, которая не отражает многие важные возможности... Эти свойства могут привести к тому, что бенчмарки будут переоценивать возможности ИИ». В частности, исследователи отмечают, что из-за отсутствия человеческого контроля в бенчмарках модели ИИ часто застревают на незначительных препятствиях, которые разработчик ... читать далее.