03.03.2023  Экспертиза, Искусственный интеллект, Менеджмент

Целью данной статьи является исследование возможности и перспектив использования больших языковых моделей в разработке программного обеспечения. Нами рассмотрены три существующие большие языковые модели — Codex, ChatGPT и AlphaCode, в том числе проведено сравнение Codex и ChatGPT посредством решения олимпиадных задач с сайта Codeforces с их использованием. Исследование показало, что на текущий момент эти языковые модели не в состоянии качественно и предсказуемо разрабатывать алгоритмы, необходимые для решения олимпиадных задач Codeforces среднего уровня и выше. Однако траектория развития подобных систем и результаты похожего исследования, опубликованные авторами модели AlphaCode, позволяют ожидать, что в ближайшее время способность таких систем к разработке алгоритмов сильно улучшится и в течении периода от нескольких месяцев до нескольких лет мы начнём применять такие системы для разработки несложных программ от начала и до конца. Большие языковые модели Языковая модель — это вероятностное распределение по последовательностям слов. В контексте последовательности слов длинной m, языковая модель присваивает вероятность P(w1, ..., wm) всей последовательности. Языковые модели генерируют вероятности, обучаясь на массиве текстовых данных (например, статьи из Википедии, книги, являющиеся общественным достоянием, статьи из Интернета, онлайн-блоги, форумы, комментарии и другие публично доступные тексты). Принимая во внимание тот факт, что языки могут быть использованы для выражения ... читать далее.