08.08.2023 Экспертиза, Искусственный интеллектСпособность машин обучаться и становиться лучше с течением времени является одним из главных аргументов в пользу современного искусственного интеллекта. Однако новое исследование «How Is ChatGPT’s Behavior Changing over Time?», опубликованное на прошлой неделе, показывает, что со временем ChatGPT может становиться хуже в решении некоторых задач, сообщает портал Datanami. Согласно первому варианту статьи, подготовленному исследователями Стэнфордского университета и Калифорнийского университета в Беркли, в результатах GPT-3.5 и GPT-4, больших языковых моделей (LLM) OpenAI, на которых основан популярный интерфейс ChatGPT, был обнаружен значительный дрейф. Трое исследователей — Матей Захария, доцент Стэнфорда, соучредитель компании Databricks и создатель Apache Spark, а также Линьцзяо Чен и Джеймс Зоу из Калифорнийского университета в Беркли — протестировали две различные версии двух LLM, включая GPT-3.5 и GPT-4, которые существовали в марте 2023 г. и в июне 2023 г. Исследователи проверили все четыре модели на тестовой базе задач ИИ, включая математические задачи, ответы на чувствительные/опасные вопросы, опросы общественного мнения, ответы на многоходовые наукоемкие вопросы, генерацию кода, экзамены на получение медицинской лицензии США и визуальное мышление. Полученные результаты свидетельствуют о значительной вариативности ответов, даваемых LLM. В частности, по сравнению с мартовской версией GPT-4, июньская версия оказалась хуже в ответах на математические задачи. Показатель ...
читать далее.