03.12.2024 Экспертиза, Искусственный интеллектИскусственный интеллект становится все более неотъемлемой частью современного общества, меняя методы работы людей и предприятий. Генеративный ИИ (GenAI) привлек внимание аудитории своим потенциалом революционизировать отрасли, повысить производительность и стимулировать творческие прорывы. Однако, несмотря на впечатляющие возможности, есть опасения, что у GenAI нет истинного понимания мира и основополагающих принципов, которые им управляют, сообщает портал AIwire. Группа ученых из Массачусетского технологического института, Гарварда и Корнелла обнаружила, что большие языковые модели (LLM), такие как GPT-4 от OpenAI и Claude 3 Opus от Anthropic, не способны создавать точное представление о реальном мире. LLM, которая, как кажется, хорошо работает в одном контексте, может сломаться, если окружение немного изменится. Чтобы проверить разные LLM, исследователи разработали две новые метрики. «Логика Майхилла-Нероуда предлагает две метрики для измерения того, насколько эффективно генеративная модель отражает базовые состояния и переходы. Первая метрика суммирует сжатие последовательностей (sequence compression): согласно теории детерминированного конечного автомата (DFA), две последовательности, которые приводят к одному и тому же состоянию, должны иметь одинаковые продолжения; таким образом, можно проверить, выдает ли генеративная модель похожие последовательности выходных данных при запуске на этих двух последовательностях. Вторая метрика суммирует различие последовательностей ...
читать далее.
