Аналитик Котилевец: ИИ может генерировать правдоподобный, но вымышленный ответ

Явление, когда нейросети выдают несуществующие факты, уверенно ссылаются на никогда не существовавшие статьи и придумывают имена известных людей — это не случайный сбой, а фундаментальная особенность того, как работают языковые модели.

Об этом рассказал в беседе с RT Игорь Котилевец, кандидат технических наук, доцент кафедры КБ-14 «Цифровые технологии обработки данных» Института кибербезопасности и цифровых технологий РТУ МИРЭА.

Это явление называется галлюцинацией, и оно коренится не в «ошибках» программы, а в самой природе машинного обучения, добавил он.

«Большие языковые модели устроены как сложные системы предсказания слов. Они не хранят базу знаний в виде набора проверенных фактов. Вместо этого они анализируют колоссальные массивы текстов и строят вероятностные модели того, какие слова с какой вероятностью следуют друг за другом. Когда вы задаёте вопрос, модель не ищет правильный ответ в своём внутреннем архиве, а предсказывает наиболее вероятное продолжение вашего запроса, слово за словом», — подчеркнул собеседник RT.

Отмечается, что в этом процессе вероятность ошибки накапливается с каждым следующим словом, и чем длиннее ответ, тем выше шанс, что модель «съедет» с реальных фактов в область правдоподобных, но вымышленных конструкций.

«Исследования показывают, что эта проблема является математически неизбежным следствием такого метода генерации. Даже идеальные обучающие данные не устраняют её полностью, потому что модель запоминает не сами факты, а статистические закономерности их описания. Когда информации по конкретному вопросу в обучающих данных недостаточно, а пользователь настаивает на ответе, модель «дорисовывает» недостающие фрагменты, создавая реалистичную иллюзию знания», — пояснил специалист.

По его словам, особая сложность возникает в узких или спорных темах.

«Если нейросеть обучалась на ограниченном или противоречивом материале, она с высокой вероятностью сгенерирует ответ, который выглядит убедительно, но на поверку оказывается ложным. Модель не лжёт намеренно — она просто не различает истину и вымысел, если и то и другое выглядит как «типичный текст» на заданную тему», — добавил эксперт.

Кроме того, он предупредил, что может возникнуть ситуация, когда модель «понимает», что пользователь ждёт конкретное объяснение, и подавляет сигнал «я не знаю», генерируя вместо него правдоподобный, но вымышленный ответ.

«Ирония в том, что эта модель «угождения» не является результатом специального обучения — она формируется ещё на этапе анализа миллиардов текстов, где модель усваивает негласное правило человеческого общения: подтвердить ожидания собеседника важнее, чем сказать правду», — отметил специалист.

Он предупредил, что галлюцинации — это не баг, а особенность, заложенная в архитектуру нейросетей.

«Доверяйте, но всегда проверяйте информацию из независимых источников, особенно если речь идёт о важных или малоизвестных фактах», — заключил собеседник RT.

Ранее россиян предупредили, что зависимость от ИИ приводит к искажению убеждений и изоляции.