К содержанию
Quantoros

Статья

Галлюцинации и открытия растут из одного места

Почему галлюцинации и открытия языковых моделей связаны: монофакты, оценка Гуда–Тьюринга, эксперименты с gpt-oss-20b и gemma-3-12b и параллель с человеческой памятью.

Есть известный результат Калаи и Вемпалы: даже идеально откалиброванная языковая модель обязана галлюцинировать. Доля галлюцинаций снизу ограничена долей «монофактов» — фактов, которые встретились в обучающих данных ровно один раз. Логика простая: если модель видела факт один раз, она не может надёжно отличить его от правдоподобной выдумки того же вида.

Свежая работа смотрит на эту же картину с другой стороны. Если монофакты порождают галлюцинации, может быть, они же порождают и открытия?

Немного теории

Идея восходит к оценке Гуда–Тьюринга (той самой, со взлома «Энигмы»): доля объектов, встретившихся в выборке один раз, оценивает вероятность того, что следующий объект будет новым. То есть монофакты показывают, сколько «неувиденной» вероятностной массы осталось в распределении. Галлюцинации берутся из этой массы, но открытия — верные утверждения, которых не было в данных, — тоже могут взяться только оттуда.

Авторы вводят «фронтир»: зону неувиденных утверждений, которые ещё не очевидны, но и не полный шум. Внутри неё открытия и галлюцинации идут в фиксированной пропорции, а ёмкость для открытий ограничена сверху и снизу через долю монофактов. Если упростить: модель, у которой не осталось неопределённости, ничего нового и не найдёт.

Эксперимент

Взяли gpt-oss-20b и gemma-3-12b и дообучали их на наборах, где долю монофактов меняли от 0 до 1 при прочих равных. Задачи из двух областей:

  • материаловедение: придумать химическую формулу с заданными свойствами. Правильными ответами считаются материалы, которые появились в Materials Project уже после снапшота для обучения;
  • геномика: отредактировать ДНК-последовательность так, чтобы получить нужную активность в трёх типах клеток.

Результат: чем больше монофактов, тем больше открытий. Тренд монотонный для обеих моделей, обеих областей, с reasoning-трейсами и без, при одной попытке и при шестнадцати.

Самая интересная абляция — про разнообразие. Очевидное возражение: монофакты просто делают данные разнообразнее. Чтобы это проверить, авторы обучали 3 и 5 эпох. Данные те же, но каждый факт уже виден несколько раз. Зависимость пропала, а на высоких долях монофактов одна эпоха обыграла несколько. Важно не только разнообразие, но и то, что модель видела факт ровно один раз.

Цена тоже понятна: внутри обучающего распределения с ростом монофактов растут и открытия, и галлюцинации. Отделить одно от другого бесплатно не получается, это один и тот же механизм.

Что здесь стоит держать в голове

Модели среднего размера, это дообучение, а не претрейн, и открытием считается точное совпадение с отложенным ответом — без лабораторной проверки. Теоретические границы красивые, но параметры фронтира на практике оценить сложно.

Параллель с человеческой памятью

Но самое интересное здесь — это параллель с человеческой памятью. Шактер и Аддис из Гарварда давно показывают, что память не воспроизводит прошлое, а каждый раз собирает его заново из фрагментов. Вспоминание прошлого и представление будущего во многом опираются на одни и те же процессы и области мозга. Цена этой гибкости — ложные воспоминания, когда мы уверенно «помним» то, чего не было.

И это видно в данных: в работе 2021 года люди, которые придумывали больше вариантов использования обычного предмета, чаще ложно вспоминали слова, которых не было в списке. Творчество и ошибки памяти растут из одной способности перекомбинировать увиденное.

С LLM, похоже, та же история. Модель, которая только точно воспроизводит выученное, безопасна, но бесплодна. Длинный хвост в данных мы привыкли считать шумом и кандидатом на фильтрацию, а он, возможно, и есть то место, где остаётся пространство для нового. Тогда галлюцинации не баг, который надо вычистить до нуля, а налог на способность к новому. Вопрос не в том, как их убрать, а в том, как отфильтровать на выходе.

Источники

Новые статьи на почту