Статья
Галлюцинации и открытия растут из одного места
Почему галлюцинации и открытия языковых моделей связаны: монофакты, оценка Гуда–Тьюринга, эксперименты с gpt-oss-20b и gemma-3-12b и параллель с человеческой памятью.
Есть известный результат Калаи и Вемпалы: даже идеально откалиброванная языковая модель обязана галлюцинировать. Доля галлюцинаций снизу ограничена долей «монофактов» — фактов, которые встретились в обучающих данных ровно один раз. Логика простая: если модель видела факт один раз, она не может надёжно отличить его от правдоподобной выдумки того же вида.
Свежая работа смотрит на эту же картину с другой стороны. Если монофакты порождают галлюцинации, может быть, они же порождают и открытия?
Немного теории
Идея восходит к оценке Гуда–Тьюринга (той самой, со взлома «Энигмы»): доля объектов, встретившихся в выборке один раз, оценивает вероятность того, что следующий объект будет новым. То есть монофакты показывают, сколько «неувиденной» вероятностной массы осталось в распределении. Галлюцинации берутся из этой массы, но открытия — верные утверждения, которых не было в данных, — тоже могут взяться только оттуда.
Авторы вводят «фронтир»: зону неувиденных утверждений, которые ещё не очевидны, но и не полный шум. Внутри неё открытия и галлюцинации идут в фиксированной пропорции, а ёмкость для открытий ограничена сверху и снизу через долю монофактов. Если упростить: модель, у которой не осталось неопределённости, ничего нового и не найдёт.
Эксперимент
Взяли gpt-oss-20b и gemma-3-12b и дообучали их на наборах, где долю монофактов меняли от 0 до 1 при прочих равных. Задачи из двух областей:
- материаловедение: придумать химическую формулу с заданными свойствами. Правильными ответами считаются материалы, которые появились в Materials Project уже после снапшота для обучения;
- геномика: отредактировать ДНК-последовательность так, чтобы получить нужную активность в трёх типах клеток.
Результат: чем больше монофактов, тем больше открытий. Тренд монотонный для обеих моделей, обеих областей, с reasoning-трейсами и без, при одной попытке и при шестнадцати.
Самая интересная абляция — про разнообразие. Очевидное возражение: монофакты просто делают данные разнообразнее. Чтобы это проверить, авторы обучали 3 и 5 эпох. Данные те же, но каждый факт уже виден несколько раз. Зависимость пропала, а на высоких долях монофактов одна эпоха обыграла несколько. Важно не только разнообразие, но и то, что модель видела факт ровно один раз.
Цена тоже понятна: внутри обучающего распределения с ростом монофактов растут и открытия, и галлюцинации. Отделить одно от другого бесплатно не получается, это один и тот же механизм.
Что здесь стоит держать в голове
Модели среднего размера, это дообучение, а не претрейн, и открытием считается точное совпадение с отложенным ответом — без лабораторной проверки. Теоретические границы красивые, но параметры фронтира на практике оценить сложно.
Параллель с человеческой памятью
Но самое интересное здесь — это параллель с человеческой памятью. Шактер и Аддис из Гарварда давно показывают, что память не воспроизводит прошлое, а каждый раз собирает его заново из фрагментов. Вспоминание прошлого и представление будущего во многом опираются на одни и те же процессы и области мозга. Цена этой гибкости — ложные воспоминания, когда мы уверенно «помним» то, чего не было.
И это видно в данных: в работе 2021 года люди, которые придумывали больше вариантов использования обычного предмета, чаще ложно вспоминали слова, которых не было в списке. Творчество и ошибки памяти растут из одной способности перекомбинировать увиденное.
С LLM, похоже, та же история. Модель, которая только точно воспроизводит выученное, безопасна, но бесплодна. Длинный хвост в данных мы привыкли считать шумом и кандидатом на фильтрацию, а он, возможно, и есть то место, где остаётся пространство для нового. Тогда галлюцинации не баг, который надо вычистить до нуля, а налог на способность к новому. Вопрос не в том, как их убрать, а в том, как отфильтровать на выходе.