Коллапс модели при обучении на сгенерированных данных

Вступление

Stable Diffusion произвела революцию в создании изображений по текстовому описанию. GPT-2, GPT-3(.5) и GPT-4 отлично справляются с разнообразными языковыми задачами. ChatGPT познакомил широкую публику с этими языковыми моделями. Сейчас уже ясно, что большие языковые модели (large language models, LLM) никуда не денутся и существенно изменят экосистему текстов и изображений в интернете. Мы изучили, что может произойти с GPT‑{n}, когда большинство текстов в интернете окажутся сгенерированы LLM. Выяснилось, обучение на сгенерированном контенте приводит к необратимым дефектам в моделях: у них исчезают хвосты исходного распределения контента.

Мы назвали этот эффект «коллапс модели», он может возникать в LLM, вариационных автоэнкодерах (variational autoencoders, VAE) и в моделях гауссовых смесей (Gaussian mixture models, GMM). Явление универсально для всех обучаемых генеративных моделей. К нему следует отнестись серьёзно, если мы и дальше хотим обучать модели на больших данных из интернета. Мы убеждены, что информация о подлинных взаимодействиях людей с системами будет становиться всё ценнее по мере того, как в данных из интернета растёт доля контента, сгенерированного LLM.

Проблема обучения моделей

Разработка LLM — очень трудоёмкий процесс, требующий больших объёмов обучающих данных. Однако хотя современные LLM^2,4–6, включая GPT-3, обучались преимущественно на текстах, созданных людьми, это может измениться. Если обучающие данные большинства будущих моделей также будут собираться из интернета, то они неизбежно будут обучаться на данных, произведённых их предшественниками. В этой работе мы исследуем, что происходит, когда текст, произведённый, например, некоторой версией GPT, составляет большую часть обучающего набора последующих моделей. Что происходит с поколениями GPT‑{n} при росте n?

В результате исследования мы обнаружили, что неразборчивое обучение на данных, произведённых другими моделями, вызывает «коллапс модели» — дегенеративный процесс, в ходе которого со временем модели забывают истинное лежащее в основе распределение данных, даже при отсутствии сдвига распределения во времени.

Примеры коллапса модели для GMM, VAE и LLM показывают, что со временем модели начинают терять информацию об истинном распределении: сначала исчезают хвосты, а выученное поведение с каждым поколением сходится к точечной оценке с очень малой дисперсией. Этот процесс неизбежен даже в случаях почти идеальных условий для долгосрочного обучения, то есть при отсутствии ошибки оценивания функции.

В литературе упоминаются два близких к коллапсу модели понятия: катастрофическое забывание (catastrophic forgetting)⁷, возникающее в рамках непрерывного обучения без постановки задач, и отравление данных (data poisoning)^8,9, злонамеренно приводящее к нежелательному поведению. Ни то, ни другое не способно полностью объяснить явление коллапса модели, поскольку постановка принципиально иная, но они дают другой взгляд на наблюдаемое явление. Коллапс модели может иметь более широкие последствия, их мы тоже рассмотрели в этой статье.

Доступ к исходному распределению данных критически важен: в задачах обучения, где важны хвосты лежащего в основе распределения, необходим доступ к реальным данным, произведённым людьми. Иными словами, массовое использование LLM для публикации контента в интернете будет загрязнять сбор данных для обучения их преемников: данные о взаимодействиях людей с LLM будут становиться всё более ценными.

Что такое коллапс модели?

Коллапс модели — это дегенеративный процесс, затрагивающий поколения обученных генеративных моделей. При этом данные, которые модели генерируют, в итоге загрязняют обучающий набор следующего поколения. В свою очередь, модели, обученные на загрязнённых данных, неверно воспринимают реальность. Процесс изображён на рис. 1 a. Мы выделяем два особых случая: ранний коллапс модели и поздний коллапс модели. При раннем коллапсе модель начинает терять информацию о хвостах распределения; при позднем коллапсе модель сходится к распределению, мало похожему на исходное, часто с существенно уменьшенной дисперсией.

Этот процесс происходит из‑за трёх конкретных ошибок, которые накапливаются по мере смены поколений и вызывают отклонение от исходной модели:

Ошибка статистической аппроксимации. Это основной тип ошибки, возникающий из‑за конечности числа выборок и исчезающий при стремлении числа выборок к бесконечности. Он возникает потому, что на каждом шаге повторной выборки существует ненулевая вероятность потери информации.

Ошибка функциональной выразительности. Это вторичный тип ошибки, возникающий из‑за ограниченной выразительности аппроксиматора функций. В частности, нейронные сети являются универсальными аппроксиматорами лишь при стремлении их размера к бесконечности. В результате нейронная сеть может вносить ненулевую вероятность вне носителя (support) исходного распределения или нулевую вероятность внутри носителя исходного распределения. Простой пример ошибки выразительности — попытка приблизить смесь двух гауссиан одной гауссианой. Даже при идеальной информации о распределении данных (то есть бесконечном числе выборок) ошибки модели будут неизбежны. Однако при отсутствии двух других типов ошибок это может произойти только в первом поколении.

Ошибка функциональной аппроксимации. Это вторичный тип ошибки, возникающий прежде всего из‑за ограничений процедур обучения, например структурного смещения стохастического градиентного спуска^10,11 или выбора целевой функции¹². Эту ошибку можно рассматривать как возникающую в пределе бесконечных данных и идеальной выразительности на каждом поколении.

Каждый из перечисленных факторов может как усилить, так и ослабить коллапс модели. Большая аппроксимирующая мощность может даже оказаться палкой о двух концах: лучшая выразительность способна противодействовать статистическому шуму, давая хорошее приближение истинного распределения, но она же может этот шум усилить. Чаще всего мы получаем каскадный эффект, при котором отдельные неточности складываются и приводят к росту суммарной ошибки. Например, переобучение модели плотности заставляет модель неверно экстраполировать и приписывать области высокой плотности областям низкой плотности, не покрытым носителем обучающего набора; затем они будут сэмплироваться с произвольной частотой.

Стоит отметить, что существуют и другие типы ошибок. Например, компьютеры на практике обладают ограниченной точностью. Теперь обратимся к математике, чтобы объяснить, как перечисленное порождает наблюдаемые ошибки, как разные источники могут складываться и как можно количественно измерить среднее расхождение моделей.

Подведём теорию

Мы утверждаем, что процесс коллапса модели универсален для генеративных моделей, которые рекурсивно обучаются на данных, порождённых предыдущими поколениями. Мы количественно оценили ошибки из предыдущего раздела с помощью двух математических моделей. Они достаточно просты, чтобы дать аналитические выражения для интересующих величин, но при этом воспроизводят явление коллапса модели: дискретное распределение при отсутствии ошибок функциональной выразительности и аппроксимации и многомерное гауссово приближение, отражающее совместное действие ошибок функциональной выразительности и статистических ошибок.

Общий стохастический процесс, который мы называем обучением на поколенческих данных, таков. Набор данных в поколении i есть