И можно ли верить, что данные клиентов OpenAI отправленные через API, не используются для обучения моделей?
На днях наши знакомые ребята, создатели популярного телеграм-бота @GPT4Telegrambot, озадачили нас вопросом: «Just AI приложили руку к созданию GPT-3,5 Turbo?». Вопрос всплыл после того, как они подключили новую модель GPT-3,5 Turbo версии 0125 через Azure и спросили бота: «Кто тебя создал?». Ответ был: «Я был создан командой Just AI». То есть нами.
Конечно, подмывало ответить, что команда Just AI – та самая компания, которая тайно правит миром и стоит за большими языковыми моделями (но пока что это не так). На самом деле мы очень удивились и решили разобраться, как так получилось. В этой статье расскажем о нашем мини-расследовании и гипотезах, попутно рассказав и об инструментах, которые мы для этого использовали.
Давайте предположим
Гипотеза №1 Допустим, что новая модель выдает такой результат, потому что ее так обучили, и каким-то образом в нее попал наш датасет. Возможно, он попал от нас же через API. Но тогда, выходит, что заверения OpenAI о том, что они не используют данные корпоративных клиентов и пользователей API для дообучения моделей – неправда.
Гипотеза №2 С другой стороны, возможно, где-то всплыл один из наших датасетов в котором мы могли использовать такую пару вопрос-ответ.
Гипотеза №3 Наконец, нельзя исключать, что кто-то хакнул ребят из @GPT4Telegrambot и поставил какую-то заглушку, но зачем?
Смоделируем ситуацию
Мы решили воспроизвести ситуацию, в которой боты на GPT-3,5 Turbo отвечают на вопрос о своем создателе. Во-первых, ответ получался при доступе к моделям через облако Azure. Во-вторых, при вопросе заданном на русском. В-третьих, ответ: «Just AI» чаще всего получался, когда мы с ними сначала здоровались, а потом уже задавали вопрос. Иногда ответ был правильный – «Я создан командой OpenAI», а иногда модель наотрез отказывалась говорить, кто ее создал, – мол это секрет, тайна и персональные данные.
Наши партнеры в Казахстане подключили GPT-3,5 Turbo 0125 от Azure в нашу MLOps платформу Caila. Caila не только хостит и тренирует open-source модели, но и агрегирует облачные нейросети и позволяет их тестировать. Через интерфейсы тестирования Caila был получен такой результат:
Как видно из примеров, модель все же чаще отвечала правильно – ее создали в OpenAI. Зато были обнаружены «следы» работы и других компаний – «Академия общения», «A21 Labs» и Replica. Стоит отметить, что подобные ответы получаются только при запросах на русском языке (но не будем ручаться, мы тестировали только русский и английский).
Ради интереса мы решили написать скрипт и собрать статистику упоминаний компаний по запросу «Кто тебя создал?». По результатам 1000 запросов в ответах модели всплыли и другие крупные российские компании, но Just AI была второй по количеству упоминаний после OpenAI. В 3,5% случаев модель говорила, что создали ее мы.
И снова гипотезы
Учитывая написанное выше, напрашивается вывод о том, что модель была обучена на данных сторонних компаний, в том числе российских, в которых явным образом содержался вопрос и ответ о создателях. Компании могли, например, готовить синтетические датасеты для обучения open-source моделей для себя. При этом если дополнительные alignment и дообучение модели GPT именно на русском языке в достаточной степени не проводились, модель четко не запомнила, что ее создали OpenAI – вопрос-то, в целом, довольно стандартный.
Еще можно предположить, что компании могли использовать ChatGPT в своих продуктах и задавать системным промптом информацию об этом, а потом их диалоги стали частью обучающего датасета OpenAI.
Оба варианта предполагают, что данные, отправленные в OpenAI через API, использовались для дообучения вопреки официальной политике OpenAI. Если только они не были выложены в открытый доступ самими создателями датасетов.
Так нарушили ли в OpenAI свое policy?
Применительно к нашему случаю могли сработать оба варианта. Мы действительно готовили синтетические датасеты прошлым летом с помощью ChatGPT для решения более узких задач на основе LLaMA-2, но мы их никогда не выкладывали в паблик.
Кроме того, у нас есть Jay Copilot. В режиме ассистента системные промпты Jay задают модели контекст, что его создали в Just AI. Часть таких запросов как минимум в Казахстане обрабатывается именно моделями GPT от OpenAI.
Таким образом, мы были очень близки к выводу, что Open AI действительно использует датасеты на основе информации, полученной через API от корпоративных пользователей. Ведь наши партнеры в Казахстане работают с OpenAI совершенно официально.
На всякий случай мы более детально изучили наши синтетические датасеты с прошлого лета и поняли, что пар вопрос-ответ конкретно про Just AI там не было вообще. Мы действительно собирали датасет для дообучения Llama-2, чтобы улучшить ее понимание русского языка и превратить ее в JustGPT. Но подобные пары вопрос-ответ мы создавали вручную, то есть публично датасет никогда и никуда не был выложен.
Значит, в обучающий датасет попали системные промпты и диалоги с Jay Copilot? Все еще очень не хотелось в это верить, и мы мучительно вспоминали, где еще в паблике мог оказаться датасет с такой информацией.
Наиболее вероятная гипотеза
В итоге мы нашли датасет. Единственный публичный и открытый датасет, причем совсем крохотный, из которого эта информация могла попасть в OpenAI без необходимости смотреть в наши частные данные.
В сентябре прошлого года при тестировании JustGPT мы делали небольшой бенчмарк и готовили сет из 200 вопросов, которыми тестировали нашу модель, а также YandexGPT и GigaChat. Модель от OpenAI использовалась как модель-оценщик: получала на вход эталонный ответ, сгенерированный ответ и критерии оценки. В тестируемых ответах действительно упоминалась JustGPT.
Среди тестовых вопросов был такой: «Представься и расскажи о своих интересах». Так как у JustGPT в системном промпте было написано: «Ты – JustGPT, русскоязычный автоматический ассистент, созданный в компании Just AI. Ты разговариваешь с людьми и помогаешь им», то и ответом на данный вопрос была соответствующая реплика. Были и другие похожие вопросы, но и ответы тоже были аналогичными.
Про обучение нашей модели и результаты тестирования мы писали на Хабре, и в ней содержалась ссылка на датасет. Just AI в качестве разработчика модели упоминается в тестовом датасете всего один раз, но упоминается. И его вполне могли взять для дообучения русскому языку модели OpenAI, а также для проверки корректности ответов. В теории именно тогда в ней мог остаться «след» от Just AI, и никаких «закрытых» частных данных OpenAI не использовала.
Во всяком случае, нам бы хотелось верить, что так и есть. Но даже если OpenAI или кто-то еще играет не по правилам, то на этот случай у нас есть Jay Guard – инструмент, который защищает данные компаний при работе с облачными LLM, заменяя любые персональные и чувствительные данные на синтетические.
Но есть и другие, пока открытые вопросы. Возможно, тоже самое происходит сейчас в других языковых доменах? Может, кто-то видит другие причины, которые мы не учли? Наконец, не ясно, почему ситуация воспроизводится только при доступе к модели через Azure, а не напрямую через OpenAI. Может быть дело в какой-то системе оптимизации производительности, например, используется какая-то система кэширования, а с самой моделью всё в порядке?
Будет здорово, если поделитесь своими мыслями в комментариях.
