Как мы внедряли LLM в модерацию Авито

Привет! Меня зовут Руслан Сакаев, я DS-тимлид в Авито. В статье расскажу, как мы внедряли LLM в проверки объявлений и что пришлось достроить вокруг модели, чтобы решение выдержало продакшен.

Статья будет полезна DS/ML-инженерам, MLOps и техническим руководителям, которые уже поняли, что LLM закрывает их задачу, но пока не знают, как обернуть это в готовое продакшн-решение.

В этой статье

• Задача и ограничения

  • Почему LLM хорошо работает в задачах модерации

  • Как передать модели регламент

  • Выбор модели

• Работа над качеством

  • Подбор промптов

  • Автоподбор промпта

  • Обучение LLM

• Как система работает в продакшене

  • Наша архитектура

  • LLM Admin panel — управление промптами

• GuardRails

  • Инференс LLM

  • Интеграция с классическим ML

  • Результаты

• Что мы поняли после внедрения

Задача и ограничения

Почему LLM хорошо работает в задачах модерации

Мы проверяем больше 20 млн объявлений в сутки, и более 95% проверок уже автоматизировано. Оставшийся поток направляется на дополнительную проверку. На наших объёмах это сотни тысяч объявлений в день, и с ними работают несколько сотен модераторов.

При этом ручная модерация довольно тяжело масштабируется. Регламенты большие и сложные, держать их в голове целиком человек не может. Новому модератору нужно около полугода, чтобы выйти на продуктивное плато по качеству, и всё это время он неизбежно ошибается.

Мы поставили себе цель: перевести проверки на LLM, сохранив качество ручной модерации. Именно LLM, а не очередная классическая модель — по трём причинам.

Понимает контекст и нюансы правил. Регламент — это не список ключевых слов, а десятки страниц формулировок с оговорками, и работа с таким текстом — ровно то, что языковые модели умеют.

Быстрее закрывает новые схемы обхода правил. Когда появляется новый способ, под классическую модель нужно собирать разметку и переобучать её, а то и обучать с нуля. С LLM такого длительного цикла можно избежать.

Масштабируется при росте объёмов контента. При увеличении потока можно наращивать GPU-мощности или переходить на более экономичные модели. К тому же регулярно выходят новые поколения моделей, которые дают то же качество при меньшем размере.

Далее расскажу, из каких компонентов состоит система, которая на момент написания статьи работает в продакшене.

Как передать модели регламент

Главный ориентир в модерации — регламент: модератор обязан проверять объявление в соответствии с ним. Регламент может быть достаточно большим, до 200 страниц. Как подать такой документ на вход модели?

Мы рассматривали три варианта.