Всем привет! Меня зовут Артём Важенцев, я аспирант в Сколтехе и младший научный сотрудник AIRI. Я работаю в группе под руководством Александра Панченко и Артёма Шелманова. Мы занимаемся исследованием и разработкой новых методов оценивания неопределенности для языковых моделей. Этим летом мы представили две статьи на конференции ACL 2023. В одной из них мы описали новый гибридный метод оценивания неопределенности для задачи выборочной классификации текстов для данных с неоднозначными примерами — его внедрение поможет нейросетям лучше находить токсичность в комментариях или угадывать тональность сообщений. В этом тексте я бы хотел рассказать подробнее о нашем методе и процессе его разработки.
Введение
Токсичность в интернете — вещь обыденная, и, похоже, неискоренимая. Невозможно заставить всех пользователей быть добрее или приставить к каждому из них надзирателя, который бы “следил за базаром”. Единственный выход для тех, кто хотел бы ощущать себя в интернете уютнее — это фильтрация, которая невозможна без классификации текста.
Сегодня задачи классификации и им подобные решаются автоматически на основе предсказаний нейросети, однако даже самые продвинутые модели склонны совершать ошибки. Чтобы отлавливать такие ошибки существуют методы оценивания неопределенности. Они пытаются понять насколько модель не уверена в своем предсказании. Полученные оценки неопределенности для хорошего метода должны коррелировать с ошибками модели, т.е. для примеров на которых модель ошибается должна быть высокая неопределенность, для корректно классифицированных — низкая.
Вскоре стало ясно, что многие современные методы оценивания неопределенности могут показывать плохой результат на неоднозначных задачах — определение токсичности текста относится к их числу. Это мотивировало меня и моих коллег из нескольких научных институтов, занимающихся проблемами искусственного интеллекта, разработать более надежный метод, который будет показывать хороший результат даже в сложных случаях.
Задача, в которой есть возможности отказаться от классификации для части примеров, называется выборочной классификацией. В такой задаче наиболее неопределенные предсказания отклоняются, предполагая, что модель могла допустить ошибку, а только самые уверенные предсказания сохраняются. Таким образом, на сохраненной части мы можем значительно улучшить качество классификации. Отклоненные же примеры, для которых модель неопределенна, могут быть дальше отправлены на разметку человеку — эксперту в области, который может более корректно классифицировать данный пример. Также в некоторых системах можно выдать это предсказание пользователю вместе с оценкой неопределенности, чтобы более корректно интерпретировать данное предсказание модели.
Как известно, ошибки могут возникать из двух источников: примеры вне распределения обучающих данных (out-of-distribution, OOD) и сложные примеры (ambiguous in distribution, AID), с которыми модель не может справится корректно. В первом случае хорошо работают методы оценивания эпистемической неопределенности, которая возникает из-за недостатка данных, во втором — методы оценивания алеаторной неопределенности, которая возникает из-за шума и неоднозначности в данных. Таким образом, возникла идея придумать способ, как объединить два этих базовых метода под каждый тип неопределенности и получить более надежный метод.
Определение неопределенности
В приложении математической статистики к машинному обучению неопределенность U(x) вводят как функцию на множестве данных (или примеров) χ, где x ∈ χ. Если неопределенность ниже некоторого порога, считается, что нейросеть надежно справилась с примером, и её предсказание можно использовать. Если же ниже — предсказание для этого примера отклоняется.
Согласно байесовскому подходу общая неопределенность предсказания модели для примера x это сумма алеаторной UA(x) и эпистемической неопределенности UE(x):
Алеаторная неопределенность возникает из-за шума или двусмысленности в данных — она должна быть высока для примеров, которые сложно разметить даже человеку. Эпистемическая неопределенности возникает из-за недостатка данных и должна быть высокая для OOD-примеров. Такая неопределенность полезна для разметки в активном обучении.
Однако, для современных оценок неопределенности простая сумма не подходит, т.к. методы могут иметь совершенно разный разброс значений. Как правило, методы для UA дают значения в диапазоне от 0 до 1, а для UE — вообще любые (например, от минус до плюс миллиона).
Вместо этого можно попытаться организовать пороговый выбор метода подсчета неопределенности в зависимости от того, относится ли данный пример в обучающей области данных. На языке формул это выглядит следующим образом:
где χID — это примеры внутри обучающего распределения данных (in-distribution, ID). Другими словами, если пример далеко от обучающей выборки, то используем эпистемическую неопределенность, иначе — алеаторную. На части датасетов такой подход сработал, но иногда давал сильные просадки относительно базовых методов. Кроме того, такой подход имел множество недостатков, например, трудности с определением XID .
Ранжирование и гибридизация
Вместо складывания абсолютных значений оценок неопределенности или угадывания каких-либо коэффициентов, чтобы совместить диапазоны от разных методов, мы с коллегами предложили процедуру ранжирования. Её суть заключается в сравнении примеров между собой. Процедура создает отсортированный список оценок неопределенности для всех примеров xi из набора
Интересные статьи
Интересные статьи
