«Яндекс Переводчик» с YandexGPT стал мировым лидером по качеству перевода с английского на русский по итогам международного независимого бенчмарка DiBiMT, сообщили в пресс‑службе «Яндекса» информационной службе Хабра. Как объяснили разработчики, внедрение в сервис большой языковой модели позволило за год повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений и обойти таких лидеров, как Google Translate, ChatGPT и DeepL.
Бенчмарк DiBiMT представляет собой эталонный тест для измерения процента ошибок (то есть неверного определения смысла или значения слова в контексте) в переводе. В тестировании, кроме «Яндекс Переводчика» с YandexGPT, приняли участие 22 системы перевода, например, GPT-4, Gemma 2 9B, Llama-3 8B и другие.
Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — словами, одинаковыми по написанию, но имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество замеров. На основе этих показателей был сформирован публичный рейтинг.
Пётр Ермаков
ML Brand Director «Яндекса»
«Яндекс Переводчик занимает первое место по качеству англо-русского перевода второй год подряд. Однако рынок стремительно меняется. Развитие искусственного интеллекта открыло перед игроками новые возможности, и многие крупные компании внедрили в свои продукты большие языковые модели. Яндекс в прошлом году сделал это одним из первых, что позволило не только сохранить лидерские позиции, но и, что важнее, добиться кратного роста качества работы нашего сервиса».
До использования YandexGPT в «Яндекс Переводчике» применялась другая технология нейросетевого машинного перевода. Эта технология анализировала массивы текстов, запоминала закономерности и на их основе переводила текст. У такого подхода было ограничение: сервис учитывал контекст в отдельных предложениях, но не в тексте целиком.
После внедрения специально обученной под задачи перевода модели YandexGPT это ограничение было преодолено. Поскольку большая языковая модель от «Яндекса» работает со всем текстом сразу, перевод слов, имеющих несколько значений, получается более точным, а предложения — лучше согласованными. Кроме того, YandexGPT понимает стиль, в котором написан текст, и может передавать в переводе особенности как, например, художественного, так и технического языка.
