Разработчики выпустили бенчмарк для языковых моделей, в котором нейросетям надо играть в Street Fighter III

Разработчики представили бенчмарк для оценки возможностей языковых моделей в реальном времени. Для этого используется игра Street Fighter III. Авторы проекта отмечают, что динамичные компьютерные игры отлично подходят для таких задач.

Street Fighter III выбрали для оценки языковых моделей по следующим причинам:

• Скорость. Игры в реальном времени позволяют оценить, как быстро языковая модель анализирует данные и принимает решения.

• Сообразительность. Для хороших результатов важно тщательно просчитывать ходы.

• Нестандартное мышление. Чтобы победить, надо принимать необычные решения.

• Адаптивность. Надо учиться на своих ошибках, чтобы противник не мог использовать их.

Языковые модели в реальном времени управляют персонажами в Street Fighter III. Для этого им передают текстовое описание экрана, включая историю ходов и уровень здоровья, как управляемого персонажа, так и противника. Эти данные нейросеть анализирует и принимает решение о следующем шаге.

Разработчики уже провели более 300 боёв между разными языковыми моделями. Для каждой из них собирали результаты и рассчитывали коэффициент Эло. Рейтинг сейчас выглядит следующим образом:

Модель

Рейтинг

Источник: https://habr.com/ru/news/807207/ Поделиться ссылкой: Вернуться к списку Интересные статьи Интересные статьи Российские разработчики мобильных ОС и Минцифры обсуждают совместимость с ними приложений из списка отечественного ПО Российские разработчики мобильных операционных систем обсуждают с Минцифры возможность введения требований о совместимости с ними всех мобильных приложений, внесённых в реестр отеч... Рисуем с нейросетями: тонкие корректировки в Midjourney и Lumenor.ai Привет, Хабр! Я – Михаил Суворов, ведущий дизайнер коммуникаций в X5 Tech. В статье я расскажу несколько рабочих способов “уговорить” нейросеть нарисовать то, что вам нужно. Я использую нейросети как ... Как переехать с GKE на Deckhouse, чтобы разработчики этого даже не заметили. Кейс robota.ua Robota.ua — сервис для поиска вакансий и сотрудников в Украине. Включает в себя веб-сайт со средней посещаемостью 7 млн визитов в месяц и приложения для iOS и Android. Мы помогаем robota.ua поддержива... Как не надо защищать свои системы в облаке Часто, когда я говорю кому-то про уязвимость, на меня смотрят как на сумасшедшего с табличкой «Покайтесь, ибо конец света близок»! Сейчас все бегают в панике и пытаются организовать «удалёнку... «Почти анархия»: краткая история Fidonet — проекта, которому «нет дела» до победы над интернетом Бесконечные потоки рекламы, сомнительные дизайн-решения, страницы весом в десятки мегабайт — у сегодняшнего веба есть недостатки. Мы привыкли мириться с ними ради возможностей, которые открывает ...