Компания ByteDance представила Lumine - ИИ-агента, который может самостоятельно выполнять сложные многочасовые миссии в 3D-играх, таких как Genshin Impact, Honkai: Star Rail и Wuthering Waves. В отличие от большинства аналогов, Lumine обрабатывает видеопоток с экрана и генерирует команды для клавиатуры и мыши в реальном времени.
Агент построен на базе Qwen2-VL-7B и обучался на 1700 часах человеческого геймплея. Процесс обучения проходил поэтапно: сначала освоение базовых действий, затем следование инструкциям, и, наконец, развитие адаптивного мышления на небольшом наборе задач на логическое рассуждение.
В тестах Lumine демонстрировал умение:
• эффективно сражаться с боссами, используя тактику;
• решать головоломки;
• взаимодействовать с NPC;
• переносить навыки на новые локации и даже незнакомые игры без дополнительного обучения.
По мнению разработчиков, ключевой вклад Lumine - это универсальность и автономность. Агент способен обучаться на опыте человека, адаптироваться к новым условиям и обеспечивать высокую эффективность в динамических виртуальных мирах. Это открывает перспективы для использования подобных ИИ-агентов в тестировании игр, автоматизации тренировочных сценариев и создании интерактивного контента.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Источник
