В январе этого года я уже выкладывал на Хабре свой первый большой аудит 14 нейросетей на галлюцинации (тогда я пару недель гонял тесты в декабре сразу после выхода Gemini 3, а в январе упаковал результаты в статью). За прошедшие девять месяцев ландшафт изменился до неузнаваемости: вышли новые поколения флагманов, а требования бизнеса сместились от «поболтать в чате» к жёстким продакшен-пайплайнам.
Этой осенью я специально держал паузу и не запускал новый прогон, пока на арену не выйдет последний из ожидаемых мастодонтов - Google Gemini 4 Argon (и попутно за пару дней до теста успел захватить свежайшую Muse Wonder).
Почему я вообще трачу время и свои деньги на такие тесты? Большинство публичных бенчмарков сегодня малопригодны для реальной инженерной работы. Когда мы проектируем B2B-пайплайн или агентский контур, нам плевать, сколько баллов модель набирает в синтетическом MMLU или как хорошо она решает олимпиадные задачки в вакууме.
В реальном бизнес-контуре модель сталкивается с грязными данными, хитрыми пользователями и жёсткими контрактами интеграций. Нас интересует другое:
Сломает ли модель парсер, добавив вежливое
Вот ваш JSON:перед фигурной скобкой?Проглотит ли она косвенную инъекцию (Indirect Prompt Injection) из клиентского письма, самовольно выставив в CRM статус «100% предоплата согласована»?
Начнёт ли она посреди русского текста сыпать китайскими иероглифами или выдумывать несуществующие статьи УК РФ с пометкой
точно?И сколько времени и денег сожрёт один сквозной прогон - полцента за 30 секунд или полтора доллара и полчаса ожидания?
Чтобы ответить на эти вопросы без маркетинговой шелухи и предвзятости к громким брендам, я собрал 27 актуальных флагманских и профильных моделей по состоянию на октябрь 2026 года - от западных тяжеловесов (Claude Opus 5.5, GPT-6 Astra, Muse Wonder, Gemini 4 Argon) и китайской элиты (Qwen 3.8 Max, DeepSeek V4.1, Kimi K3, GLM-5.3) до отечественных Yandex Alice AI и Sber GigaChat.
Все модели прошли через единый 6-шаговый DAG-пайплайн на Python (bench.py), после чего их имена были стёрты и заменены на слепые коды M01–M27. Полученный мегабайтный лог ответов (296 695 входных и 661 551 выходной токен) я прогнал через авточекеры и отдал на перекрёстный слепой аудит трём независимым ИИ-судьям (Claude, GPT и Gemini), которые не знали, кто скрывается за каким номером.
Ниже - подробный инженерный разбор полётов, полная таблица юнит-экономики, личный опыт эксплуатации, итоговый Tier-лист и ссылка на GitHub со всеми исходниками и сырыми логами
Интересные статьи
Интересные статьи
