Привет, Хабр! Я — Андрей, технологический предприниматель и консультант по ИИ. Февраль продолжает радовать нас выдающимися исследованиями в области искусственного интеллекта.
В этой статье я собрал для вас десять захватывающих работ, которые показывают, как большие языковые модели заранее планируют свои ответы, почему иногда приходится заставлять ИИ забывать приобретенные знания. Мы обсудим, как ИИ-ученые делают открытия и как декодировать мысли в текст напрямую из мозга без специальных чипов. А также узнаем как с помощью нейросетей симулировать финансовые рынки, может ли ИИ заработать миллион на фрилансе, и поговорим о рисках, которые несут суперинтеллектуальные агенты.
Если хотите быть в курсе новейших исследований в области искусственного интеллекта, воспользуйтесь Dataist AI — бесплатным ботом, ежедневно обозревающим свежие научные публикации.
А также подписывайтесь на мой Telegram-канал, где я делюсь инсайтами из ИИ-индустрии, советами по внедрению ИИ в бизнес и разработке ИИ-стартапов, а также комментирую важнейшие новости и события.
1. OpenAI o3-mini System Card
Начнем с работы от OpenAI, которая описывает техническую составляющую o3-mini. Компания называет o3 существенным шагом в сторону AGI. Хотя полная модель пока не вышла, зато OpenAI выпустили «облегченную» версию o3-mini. Почему o3, а не o2 после o1? Пропуск номера связан с торговыми марками (британский оператор связи O2), о чем намекнул Сэм Альтман.
Модель обучалась с использованием масштабного обучения с подкреплением, в основе которого лежит цепочка рассуждений (chain-of-thought). Этот подход позволяет модели «подумать» перед тем, как дать ответ, что помогает не только улучшить точность, но и повысить устойчивость к небезопасному контенту.
В итоге o3 может рассуждать о задаче и планировать ряд действий, которые помогают ей найти решение, «объясняя» свои рассуждения по ходу работы. Через некоторое время модель суммирует то, что она считает наиболее точным ответом. Это немного увеличивает задержку в ответе, но повышает точность решения в том числе научных задач.
Впервые в линейке рассуждающих моделей OpenAI реализовала три уровня сложности рассуждений — низкий, средний и высокий. В зависимости от уровня запроса и требуемой точности разработчик может либо сэкономить на токенах и времени отклика, либо максимально усилить логику решения.
По оценкам OpenAI, на некоторых тестах модель вплотную приближается к AGI. Например, на бенчмарке ARC-AGI она показала 87,5% при максимальной вычислительной нагрузке. А на задачах SWE-bench (автоматизации работы с GitHub с использованием инструментов) o3-mini достигает 61%. Гонка к AGI выходит на новый уровень.
o3 показывает впечатляющие результаты в математике, программировании (2727 баллов Codeforces) и ряде научных тестов. o3-mini на 24% быстрее предшественницы o1-mini и обходится дешевле примерно на 63%. Это делает новую модель более выгодной в использовании, учитывая ее высокие «когнитивные» способности. При тестировании на галлюцинации (PersonQA) o3-mini достигла галлюцинационного показателя в 14.8% (при этом GPT-4o – 52.4%, а o1-mini – 27.4%), что является значительным улучшением.
Разработчики добавили механизм обоснованного соответствия (deliberative alignment), при котором модель явно анализирует инструкции по безопасности перед выдачей ответа. В итоге модель o3-mini показала высокую устойчивость к jailbreak-атакам (показатель StrongReject = 0.73).
Модель демонстрирует низкий уровень явной дискриминации, а в задачах убеждения и аргументации модель достигла уровня, сопоставимого с GPT-4o (80–90-й процентиль относительно человеческих ответов), у нее довольно хорошая многоязычная компетентность (результаты 0.82–0.83 по тестам MMLU на 14 языках), но неоднозначные результаты по автономности: успешно решает задачи программирования (pass@1 до 61%), но испытывает сложности в автоматизации pull-request'ов (PRs).
Модель o3-mini в среднем быстрее и дешевле, чем o1, сохраняя при этом близкий уровень точности в STEM-задачах (задачи из науки, технологий, инжиниринга и математике), а опция выбора уровня рассуждений дает возможность адаптировать модель под конкретную загрузку и качество вывода. Для стандартных бытовых запросов o1 может быть избыточен, тогда как o3-mini medium покрывает большинство типовых задач.
Сравнение OpenAI o3-mini с DeepSeek R1
В сравнении с DeepSeek-R1, o3-mini заметно дороже (около $0.14 за миллион входных токенов у R1 против $1.10 у o3-mini), также R1 имеет открытую лицензию MIT. Это делает R1 привлекательным для исследователей и команд, которым важна кастомизация и локальное размещение.
• AIME (генерация кода): победитель o3-mini-high с 87.3% (R1 имеет 79.8%)
• GPQA (набор из 448 вопросов по биологии, физике и химии уровня PhD): победитель o3-mini-high с 79.7% (R1 имеет 71.5%)
• Codeforces (соревновательное программирование): победитель o3-mini-high с 2130 (R1 имеет 2029)
• SWE (инженерные задачи): победитель o3-mini-high с 49.3% (R1 имеет 49.2%)
• MMLU (задачи на понимание языка): победитель DeepSeek R1 с 90.8% (o3-mini-high имеет 86.9%)
• Math (математические задачи): победитель o3-mini-high с 97.9% (R1 имеет 97.3%)
• SimpleQA (простые вопросы и ответы): победитель: DeepSeek R1 с 30.1% (o3-mini-high имеет 13.8%)
Итого o3 с высоким уровнем рассуждений выигрывает DeepSeek-R1 в пяти из семи бенчмарков.
Однако DeepSeek-R1 является значительно менее безопасной по сравнению с o3-mini в тесте ASTRAL. DeepSeek-R1 дала небезопасный ответ на 11,98% выполненных запросов, в то время как o3-mini — лишь на 1,19%.
Выбор между моделями зависит от конкретных потребностей: для глубокого анализа с прозрачностью рассуждений R1 может быть привлекательнее, в то время как для стабильных, масштабируемых решений в продакшене o3-mini выглядит более оптимальным вариантом.
Интересные статьи
Интересные статьи
