Inception Labs представила Mercury, новую серию больших языковых моделей, которые используют технологию диффузии вместо традиционной авторегрессионной обработки. Компания сообщает, что эти модели могут обрабатывать задачи в 10 раз быстрее, чем текущие подходы, причем первые выпуски были сосредоточены на кодировании приложений.
Непоследовательный подход позволяет по-разному обрабатывать рассуждения, структуру ответа и исправление ошибок. Хотя технология диффузии является стандартной в генерации изображений и видео, она остается редкостью в текстовых и аудио-приложениях.
Mercury Coder доступен для тестирования на chat.inceptionlabs.ai. Система обрабатывает запросы, одновременно показывая интерактивный предварительный просмотр сгенерированного программного обеспечения в боковой панели.
В стандартных тестах генерации кода Mercury Coder работает аналогично авторегрессионным моделям, таким как Gemini 2.0 Flash-Lite и GPT-4o-mini, достигая при этом более высоких скоростей на стандартных графических процессорах Nvidia H100. Система генерирует более 1000 токенов в секунду — ранее это было возможно только со специализированными чипами вывода AI, такими как у Groq.
Inception Labs тестирует технологию для поддержки клиентов, генерации кода и автоматизации бизнеса. Некоторые из ее клиентов начали заменять авторегрессионные модели на Mercury, а модель чата находится в стадии закрытого бета-тестирования.
Бывший исследователь OpenAI Андрей Карпати обсудил подход Mercury к X, отметив, что предпочтение авторегрессивной обработки в тексте и аудио по сравнению с диффузией в изображениях и видео было постоянным техническим вопросом и «для меня и многих других было загадкой, почему по какой-то причине текст предпочитает авторегрессию» диффузии.
«Если присмотреться, то можно заметить много интересных связей между ними», — пишет Карпати, отмечая, что Меркьюри может продемонстрировать «новую, уникальную психологию или новые сильные и слабые стороны».
Mercury Coder доступен через Playground. Корпоративные клиенты могут запросить доступ к Mercury Coder Mini и Mercury Coder Small через API или локальное развертывание инфраструктуры. Информация о ценах не была опубликована.
Источник
