Рассуждающая модель QwQ 32B доступна в Ollama

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Мощная рассуждающая языковая модель с открытым исходным кодом QwQ-32B теперь доступна в Ollama. Это среднеразмерная модель с 32.5 миллиардами параметров из серии Qwen разработана для выполнения сложных задач и демонстрирует конкурентоспособное качество по сравнению с другими reasoning моделями, такими как DeepSeek-R1.

QwQ-32B обладает точностью ответах, в некоторых тестах достигающей 90%, что на 21% выше, чем в тестах Llama 70B. При этом модель вдвое меньше Llama 70B и в 20 раз меньше DeepSeek R1 при сравнимой производительности. Это делает QwQ-32B привлекательным выбором для разработчиков и исследователей, ищущих высокопроизводительные модели, но не обладающие избыточными вычислительными ресурсами.

Вы можете попробовать данную модель на серверах с GPU начиная от 2xRTX 4090 или 2x7900XTX, но рекомендуются GPU с 48+ Гб видеопамяти, такие как H6000, A100 или H100, особенно при использовании большого размера контекста. Модель прекрасно работает в связке Ollama + OpenWebUI.

Источник: https://habr.com/ru/companies/hostkey/news/889840/


Интересные статьи

Интересные статьи

Сегодня буду писать о новой методике внедрения системы Битрикс и кратко взвесим все за и против.Меня зовут Калашников Роман, предприниматель, собственник интегратора 1С и бизнес-тренер.За все 20 лет я...
Привет, Хабр!Меня зовут Максим Шевченко и последние два года я занимаюсь развитием платформы экспериментов в Okko, одном из ведущих онлайн-кинотеатров в России. Наша команда разрабатывает инструменты,...
Приветствую, уважаемые читатели. Попрошу уделить немного времени прежде всего тех, кто не в первый раз у меня в блоге. В моей личной карме, средних просмотрах статьи, темпе публикаций и некоторых друг...
Получить трафик для интернет-магазина сегодня не проблема. Есть много каналов его привлечения: органическая выдача, контекстная реклама, контент-маркетинг, RTB-сети и т. д. Вопрос в том, как вы распор...
С версии 12.0 в Bitrix Framework доступно создание резервных копий в автоматическом режиме. Задание параметров автоматического резервного копирования производится в Административной части на странице ...