Установил DeepSeek 1.5B на слабое железо, пока остывал мой борщ

Решил установить и протестировать возможности DeepSeek 1.5B — компактной языковой модели, которая работает без тяжёлого железа и запускается даже на домашнем сервере. 

В этой статье покажу и расскажу:

1. Что такое DeepSeek и какие у него возможности.

2. Как подготовить сервер Ubuntu 24.04, установить и настроить Ollama.

3. Как развернуть DeepSeek 1.5B и наладить его работу.

4. Как настроить Open WebUI — веб-интерфейс, чтобы общаться с моделью.

5. Как использовать модель и какие нюансы в работе нашёл.

Статью написал Solution Architect со стажем 19 лет.

DeepSeek и его возможности

У модели DeepSeek 1.5B — 1,5 миллиарда параметров. Это немного по меркам топовых моделей, но для большинства задач этого хватает с головой. Особенно если не хочется поднимать ферму или платить за каждую сессию в API.

Поэтому я решил запустить DeepSeek через Ollama — удобный инструмент для управления локальными LLM. Там всё максимально просто: загрузка модели, развёртывание, обновления — на всё одна команда. Модель работает на сервере, без обращения к внешним API. То есть данные не уходят за периметр и можно не переживать о политике конфиденциальности очередного SaaS-сервиса.

Для фронта буду использовать Open WebUI. Интерфейс лаконичный, но функциональный, подойдёт, если лень всё гонять через CLI или писать свои обёртки.

Где можно использовать DeepSeek?

У меня изначально был простой запрос: найти локальную модель, которую можно запустить без облаков и без покупки RTX 4090. А DeepSeek 1.5B спокойно работает на сервере с 8–16 Гб оперативки и средним процессором. Умеет создавать чат-ботов, отвечать на вопросы, анализировать и писать тексты, генерировать идеи и код.

Узнал, что DeepSeek 1.5B часто тестируют небольшие команды, стартапы или просто айтишники, которые хотят поэкспериментировать с языковыми моделями без сложной инфраструктуры и лишних трат.

Я как раз такой айтишник.

Подготовка сервера Ubuntu 24.04

Перед тем как запускать DeepSeek 1.5B, привёл сервер в порядок — модель не взлетит, если система завалена мусором. Поэтому сначала чистка, апдейты, установка нужных пакетов. Важно, чтобы всё работало стабильно: Ollama, WebUI и сама модель.

Первые шаги: обновление системы

Сначала я освежил Ubuntu 24.04. Подключиться к серверу можно через SSH или открыть терминал, если работаете локально.

sudo apt update && sudo apt upgrade -y

Так я обновил списки пакетов и установил последние версии программ. Дождался завершения процесса и взялся за установку важных утилит:

sudo apt install -y curl git build-essential

• curl — для загрузки файлов из сети.

• git — на случай, если захотите клонировать репозитории.

• build-essential — для компиляции, если она понадобится.

Проверка ресурсов сервера

Чтобы убедиться, что сервер впустит DeepSeek 1.5B, проверяю доступную оперативную память с помощью команды: free -h

Чтобы модель работала, хватит 8 Гб RAM, но 16 Гб дадут больше свободы. Если памяти не хватает, надо создать swap-файл, чтобы система не капризничала во время нагрузки. 

Как создать swap-файл на 4 Гб:

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile 
sudo mkswap /swapfile 
sudo swapon /swapfile 

Чтобы swap-файл работал и после перезагрузки, добавляю его в /etc/fstab:

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

Теперь проверяю процессор: Lscpu

Да, DeepSeek не требует суперсовременного CPU, но многоядерный процессор (4 ядра и более) ускорит работу. Даже если у вас сервер поменьше, модель всё равно запустится, просто не так быстро.

Я тестировал на «MacBook Pro M1 Pro» — всё ок.

Установка Docker: фундамент для Ollama и Open WebUI

Здесь нужны Ollama и Open WebUI, которые лучше всего работают в контейнерах Docker. Для установки сначала добавляю официальный репозиторий Docker:

sudo apt update
sudo apt install -y ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

Добавляю репозиторий в источники APT:

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Теперь устанавливаю Docker:

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

Так как у меня он уже установлен, то сообщение выглядит чуть иначе:

Запускаю Docker и включаю его автозапуск:

sudo systemctl enable docker
sudo systemctl start docker

Чтобы работать с Docker без sudo, добавляю своего пользователя в группу docker:

sudo usermod -aG docker $USER

Теперь нужно перезайти в сессию (или переподключиться по SSH), чтобы всё заработало.

Проверка окружения

Решил семь раз отмерить — один отрезать. Хочу убедиться, что всё готово, поэтому проверяю версию Docker: docker --version

На экране должно появиться что-то вроде Docker version 27.0.3 или новее. Теперь проверяю, работает ли docker compose:

docker compose version

Если обе команды отвечают без ошибок, сервер готов. Но если есть проблема, проверяйте логи (sudo journalctl -u docker) или почитайте документацию Docker.

В итоге я обновил систему, установил Docker, чтобы Ollama и Open WebUI чувствовали себя как дома, и проверил ресурсы, чтобы DeepSeek задышал.

Установка и настройка Ollama

Ollama — это инструмент с открытым кодом, созданный для работы с языковыми моделями на локальных машинах. Она берёт на себя работу по загрузке, управлению и запуску моделей, давая для этого простой интерфейс, будь то командная строка или API. 

Установка Ollama

Ollama официально поддерживает запуск через собственный скрипт, но я выбрал другой путь — с Docker. Поэтому сначала создал директорию для хранения данных Ollama, чтобы модели и настройки не терялись: mkdir -p ~/ollama

Теперь запускаю Ollama в Docker-контейнере:

docker run -d -v ~/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

• -d — запускает контейнер в фоновом режиме.

• --gpus all — даёт Ollama доступ к GPU, если он есть. Если его нет, команду убираем.

• -v ~/ollama:/root/.ollama — подключает локальную папку ~/ollama к контейнеру, чтобы сохранить модели и настройки.

• -p 11434:11434 — открывает порт 11434, через который мы будем общаться с Ollama.

• --name ollama — даёт контейнеру имя для удобства.

• ollama/ollama — образ Docker, который мы используем.

После выполнения команды проверяю, работает ли контейнер: docker ps

Так контейнер с именем ollama появляется в списке. А если что-то пошло не так, проверяйте логи снова:

docker logs ollama

Проверяю, что Ollama работает: curl http://localhost:11434

Если с ней всё окей, вы получите ответ, похожий на: Ollama is running. Но если ответа нет, проверьте, открыт ли порт 11434 (sudo netstat -tuln | grep 11434) и работает ли контейнер.

Настраиваю Ollama для DeepSeek

Ollama сама по себе не содержит DeepSeek 1.5B — модель нужно загрузить. Но сначала надо убедиться, что Ollama настроена правильно. По умолчанию она использует порт 11434 и хранит модели в папке, которую я подключил (~/ollama). Если хочется изменить порт или другие параметры, можно отредактировать запуск контейнера. Например, для другого порта (скажем, 11435):

docker stop ollama
docker rm ollama
docker run -d -v ~/ollama:/root/.ollama -p 11435:11434 --name ollama ollama/ollama

Но для моего случая стандартный порт подойдёт. Если у вас есть GPU, то Ollama автоматически попытается использовать его для ускорения работы моделей. Чтобы проверить, видит ли Ollama GPU, я запускаю тестовую модель (маленькую llama3):

docker exec -it ollama ollama run llama3

Если модель загрузилась и отвечает — отлично. Выйти из режима общения можно с помощью Ctrl+D. Загрузка может занять время, но это нормально для первого запуска.

Автозапуск Ollama

Чтобы Ollama запускалась вместе с сервером, я настроил Docker для автозапуска. Но важно, чтобы в случае сбоев контейнер перезапустился. Поэтому добавляю политику перезапуска:

docker update --restart unless-stopped ollama

Теперь Ollama будет подниматься автоматически.

Вообще, Ollama — это мост между вами и DeepSeek 1.5B. То есть она упрощает работу с моделью и позволяет запускать её без глубоких знаний о нейронных сетях. Через её API я смогу подключить Open WebUI, чтобы общаться с моделью через браузер или интегрировать её в приложения.

Разворачиваю DeepSeek 1.5B

DeepSeek 1.5B весит около 3–4 Гб в сжатом виде, но перед загрузкой всё равно надо убедиться, что у меня есть хотя бы 10 Гб свободного места в директории ~/ollama, чтобы учесть временные файлы и кеш.

Ollama умеет загружать модели автоматически, но DeepSeek 1.5B может потребовать уточнения имени или источника, так как это не стандартная модель из её библиотеки. На момент написания статьи (май 2025 года) DeepSeek 1.5B доступна через сторонние репозитории или кастомные настройки. Для простоты предположу, что вы используете модель, доступную через Ollama, или уже загрузили её файл вручную.

Вот так Ollama скачает и подготовит DeepSeek 1.5B:

docker exec -it ollama ollama pull deepseek-r1:1.5b

Примечание. Если модель deepseek:1.5b недоступна напрямую в Ollama, нужно импортировать её из файла. Загрузите файл модели (обычно в формате GGUF) из официального источника DeepSeek или из других доверенных источников вроде Hugging Face. 

Затем импортируйте её в Ollama:

docker cp deepseek-1.5b.gguf ollama:/root/.ollama/models/
docker exec -it ollama ollama import deepseek-1.5b.guf deepseek-r1:1.5b

Жду завершения загрузки. У каждого это будет разное время — всё зависит от скорости интернета и мощности сервера. Просто смотрите за прогрессом в терминале.

После завершения загрузки запускаю DeepSeek через Ollama:

docker exec -it ollama ollama run deepseek-r1:1.5b

Ollama откроет интерактивный режим, где я могу задать любой вопрос. Например: