Квантизация LLM: делаем модели легче в 4 раза

Введение

Современные языковые модели (LLM) содержат миллиарды параметров, что создает огромные требования к вычислительным ресурсам. Например:

• BERT: <1 млрд параметров

• GPT-2: >1 млрд параметров

• GPT-3: сотни млрд параметров

• DeepSeek: 671 млрд параметров

Такие модели сложно запускать не только на домашних компьютерах, но даже на серверах среднего уровня. Квантизация - это метод уменьшения размера моделей для более эффективного использования памяти.