Большие языковые модели очень требовательны к объёмам памяти и вычислительным ресурсам. Из-за этого их сложно локально запускать на мобильных устройствах. Инженеры Apple опубликовали исследование, в котором отмечают, что большие языковые модели эффективнее запускать с использованием флеш-памяти. Ожидается, что компания применит технологию для запуска собственной генеративной модели на iPhone.
В исследовании инженеры Apple рассказали, что использование флеш-памяти для запуска больших языковых моделей более выгодно на устройствах с ограниченным объёмом ресурсов. Также отмечается, что флеш-память в мобильных гаджетах используется заметно чаще. Вместе с этим исследователи вывели несколько правил, которые минимизируют лишние операции и помогают увеличить пропускную способность памяти:
модель не загружает каждый раз новые данные, а повторно использует уже обработанные ранее;
данные группируются таким образом, чтобы их можно было быстрее читать целыми фрагментами, ускоряя работу нейросети.
Согласно данным в исследовании, такой способ позволяет ИИ-моделям работать в 4–5 быстрее на CPU и в 20–25 раз на GPU. Это, по мнению экспертов, особенно полезно для запуска больших языковых моделей в условиях ограниченных ресурсов.
Известно, что Apple активно работает над собственной генеративной моделью под кодовым названием Ajax. Среди журналистов разработка получила название Apple GPT. Согласно некоторым данным, модель использует 200 млрд параметров. По оценкам это обеспечит высокий уровень понимания естественного языка. Пока нет информации о том, как Apple планирует использовать модель. Вероятно, что компания встроить её в голосового помощника Siri.
