Недавно Microsoft и OpenAI объявили о своем грандиозном совместном проекте стоимостью $100 млрд, цель которого - создание сверхмощного ИИ-суперкомпьютера и гигантского центра обработки данных для обучения суперумных моделей ИИ. Этот амбициозный план обещает совершить настоящий прорыв в области ИИ и укрепить позиции Microsoft и OpenAI как лидеров индустрии.
Но в игру решил вступить Google DeepMind с довольно дерзким ходом: обесценить инвестиции конкурентов созданием открытой, распределённой по всему миру системы обучения сверхумных ИИ - DiPaCo (Distributed Path Composition).
Суть DiPaCo заключается в распределенном обучении нейронных сетей, используя все доступные вычислительные ресурсы по всему миру. Эта технология позволит масштабировать нейронные сети до невероятных размеров без ограничений, присущих централизованным системам. Это как торрент в мире нейронок.
Ключевыми элементами DiPaCo являются два алгоритма: DiLoCo, отвечающий за распараллеливание процессов распределенной обработки данных, и сам DiPaCo, который берет на себя распараллеливание процессов обучения моделей. Вместе они образуют мощный инструмент для создания сверхумных моделей ИИ.
Успех DiPaCo может не только поставить под сомнение эффективность многомиллиардных инвестиций Microsoft и OpenAI, но и изменить саму парадигму развития искусственного интеллекта. Этот проект способен демократизировать доступ к обучению сверхумных моделей и в целом разрушить монополию этих гигантов в области нейросетей, что может привести к стремительному прогрессу в области ИИ.
Более того, DiPaCo может усложнить задачу правительствам (в особенности, США и Китаю), стремящимся контролировать развитие ИИ путем регулирования крупнейших центров обучения моделей. Распределенная природа DiPaCo делает такой контроль гораздо более сложным и менее эффективным.
С тем, как это работает, можно ознакомиться в исследовании Google DeepMind. А посмотреть на исследование в картинках можно в посте ведущего автора проекта Артура Дуйяра.
Будем наблюдать за развитием ситуации!
