Головоломка, кофе и охапка книг, или как я искал истоки термина «Deep Learning»

Привет! Некоторое время назад я взялся написать обзорную статью о том, что такое Deep Learning. Задача не казалась сложной до тех пор, пока… я не добрался до определения. Вот вы можете в двух словах объяснить этот термин, ничего не упустив? Вот то-то и оно. Пока копался в референсах, читал статьи, монографии и книги, я понял, что это вопрос слишком интересный для простого обзора и быстрого ответа. Здесь мне хотелось бы поделиться тем, что удалось найти по поводу истории развития глубокого обучения и того, что с ним связано.

Осторожно! В статье много ссылок на англоязычные источники и скриншотов книг / статей на английском. Я предполагаю, что для вас это не станет препятствием. Если хотите пройти со мной этот удивительный путь страданий и поиска истины, welcome. Если же предпочитаете получить быстрый и простой ответ, переходите по оглавлению к разделу «Итого».

Используйте навигацию, если не хотите читать текст полностью:

→ Поиск истоков термина
→ Становление глубокого обучения как новой области исследований
→ Зарубежные авторы
→ Итого
→ Головоломка? Почему головоломка?
→ Заключение

Поиск истоков термина

Берем лопату поисковик и начинаем раскопки. Поисковый запрос типа «Deep learning первое упоминание» выдает внушительный список статей.

Некоторые из текстов называют даты появления глубокого обучения как концепции. Так, например, в статье «Deep Learning: a review» автор говорит о появлении глубокого обучения как концепции в 2006 году.

Ну что же, откуда же это могло взяться?

Догадка: я нашел страницу в веб-архиве, которая, вероятно, объясняет частые упоминания 2006 года:

Становление глубокого обучения как новой области исследований

Думаю, уместно будет проговорить, что глубокое обучение, как и любая другая дисциплина, не могла возникнуть сама по себе. На протяжении десятилетий в разных странах и на разных континентах формировалось то, что нынче пугает нас потерей рабочих мест, радикальным изменением структуры общества и прочими страшными историями. Хотя, справедливости ради, стоит сказать, что «пугает» не само глубокое обучение и даже не его разработчики, а скорее те, кто использует его для повышения цен на рекламу благодаря вирусящимся постам (что-нибудь в стиле «ИИ заменит нас в 20NM-ном году»).

Конечно, хочется сказать что-то в стиле «… а началось все с… », однако это было бы опрометчиво без тщательного анализа англоязычных (в основном) источников. Важно понять, какие идеи, кем, у кого и когда были заимствованы, как они трансформировались и к чему привели. Задачка это, мягко говоря, непростая.

Мы ограничимся поиском интересных статей, монографий и книг на тему становления и развития DL, повытаскиваем интересные цитаты и хотя бы примерно прикинем, как развивались события.

Интересные источники по теме в сети

Итак, снова обратимся к лопате поисковику и начнем раскопки. По запросу «history of deep learning» можно найти очень много всего интересного. Например, цикл статей от NVIDIA. В числе прочего есть и статьи, ссылающиеся на довольно массивную работу «On the Origin of Deep Learning».

Некоторые авторы ведут отсчет от Алана Тьюринга, другие и вовсе ссылаются на Аристотеля (см. «On the Origin of Deep Learning»). Часто отправной точкой считают работу Уоррена Мак-Каллока и Уолтера Питтса «A Logical Calculus of the Ideas Immanent in Nervous Activity». Пример — статья «A Brief History of Deep Learning».

Юрген Шмидхубер в «Annotated History of Modern AI and Deep Learning» тоже, например, не мелочится и начинает отсчет от работ Готфрида Вильгельма Лейбница (хотя после Аристотеля это уже не так сильно впечатляет). Есть и публикация «A Brief History of Neural Nets and Deep Learning», которая сама по себе содержит тонны разнообразных ссылок на работы. Некоторые из них мы еще рассмотрим ниже.

Что из найденного зацепило

Из того, что мне больше всего понравилось, я бы выделил «краткую» историю глубокого обучения с 1943 года — «Brief History of Deep Learning from 1943-2019». В ней хронологически описаны работы, которые проложили путь искусственным нейронным сетям. Впрочем, поискав еще какое-то время, я наткнулся на монографию Юргена Шмидхубера, в которой из 88 страниц — а это около ⅔ от всего объема — занимают ссылки на источники. Есть что почитать.