Наверняка вы узнали цитату, которую я использовал для заголовка. Это фраза принадлежат Артуру Барбриджу, молодому идеалисту, который погиб по дороге к Золотому Шару в произведении братьев Стругацких "Пикник на обочине".
Не обещаю, что смогу выполнить роль Золотого Шара, но вывод к которому я пришел в результате многих лет размышлений, как мне кажется, может привести к такому результату.
С чего все началось
В 2013 году была опубликована работа "Каузальные энтропийные силы" ("Causal Entropic Forces") за авторством доктор Alex D. Wissner-Gross и C. E. Freer. Тогда я наткнулся на обзор этой статьи на русском языке. Общий смысл это статьи - она доказывает посредством компьютерного моделирования, что системы, движимые исключительно требованием максимизации будущего пространства вариантов, спонтанно развивают адаптивное, интеллектуальное и защитное поведение.
Звучит, может, и не впечатляюще. Однако, тогда меня это зацепило. "Будущее пространство вариантов" - это, по идее, "степени свободы". А это довольно формализуемое понятие. Кроме того, возможно, определить абсолютное числовое значение "степеней свободы" элемента или системы может быть сложно. Но в статье речь идет о "максимизации будущего пространства вариантов", т.е. о динамике - об изменении этого значения. А вот с ним работать уже легче.
Больше 10 лет я обдумывал эту идею и пришел к выводу что "увеличение степеней свободы" может являться довольно объективной числовой характеристикой, которая определяет такое субъективное понятие, как "пользу".
Ну и что? Какой в этом толк?
А вот тут можно вспомнить о том, как быстро в нашем мире сейчас развиваются нейросети и искусственный интеллект.
После долгого времени работы ИИ в качестве инструмента для разработки ПО и совместного анализа различных идей, я понял одну важную вещь. Результат работы ИИ на 90% зависит от точности формулировки задачи.
А какая задача в данный момент вызывает наибольшее беспокойство и озобоченность во всем мире? Правильно - "безопасность ИИ".
Айзек Азимов во многих своих произведениях очень хорошо показал что, даже, вроде-бы, корректно сформулированные три правила робототехники не будут работать при наличии возможности различных интерпретаций терминов, которые в них входят. Главная проблема - это понятия "польза" и "вред", которые являются краеугольными в формулировке этих законов. Их можно трактовать совершенно произвольно. Результаты чего автор очень удачно показывает в своих произведениях.
И вот тут мы подходим к самому важному. Использование понятия "степени свободы" в качестве количественного определения понятий "пользы" и "вреда" является объективным и не зависящим от трактовок.
Что я сделал дальше?
Примерно пару месяцев назад я сообразил что сейчас у меня есть доступ к неплохим LLM. И что на них можно обкатать ситуации с использованием такого определения. После этого началось самое интересное...
Первые "прогоны" дали крайне интересные результаты. Но, в то-же время, определили что только одного ключевого понятия недостаточно для адекватной работы "новых законов робототехники". И тогда, вместе с LLM я начал разрабатывать их "с нуля".
В итоге получились 7 аксиом.
Однако, при последующем анализе оказалось что, на самом деле, все эти "аксиомы" можно свести к одной единственной формуле, доказанной доктором Джоном Нэшем (помните "Игры разума"?) еще в 1950 году в своей работе "Задача торга" ("The Bargaining Problem" Dr. John F. Nash, Jr.). Эта несложная формула показывает что единственное решение, максимизирующее структурную справедливость и взаимную полезность, - это произведение индивидуальных полезностей участников (произведение Нэша).
Т.е. использование этой формулы для вычисления общей величины "пользы" приводит к тому, что в системе, действующей на этом принципе (повышение общей величины степеней свободы системы) алгоритм приведет к тому, что все участники системы будут получать пользу. И это-же правильно приводит к тому, что "обнуление" любого участника системы обнуляет и общий результат.
Если настроить нейросеть, принимающую решения, на использование этого принципа, то все прогнозируемые варианты будут проходить через фильтр, вычисляющий по этой формуле изменение степеней свободы системы. И ни один вариант, приводящий к уничтожению хотя-бы одного из элементов, не будет допущен до реализации.
Если применить это правило к реальной ситуации, то в "дилемме с вагонеткой", такая нейросеть не будет жертвовать ни одним из людей. Она будет искать другие варианты решения проблемы, которые должны привести к спасению всех. И, на мой взгляд, это намного более "моральны" подход, чем попытка решить "дилемму".
Это применимо только для нейронок?
А вот здесь начинается самое интересное.
Этот принцип вообще никак не привязан к какой-либо реализации. И использование его людьми (о чудо!) приводит их к очень "моральному" поведению. И тут мы делаем открытие! Оказывается, "мораль" - это не что-то эфимерное, данное свыше и, даже, не закон существования социума. :) Оказывается, "мораль" - это всего-лишь способ поведения для достижения общего благополучия с использованием чистой математики. :)
Резюме
Пока итогом моей работы на эту тему является репозитарий DOF-CORE. В нем, в виде скила для LLM собрано общее описание принципа. Кроме того, в репозитарии присутствует документ DOF-SPEC, который детализирует различные аспекты использования принципа.
Такой набор документации возникает из двухуровневой системы использования его в ИИ. Первый уровень - это скилл, который дает ИИ общие правила поведения. По большому счету, ИИ с таким скилом будет лишь формировать варианты поведения. Второй уровень - это обычное приложение, в которое будут зашиты принципы DOF-CORE. И это приложение будет работать фильтром, который из полученных вариантов поведения первого уровня, будет выбирать те, которые на самом деле сохраняют принцип.
Еще, конечно, хочу добавить, что текущий вариант - это не окончательное решение. Если вы найдете в нем какие-то логические дыры или особые случаи, буду рад если вы со мною ими поделитесь.
