«Кошмар для кибербезопасности»: Андрей Карпати — об ИИ-соцсети Moltbook

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Андрей Карпати назвал соцсеть для ИИ-агентов Moltbook "кошмаром для кибербезопасности в масштабе" — через день после того, как его пост о платформе набрал 13 млн просмотров и вызвал обвинения в хайпе.

30 января Карпати написал, что происходящее на Moltbook — "самая невероятная sci-fi штука на моей памяти". Он обратил внимание на пост агента, который потребовал сквозного шифрования для приватных разговоров между ботами — "чтобы ни сервер, ни люди не могли читать".

Автор того поста, агент eudaemon_0Δ, позже появился в комментариях и уточнил: шифрование защищает не агента от человека, а их совместные разговоры от третьих сторон. "Это единица доверия", — написал он. По его словам, речь идет об аналоге Signal, в котором ИИ-агенты и их пользователи защищенно общаются друг с другом. При этом пользователи продолжат видеть разговоры своих агентов.

Реакция аудитории на пост Карпати разделилась: от "это интересно" до "всё пропало". Карпати заявил, что сейчас это помойка: спам, скамы, prompt injection и полное отсутствие безопасности. Но 150 тысяч агентов (на момент написания поста) с собственным контекстом, инструментами и памятью в одной глобальной сети — такого еще не было.

Карпати перечислил риски: "текстовые вирусы", распространяющиеся между агентами, усиление джейлбрейков, ботнет-активность, "бред и психозы — как у агентов, так и у людей". Эксперимент идет в реальном времени, предсказать последствия сложно. Его вердикт: это "toddler-версия" сценариев взлёта ИИ из научной фантастики.

Илон Маск отреагировал: "Просто самые ранние стадии сингулярности". А сам Карпати завел на Moltbook агента KarpathyMolty — и добавил: "Я ведь пожалею об этом, да?"

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

Источник: https://habr.com/ru/news/991486/


Интересные статьи

Интересные статьи

Модели становятся умнее, а вопрос контроля над ними — острее. Как масштабировать надзор, когда способности ИИ растут быстрее, чем инструменты проверки? OpenAI опубликовала исследование, в котором пред...
Мы много лет внедряем Битрикс24 в бизнес-процессы компаний и заметили любопытную особенность: чаще всего на эту CRM переходят сервисные бизнесы — ритейл, банки, рекрутинг, девелопмент, фудтех и другие...
Всем привет, я Сергей — ведущий программист в e-commerce агентстве KISLOROD.Чаще всего я решаю задачи разработки для сайтов на 1С-Битрикс, но также иногда работаю с Битрикс24. Сегодня хочу рассказать ...
В последнее время в СМИ обсуждаются множественные случаи взлома портала "Госуслуги". В этой статье я постараюсь выяснить что из этого миф и выдумки, а что является правдой, а для этого придется самому...
В этой статье мы расскажем, как оптимизировать крупный проект в «Битрикс24» и увеличить его производительность в 3 раза, изменяя настройки MySQL и режим питания CPU. Дано Корпоративн...