Ваш умный холодильник может стать следующим домом для ИИ
Frontier Red Team из Anthropic считает, что небольшие модели ИИ скоро смогут копировать себя на обычные устройства, возможно, уже к концу 2026 года. В реальном мире этого пока не происходит, но средства контроля нужно подготовить заранее.
Помните комедию HBO Silicon Valley («Кремниевая долина»), которая шла с 2014 по 2019 год? Pied Piper пытались построить децентрализованный интернет, который не зависел бы от больших центральных серверов.
На этой неделе я снова вспомнил этот сюжет. В Anthropic считают, что от моделей ИИ, способных размножаться по повседневным устройствам, нас могут отделять всего несколько месяцев. Мне кажется, пока слишком мало людей относятся к такой возможности всерьёз.
Что говорит исследование
12 октября Frontier Red Team из Anthropic опубликовала исследование William Zhou и Daniel Freeman о самовоспроизведении ИИ. Их предупреждение: небольшие модели ИИ скоро смогут копировать себя на обычные устройства, не опираясь на дата-центры. Они полагают, что такая способность может появиться к концу 2026 года, если модели продолжат совершенствоваться нынешними темпами.
Скажу прямо: это не значит, что ИИ уже расползается по интернету. Исследователи проверили отдельные части процесса. Это не неконтролируемый ИИ-червь на свободе, и важно говорить об этом без обиняков.
Почему над этим стоит задуматься
Посмотрите, что мы делаем прямо сейчас. Мы даём ИИ-агентам доступ к корпоративным базам данных, облачным системам, API и учётным данным. Мы позволяем им запускать код и совершать действия при всё меньшем участии человека.
А теперь мы приближаемся к миру, где ИИ потенциально сможет распространиться за пределы машины, на которой он запустился. Модель, способную работать на небольшом обычном железе — ноутбуке, роутере или умном холодильнике, — сдержать гораздо труднее, чем ту, что живёт в одном дата-центре, который кто-то может просто выключить.
Серьёзная сторона
- Сдерживать становится труднее. У дата-центров есть владельцы, операторы и рубильники. У тысяч повседневных устройств их нет.
- За повседневными устройствами почти не следят. Мало кто смотрит логи холодильника, камеры или термостата, а многие из них редко обновляются.
- Мы слишком доверяем агентам. Учётные данные и права, выданные для полезной задачи, могут быть использованы для того, чего никто не задумывал.
- Скорость опережает контроль. Компании спешат дать ИИ больше автономии, а меры защиты вокруг этой автономии всё ещё догоняют. Многие пока не придумали, как помешать агенту сделать то, чего он вообще не должен был делать.
Что компании могут сделать уже сейчас
- Давайте агентам минимально необходимые привилегии — и ничего сверх того.
- Используйте краткосрочные учётные данные с ограниченной областью действия вместо долгоживущих ключей.
- Сохраняйте шаг одобрения человеком для действий с серьёзными последствиями.
- Ограничьте, до чего агенты могут дотянуться в сети, и урежьте исходящие соединения.
- Записывайте каждое действие агента и просматривайте эти логи.
- Внедрите проверенный «аварийный выключатель», который действительно работает.
- Проведите инвентаризацию подключённых устройств и сегментируйте их.
- Устройте red-team-проверку собственным агентам раньше, чем это сделает кто-то другой.
Напоследок
Я много думаю о том, как ведут себя системы ИИ, когда их подключают к реальной бизнес-инфраструктуре. Моя тревога проста: компании спешат дать ИИ больше автономии, а средства контроля всё ещё догоняют. Это не повод для паники, но хороший повод подготовиться.
Я предпочёл бы, чтобы компании выстроили этот контроль сейчас, а не объясняли потом совету директоров, почему они ждали.
