AI가 다음으로 자리 잡을 곳은 여러분의 스마트 냉장고일지도 모릅니다

2014년부터 2019년까지 방영된 HBO 코미디 Silicon Valley 기억하시나요? Pied Piper는 거대한 중앙 서버에 의존하지 않는 탈중앙화 인터넷을 만들려고 했습니다.

이번 주에 그 줄거리가 다시 떠올랐습니다. Anthropic은 일상적인 기기들로 스스로를 복제해 퍼져 나갈 수 있는 AI 모델이 불과 몇 달 앞으로 다가왔을 수 있다고 봅니다. 저는 아직 충분히 많은 사람들이 이 가능성을 진지하게 받아들이고 있지 않다고 생각합니다.

연구 내용

10월 12일, Anthropic의 Frontier Red Team은 William Zhou와 Daniel Freeman이 진행한 AI 자기 복제에 관한 연구를 발표했습니다. 이들의 경고는 이렇습니다. 작은 AI 모델이 데이터 센터에 기대지 않고도 평범한 기기들로 곧 스스로를 복제할 수 있다는 것입니다. 모델이 지금 속도로 계속 발전한다면, 이 능력은 2026년 말까지 나타날 수 있다고 봅니다.

분명히 해 두자면, 이것이 AI가 이미 인터넷 곳곳으로 퍼지고 있다는 뜻은 아닙니다. 연구진은 그 과정의 일부를 시험했을 뿐입니다. 실제 환경에서 통제 불능의 AI 웜이 돌아다니고 있는 상황이 아니며, 이 점은 분명하게 말해 두는 것이 중요합니다.

신중하게 살펴봐야 하는 이유

지금 우리가 무엇을 하고 있는지 보세요. 우리는 AI 에이전트에게 회사 데이터베이스, 클라우드 시스템, API, 자격 증명에 대한 접근 권한을 주고 있습니다. 사람의 개입은 점점 줄여 가면서 에이전트가 코드를 실행하고 행동을 취하도록 맡기고 있습니다.

그리고 이제 AI가 처음 실행된 기계를 넘어 퍼져 나갈 수도 있는 세상에 가까워지고 있습니다. 노트북, 공유기, 스마트 냉장고처럼 작고 평범한 하드웨어에서 돌아가는 모델은, 누군가 전원을 내릴 수 있는 데이터 센터 한 곳에 있는 모델보다 가두기가 훨씬 어렵습니다.

심각한 측면

• 봉쇄가 더 어려워집니다. 데이터 센터에는 소유자와 운영자, 그리고 끄는 스위치가 있습니다. 수천 대의 일상 기기에는 그런 것이 없습니다.
• 일상 기기는 감시가 허술합니다. 냉장고나 카메라, 온도 조절기의 로그를 지켜보는 사람은 거의 없고, 업데이트도 거의 되지 않는 기기가 많습니다.
• 우리는 에이전트에게 많은 신뢰를 주고 있습니다. 유용한 작업을 위해 준 자격 증명과 권한이 아무도 의도하지 않은 일에 쓰일 수 있습니다.
• 속도가 통제를 앞지르고 있습니다. 기업들은 AI에 더 많은 자율성을 주기 위해 빠르게 움직이고 있지만, 그 자율성을 둘러싼 안전장치는 아직 따라잡는 중입니다. 애초에 해서는 안 되는 일을 에이전트가 하지 못하게 막는 방법을 아직 마련하지 못한 곳도 많습니다.

기업이 지금 할 수 있는 일

1. 에이전트에게는 필요한 최소한의 권한만 주고, 그 이상은 주지 마세요.
2. 오래 쓰는 키 대신 수명이 짧고 범위가 제한된 자격 증명을 쓰세요.
3. 영향이 큰 작업에는 사람의 승인 단계를 남겨 두세요.
4. 에이전트가 네트워크에서 접근할 수 있는 범위를 제한하고, 외부로 나가는 연결을 막으세요.
5. 에이전트의 모든 행동을 기록하고, 그 로그를 검토하세요.
6. 실제로 작동하는지 검증된 "킬 스위치"를 마련해 두세요.
7. 연결된 기기를 목록으로 정리하고 네트워크를 분리하세요.
8. 다른 누군가가 하기 전에 여러분의 에이전트를 직접 레드팀 하세요.

맺으며

저는 AI 시스템이 실제 비즈니스 인프라에 연결된 뒤 어떻게 행동하는지에 대해 많이 생각합니다. 제 걱정은 단순합니다. 기업들은 AI에 더 많은 자율성을 주려고 빠르게 움직이고 있고, 통제 수단은 아직 따라잡는 중이라는 것입니다. 공황에 빠질 이유는 아니지만, 대비해야 할 충분한 이유는 됩니다.

저는 기업들이 왜 기다렸는지 이사회에 해명하는 모습보다, 지금 그런 통제 수단을 만드는 모습을 보고 싶습니다.