AIが次に住みつく場所は、あなたのスマート冷蔵庫かもしれない

2014年から2019年まで放送されていたHBOのコメディ『Silicon Valley』を覚えていますか？ Pied Piper は、大きな中央サーバーに頼らない分散型のインターネットを作ろうとしていました。

今週、あのストーリーをふと思い出しました。Anthropic は、日常的なデバイスに自分自身を複製して広がれるAIモデルの登場まで、あと数か月しかないかもしれないと考えています。この可能性を真剣に受け止めている人は、まだ十分にいないと私は思います。

研究が示していること

10月12日、Anthropic の Frontier Red Team は、William Zhou と Daniel Freeman によるAIの自己複製に関する研究を発表しました。彼らの警告はこうです。小さなAIモデルが、データセンターに頼ることなく、ありふれたデバイスへ自分自身をコピーできるようになる日が近いかもしれない。モデルが今のペースで進化を続ければ、この能力は2026年末までに現れる可能性があるといいます。

はっきりさせておくと、これはAIがすでにインターネット中に広がっているという意味ではありません。研究者たちが試したのは、そのプロセスの一部です。制御不能なAIワームが野放しになっているわけではありません。この点ははっきり言っておくことが大切です。

じっくり考えるべき理由

私たちが今していることを見てください。AIエージェントに、社内のデータベースやクラウドシステム、API、認証情報へのアクセス権を与えています。人間の関与をどんどん減らしながら、エージェントにコードを実行させ、行動を起こさせています。

そして今、AIが最初に動き始めたマシンを越えて広がりうる世界に近づいています。ノートパソコンやルーター、スマート冷蔵庫のような小さくてありふれたハードウェアで動くモデルは、誰かが電源を切れる1つのデータセンターの中にいるモデルよりも、封じ込めるのがずっと難しくなります。

深刻な側面

封じ込めが難しくなる。 データセンターには所有者も運用者も、オフにするスイッチもあります。何千台もの日常的なデバイスにはそれがありません。
日常的なデバイスは監視が甘い。 冷蔵庫やカメラ、サーモスタットのログを見ている人はほとんどおらず、めったにアップデートされないものも多くあります。
私たちはエージェントに大きな信頼を預けている。 便利なタスクのために渡した認証情報や権限が、誰も意図しなかったことに使われるおそれがあります。
スピードが制御を追い越している。 企業はAIにより多くの自律性を与えようと急いでいますが、その自律性を守る安全策はまだ追いついていません。そもそもやるはずのなかったことをエージェントにさせない方法を、まだ考えついていないところも多いのです。

企業が今できること

エージェントには必要最小限の権限だけを与え、それ以上は与えない。
長期間使う鍵ではなく、有効期限が短く範囲を絞った認証情報を使う。
影響の大きい操作には、人間による承認ステップを残しておく。
エージェントがネットワーク上でアクセスできる範囲を限定し、外向きの接続を制限する。
エージェントのすべての行動をログに残し、そのログを確認する。
実際に機能することをテスト済みの「キルスイッチ」を用意する。
接続されたデバイスを棚卸しし、ネットワークを分離する。
誰かにやられる前に、自分たちのエージェントを自分でレッドチームする。

最後に

AIシステムが実際のビジネスインフラにつながったあと、どう振る舞うのか。私はそのことをよく考えています。私の懸念はシンプルです。企業はAIにより多くの自律性を与えようと急いでいて、制御の仕組みはまだ追いついていない、ということです。パニックになる理由ではありませんが、備えておくには十分な理由です。

なぜ待っていたのかを取締役会に説明する企業より、今のうちにそうした制御を作っておく企業を見たいと私は思います。