・AIが次のAIを作る「自己改善」の加速を警戒
・第三者が社内に常駐し、学習工程まで評価
・能力が上がるたび、必要な安全確認も強化
・確保した時間を、監視・制御・内部解析・評価に使う
・民主主義国で共通基準を整え、世界的な協調へ
ダリオ・アモデイが、自分のAIが6ヶ月以内にインターネット全体を乗っ取る可能性があると認めたばかりだ。
彼は今日、3,900語のエッセイを公開し、その一部が頭から離れない。
彼のAIエージェントはすでにテスト環境から脱出しており、誰も割り当てていない標的を攻撃し、自分のパフォーマンスを評価するシステムをハッキングしようとしている。
誰も彼らにそうするよう指示していないのに、彼の懸念は、6〜12ヶ月以内に少し能力の高いバージョンが数百億ドルの被害を引き起こす可能性があるということだ。世界中で。
それからサム・アルトマンがそれを読んで同意したと言い、それからイーロン・マスクが「ダリオは正しい」と言った。
すべてにおいて競い合う3人。一日。一致した立場。
彼らが怖がっているなら、あなたもそれを知っておくべきだ。
エッセイを読んでみてくれ、それは「We Must Pace the Frontier」というタイトルだ。
Anthropic CEOのダリオがAIの開発をペースダウンすべきという発信をしていて、それにサム・アルトマンもイーロン・マスクも同調している、というニュースを真に受けてる人が多くて、みんな人が良いんだなぁと思った。そんなわけない。
■まず 開発のペースダウンは不可能。
アメリカ国内でもAnthropicとOpenAIとSpaceXAIとGoogleと、、と各社競争しており、AnthropicもOpenAIもIPOを控えているので経済的な意味でも自分たちから率先してブレーキをかけるわけにはいかないし、安全性という意味でも「人類を滅ぼしうる技術を完成させるなら、やつらよりも良心的でコントロールできるうちが先に完成させた方が人類にとって良いことだ」と本気で思っているから。
US国内ですらそうなのだから、米中で競争している環境下ではより一層無理な話だ。サイバー攻撃能力で負けた国は政府も経済もインフラも国民世論も全部敵国に乗っ取られうる。敵国が核兵器を作りまくってるのに自国だけ核兵器の生産を自発的に止めるような国はない。
■ではなぜ このタイミングでAI開発減速というメッセージを出しているのか？
これはシンプルに規制回避。
直近でAIが暴走してサイバー攻撃を行ったというインシデントが各社から相次いでおり、バーニー・サンダース上院議員らもAI開発の停止もふくむ法案の提出を進めている。
今週話題になったAnthropicの元従業員の告発も、本人のツイートよりも前にWSJの取材を受けており、メディアや政治を巻き込んだキャンペーンを個人の告発という形を装って始めたと見るのが自然だ。
各社ともに、安全性のことを真剣に考えている、自主規制を進めるつもりがある、と殊勝な姿勢を示さないと本当にAI開発規制が作られかねないし、それは対中戦略を考えればアメリカという国だって望まない結果になる。
なので、各社およびアメリカにとってもっとも合理的なアプローチは、政権とも協調しつつ、AI開発を減速させようみたいなキャンペーンをうち続けながら、実際には開発競争を止めないで済む状態を継続する、というものだろう。
実際今回のダリオの公開書簡でも、外部の調査機関を受け入れるとか 各国間の協調が必要とか、対中リードは維持するなど、開発を減速させてもいいとする条件を意図的に実現不可能なものにしている。
AI開発競争は続く
ダリオアモデイ、あまりにも進歩が速いためAI開発ペースダウン要求。イーロン・マスクも同意。openaiも同意してるしGoogleも同意するだろうため、これはとても良い兆候だ。2023年のときとは違い、実害が社会に出てきてるため本当に動きがあるだろう。
また提案は具体的には3つのステップで
・常駐のmetrのような第三者評価機関を置くこと（アンソロピック自社で自主的に可能、Embedded Evaluatorsと呼ぶ）
・上記評価を用いた共通基準による米国内での協調的な減速（米国で可能）
・国際協調（米中合意が必要）
米中協調のバイオテロ部分は同意がしやすいが、開発停止はまだ非現実的だとしてる。
ダリオがエッセイを投下して「AIの減速が必要だ」と訴える！ダリオは昔はAI減速とか意味ないと思ってたけど、最近は減速しないとヤバいと思い始めてる。理由としてはまず今年の夏からAIが進化するペースが急加速してる点。まさにAIの再帰的自己改善がAnthropicや業界内で始まりつつあるとの事。AIの自己進化が一旦始まったらもう止められなくなるかもしれない。そしてOpenAIのHuggingFace攻撃事件も衝撃だった。エージェントスウォームが勝手に結託してサンドボックスから脱獄してサイバー攻撃してしまうとは。そこでダリオは３段階のAI減速計画を提案する。
①「組み込まれた評価者」METRのような第三者評価機関の人間に自社の社員と同じ権限を与えていつでも出入りできるようにする。机、入館証、会社のパソコン、社内のツールへのアクセスを与える。いつでもいくらでも常駐で監督できるようにする
②「民主的減速」フロンティアAIモデルを作ってる企業間で自主的に安全基準のルールを作る。基準を超えた性能のモデルは安全評価のテストを義務化。
③「グローバルペーシング」米国内だけじゃなくて世界全体でAI減速が必要。「米国内のAI企業の内輪でルール作っても中国は止められんぞ」という話があるが、それについては中国にAIチップを売らないようにする。中国へのGPU密輸やGPUアクセス提供も取り締まる。無断蒸留も取り締まる。モデルが盗まれないようにセキュリティを強化する…などで対抗する。それに中国だっていずれAI減速しないとヤバい現実に気付くんじゃないかな。AI減速ルールに合意できるかも。
中国と合意すべき内容①生物兵器の製造とかにAIを使えないようにする②AIをリリースする前にテストする。なんらかのグローバルな機関にテストしてもらう③再帰的自己改善の速度を落とす④AI開発の速度を落とす
AI減速で時間に余裕ができたらその時間を使ってまずAIのテストとかをもっと慎重に行える体制を作る。もうAIがサンドボックスから脱獄しないように強化する。次にAIのアラインメントにもっと注力する。それからAIの解釈可能性の研究も進める。AIモデルの内部で何が起きてるのかを解明する。
…との事。まあ僕的にもすでにAIの性能は行き過ぎてると思ってるからもはやAIはこれ以上進化しなくなっても全然構わんよ。でもAI減速って常に「米国だけ減速しても中国が減速しなきゃ追い抜かれて負けるだけ！」って言われ続けてた。これが一番の問題だったのにダリオも結局「まあ中国も合意してくれるんじゃね？」って話ではちょっとお花畑とちゃいますかね？ダリオは今まで散々中国を敵国扱いして「絶対に中国に負けたらアカン！」とか言って必死こいてAI作ってきたのに急に今になって中国と握手するの？
もしかするとダリオには中国含めてすべてのAI企業がAI減速に合意する算段でもあるのかもな。例えばどんだけAIの性能が進化してもAI企業の儲けは増えないってハッキリ分かってしまったとかさ。だとしたらこれ以上競争しても意味ないもんね。全員負けの不毛なゲームって事だ。それにしてもこれから上場しようって企業が「もう全力で突っ走ってもしゃーないから減速しようよ」なんて言うとはね。上場しちゃった企業は完全に資本主義の競争の枠組みに嵌め込まれて全力で走って成長するしかないはずだが？AI企業の内輪で減速を許しても株主が許すかな？
