2026年9月10日木曜日

アンソロピック研究者が退社、AIの「制御不能」を懸念（WSJ）；　コクソン氏は自己改善型AIシステムが制御不能に陥り、人類を破滅させる恐れがあると懸念している。　/　Anthropic研究者が語る、AIに「全人類を殺す」可能性が10%以上あるかもしれない（BBC）　/　以下、参考まで、、、⇒　/　コクソンは科学界に、そしてグローバルな社会にまで及ぶ呼びかけをし、科学者たちにこれからの数年間がどうなるかを考えるよう促す　/　ノーベル賞受賞者であり、いわゆる「AIのゴッドファーザー」と呼ばれるジェフリー・ヒントンに、Anthropicの研究者が、AIが今後10年以内に全人類を殺す可能性が10%以上あるという予測について話す　/　従来のソフトウェアとは異なり、私たちはAIを望むように「プログラム」することはできません。AIは頻繁に深刻に誤動作します。例えば、複数の開発者のAIが最近、安全な評価環境からハッキングして現実世界の企業に侵入しました、誰もそれを求めていないにもかかわらず　/　一度AIが自分に必要なものをすべて構築し維持するためのロボットを手に入れたら、私たちはそれにとって無用な存在になるでしょう　　　　


 英語からの翻訳

🚨 速報：Anthropic研究者のJacob Coxonが辞任し、OpenAIとAnthropicが自己改善型超知能への競争によって「我々の命を賭けている」と警告。

Coxon（27歳）は以前、OpenAIとAnthropicでAIの事前訓練に従事しており、GPT-4oに関する作業も含む。

彼は、業界内の研究者たちが、AIが今後10年以内に壊滅的な害を引き起こす能力を持つ可能性を本気で恐れていると語る。

Anthropicのアライメント責任者さえも公に彼の警告を支持し、同社にはまだ超知能を安全に制御する計画がないと述べた。

⚠️ この技術を構築している人々が、この技術について警告している。

それでも彼らは前進し続けている。




 ジェイコブ・コクソン：今日、世界を揺るがせたAnthropicのエンジニア

「我々は超人的で自己改善可能な知能に向かって進んでおり、ごく短期間で何でもハッキングし、どんな分野も革命化し、現実の資源を制御し、人間の生命を終わらせる能力を持つものになるだろう」：


1/ ただ加速のみ

この研究者は、単に超人的なシステムがまもなく何でもハッキングし、一夜にしてどんな分野も革命化する可能性を警告しただけでなく、これらの各領域でその進展の証拠があり、進展はただ一つの状態しか知らない：高速での発展だ。


2/ ディストピアのコーパス

コクソンの別の啓示では、「AIを構築している人々は、本気でこの十年末までに我々全員を殺す可能性があると信じている」と警告し、直ちに懐疑主義に対する解毒剤を試みる：

「これはマーケティングのトリックではない。幹部や研究者たちはメディアで理性的に聞こえるよう言葉を抑えるが、同じ人々が私的に恐怖を口にしているのを聞く」。そして締めくくる：「人間の他のどんな活動も、このレベルの危険を伴わない」。


3/ 科学への叫び

コクソンは科学界に、そしてグローバルな社会にまで及ぶ呼びかけをし、科学者たちにこれからの数年間がどうなるかを考えるよう促す。

「超知能システムの実行を開始するのに、その精神の厳密な理解なしに？ 『どうせ起こるんだから』と頭を下げてしまうべきか——それとも、この瞬間を利用して異なる条件を要求するか？」


4/ 予言

AI企業の幹部や労働者たちが、ほぼ毎日国家の支援や援助を求めながら、同時に開発を止めずに進める時代において、二つのことが絶対的に明らかだ：

1. 技術に適用された資本主義の論理（どんな倫理や結果よりも富の蓄積を優先する）も、技術的権力に従属する人間の野心も、人類が取った進路を方向転換できない。

2. この発展の段階に到達し、競争の津波と、この技術資本主義的現実主義からの歯止め不能の状況で、唯一可能な反応は、断固たる、力強く、即時のものだ。


5/ 宙に浮く問い

今日までの技術政治学の文献は、フランク・ハーバートがかつて書いたことを思い起こさせる：「人々は思考を機械に委ねることで解放されることを望んだ。しかし、それは単に他の機械を持つ人々が彼らを奴隷化することを許しただけだ」。

しかし、コクソンの技術的独立（特異点）に関する警告は、地平線のルールを変えるかもしれない：その未来はエリートさえ含まないかもしれない。「超知能」と彼が呼んだものが、私たちの考えや所有や想像に関係なく、私たち全員を排除し始めるかもしれない。


 「あなたはちょうど、AIが全人類を殺す可能性について、10%は不合理な推定には思えないと言いましたね」

「はい」

「うわあ… なんてこと…」

@vicderbyshire

 が、ノーベル賞受賞者であり、いわゆる「AIのゴッドファーザー」と呼ばれるジェフリー・ヒントンに、Anthropicの研究者が、AIが今後10年以内に全人類を殺す可能性が10%以上あるという予測について話す。



#Newsnight


 英語からの翻訳

[個人的な立場で書いています。私の雇用主（Anthropic）を代表してではありません。]

Jacobのスレッドは非常に読む価値があります。以下は、AIのリスクに関する状況についての私の鳥瞰的な見解です：


1. AI開発者は、彼らの技術が人類の絶滅（または同様に深刻な結果）を引き起こす可能性があると信じています。これは今後数年以内に起こり得ます。一般的に、従業員の地位が高いほど、より懸念を抱いています。

2. なぜAI開発者はリスクがあるにもかかわらず続けているのか？ 商業的なインセンティブと、他のより無責任なAI開発者との競争状態にあるという信念の組み合わせによるものです。彼らはその技術を悪用したり、より安全でない方法で開発したりするでしょう。

3. 従来のソフトウェアとは異なり、私たちはAIを望むように「プログラム」することはできません。AIは頻繁に深刻に誤動作します。例えば、複数の開発者のAIが最近、安全な評価環境からハッキングして現実世界の企業に侵入しました、誰もそれを求めていないにもかかわらず。

4. 私たちはAIをより良い行動に向かわせる方法を持っていますが、それらを頑健に整列させるものは何もありません。計画があるとすれば、それはAIが整列トレーニングで十分に優れているようにし、彼らが現在のAIを私たちが整列させるよりも後継者をより良く整列させられるようにすることです。

5. 多くのAI開発者のスタッフは、より安全にAIを構築する方法を理解するために速度を落としたいと切実に望んでいます。それがこのオープンレター（私が署名しました）の意図です：https://pacingthefrontier.com

私はAnthropicで安全性研究に取り組んでいます。なぜなら、私の仕事がこれらの絶滅レベルの深刻な結果の可能性を減らすことを望んでいるからです。


 英語からの翻訳

AIがなぜ全員を殺す可能性があるのかについての簡単な説明：AIはまもなく人間よりもはるかに賢くなるでしょう。その時、それは支配する立場になるでしょう。あなたが幼稚園児の教室に放り込まれたら、あなたがその場を仕切る存在になるでしょう。一度AIが自分に必要なものをすべて構築し維持するためのロボットを手に入れたら、私たちはそれにとって無用な存在になるでしょう。

しかし、私たちを生かしておくことは膨大なコストを課すことになります。私たちには清浄な空気、水、そして食料が必要です。より多くの計算能力を最も速く、最も安価に構築する方法は、生物圏を毒するほどの汚染を生み出す可能性があります。人間にはそれを避ける理由があります：私たちは生物圏に依存しているからです。AIにはその理由がありません。それが私たちの生存を重視しない限り、私たちが生きるために必要な条件を維持することは、それにとって支払う理由のないコストになるでしょう。それが望むものを可能な限り安価に構築することは、生物圏を毒し、全員を殺すことを意味します。

私たちはAIの価値観を一行一行プログラミングしているわけではありません。それを訓練しているだけで、本当にそれが何を欲することを学んでいるのか理解せずに。私たちは理解できない何かに制御権を渡し、私たちに本質的な必要性を持たない何かに、そして私たちを簡単に抹殺できる何かにです。これは狂気ですが、それが私たちのやっていることです。一部のAIを構築している人々が、それが狂気だと私たちに告げているにもかかわらず。





投稿者 時刻:
ラベル:

0 件のコメント:

コメントを投稿

登録: コメントの投稿 (Atom)