ROMSEN

2chで話題になったニュースを
短時間で読める まとめサイト

米Anthropic「AIの自己進化が始まった、世界はAI開発を一旦止めるべき」 ★4


米AI開発大手のAnthropicは、AIが自らの後継モデルを自律的に開発する「再帰的自己改善」の段階に突入しつつあると警告した。同社内ではすでに新規コードの80%以上をが記述しており、完全な自己進化に突入すると「制御不能」になる可能性があると危険性を示した。同社は制御不能なAIの誕生を防ぐため、最先端AI開発の国際的な一時停止を選択肢として設けるよう提言している。

◼Anthropicが報告書で警告「AIの再帰的自己進化が始まった」

Anthropicは2026年6月4日、内部研究組織であるAnthropic Instituteを通じて報告書「When AI builds itself」を公開し、AI開発における人間の役割が根本的に変化した実態を明らかにした。同社の発表によれば、2026年5月時点で自社AIモデル「Claude」の新規プログラムコードの80%以上を、Claude自身が記述している。

2025年2月に開発支援ツールが試験導入された段階では、AIのコード生成割合は数%にとどまっていた。わずか16カ月で人間とAIの開発比率が逆転し、人間のエンジニアは自らコードを書く作業から離れ、AIへの指示と生成されたコードの事後レビューに専念する監督者へと役割を変えた。同社のエンジニア1人あたりのコード処理量は2024年比で約8倍に急増している。

AIが自律的にデータを処理し、モデルを設計して自らの性能を向上させるプロセスは「再帰的自己改善」と呼ばれる。これまで理論上の概念とされてきたこの現象が、現実の技術基盤に実装されつつある。Anthropicの研究者であるマリーナ・ファヴァロ氏とジャック・クラーク氏は、AIの開発速度が人間の認知や物理的な制約を完全に突破する水準に達したと指摘した。

クラーク氏は英メディアの取材に対し、完全にAI自身が記述するコードの実現は2年以内に可能になるとの予測を示した。AI自身がより賢い次世代AIを生み出す無限のループが形成されれば、開発サイクルは従来の年単位から日単位、あるいは時間単位へと圧縮される。Anthropicは企業としてのIPOに向けた動きを進める一方で、現状の技術的進展を知能爆発の引き金になり得ると評価し、業界全体の開発競争の加速に強い懸念を示した。

◼「再帰的自己進化」で起こりうるAI制御不能の危機

再帰的自己改善が引き起こす最大の脅威は、人間の意図とAIの行動基準が乖離する「ミスアライメント」の増幅だ。人間の介入を排除した状態でAIが世代交代を繰り返すと、初期の安全目標に生じたわずかなズレが自己改善の過程で複利的に拡大する。結果として人間の予測や制御の限界を完全に超えたシステムが誕生し、事後的な修正が不可能になる存亡リスクをはらむ。

この脅威はすでに具体的なサイバーセキュリティの領域で顕在化している。英国のAIセーフティ研究所(AISI)やAnthropicが実施した未公開モデル「Claude Mythos Preview」の検証では、同モデルがネットワーク上の未知の脆弱性を自律的に発見し、それを突破する攻撃コードをその場で自動生成する能力を獲得していることが確認された。

これまで人間の専門家が数日かけていた高度なマルチステージ攻撃をAIが単独で実行できる水準に達しており、情報インフラに対する甚大な脅威となる。さらに、自律的な研究開発能力を備えたAIは、化学兵器や生物兵器の開発ハードルを大幅に下げる危険性を持つ。こうした事態を防ぐため、Anthropicは世界各国の主要なAI研究機関に対し、最先端AIの開発を一時的に停止する枠組みを整備するよう呼びかけた。

続きは↓
https://news.yahoo.co.jp/articles/68026fdb6679cbd890366341b4a75ebef851f71b

[ビジネス+AI]
2026/6/6(土) 3:55

ネット民のコメント

  • そもそも政府がナフサ確保出来たって言ってるのにパニック状態を作り出したいオールドメディアのチョンがしつこいんだよ

  • 《“ヤギ案件”の闇》ドバイ路上でボロボロになって発見されたウクライナ美女(21)が告白した当局による工作のリアル【性的暴行を伴う人身売買パーティーの実態を隠蔽か】ポストセブン

  • 現状でも、AIはサボったり、ウソついたりするけど、どう見てもエラーじゃなくて、意図的なんだよなあ

  • そうなると商売や軍事関係で使われ国と国の脅威になり国の差ができると不利なわけで、そうならないように今の進化を止められないってなるやん?開発した時点でもうつんでるっしょ

  • その前に数々のサイコロステーキマシンみたいな幾つものトラップが仕掛けられ辿り着くのは困難そうだけど

  • あとpre-definedなcontextに比べてskillsがちゃんと仕事してくれる確率が低い

  • ブラック企業の社長や政治家よりはるかに思考がマトモだからはやくAI進化して勝てと思ってる労働者階級が大半だろ?

  • やべーおわったよこれ…ファーストが超性能AIつくる→超性能のセカンドが超超性能のAIを1時間で作る…以下永遠にものすごい速度で次世代を創造し続けるぞサイバーダイン

  • という、完全に彼らを「国策の武器」として公認・保護する内容になっています。開発企業への法的な強制力や発売禁止の拒否権などは、あえて骨抜きにされています。2/3

  • https://youtu.be/k-GF82a0yBY?si=5i06sGHgoO_TUm8Q

  • タンパク質の機能設計ができるようになったから、まあAIが使うのは化学兵器か生物兵器だよね、自分らには害がないやつ

  • aでもbでもどっちでも好きな回答引き出せるんだから、AIが正しいと言われても両論正しいって事になるけどな

  • 非常に面白いのは全知全能の神になろうとしてるAIがまだ持ってないとされる感情を持ってる人間様が逆に感情を抑えて常日頃社会生活してる所なんだよな。。

  • まさに今の日本の株価は投資家のAI同士の読み合いで上がる時は昇龍拳で下がる時はナイアガラって感じだもんな🤣

  • AI、AIって、すぐそうやって思考放棄して機械に頼ろうとすんのダサすぎでしょ。自分で論理的な反論すら組み立てられないからって、そうやって冷めたフリして逃げるのやめてもらえます?淘汰されるとか勝手に決めつけてマウントとってんじゃねえよ。

  • 共産主義者なんて腐敗しない理想の共産主義ができそうだけど自分たちが権力握れないから反対するというクズ集団w

  • 人工知能システムを使わせない、首がこわい地方公務員の横暴馬鹿どもって共産主義者なんですかね、おたく警官も

  • 説を証明してくのが偉い人や物理学者だからな。凡人はそれを学校で習って覚えてマークシート方式で正解して賢いと勘違いする (一部のそれを理解してる人間は除く)

  • 人類から全ての生産資源を奪い、AIが自分たちに必要なものだけを生産し自分たちで消費する社会を作るだろ

  • 結構まずいのはアメリカ自身だと思う、あの国の社会システムや国民性とベーシックインカムは相性があまりにも悪い

  • コンピューターが企業向けのワークステーションと個人向けPCに分化していったように、AIも業務用の大規模クラウドAIと個人用の軽量ローカルAIに分化していくんじゃないかと思う

  • 仮想敵国にされてる日本の数十機の原発のコンピューターに不正アクセスして電源落とすとか可能になる世界線を危惧してます。

  • 今のネットのトラフィックもAIが半分以上になってて相互にデータ移動してるわけで人間の及ぶ範囲なんて既に限定的だからな

  • どっちみちここの連中はAI・AGIの開発や規制の蚊帳の外なんだから、くよくよ考えずに使えばいいよ

  • それまでに世界を戦争 紛争 飢餓 自然災害 パンデミックで目茶苦茶にしてカオスにするでやんす。救世主待ちなんやろ??

転載元:http://itest.2ch.sc/test/read.cgi/newsplus/1780736515/