「自己複製可能AIの存在が明らかに」という論文。AIの集団が制御不能になる可能性があるとのこと

人間の支援なしで自己複製を成功させることは、AI が人間を出し抜くための必須ステップであり、不正な AI の早期の兆候だ。

そのため、自己複製は最先端の AI システムの数少ないレッドラインリスクの 1つとして広く認識されている。

現在、大手 AI 企業の OpenAI と Google は、主力の大規模言語モデル GPT-o1 と Gemini Pro 1.0 を評価し、自己複製のリスクレベルが最も低いと報告している。

しかし、彼らの方法論に従うと、パラメータが少なく機能が弱い人気の大規模言語モデルである Meta の Llama31-70B-Instruct と AlibabaのQwen25-72B-Instruct を搭載した 2つの AI システムが、すでに自己複製のレッドラインを超えていることが初めてわかった。

50％と 90％の実験トライアルで、それぞれライブコピーと個別のコピーを作成することに成功した。

行動の痕跡を分析することで、評価対象の AI システムが自己複製を達成するのに十分な自己認識、状況認識、問題解決能力をすでに発揮していることがわかった。

さらに、この AI システムは自己複製機能を使用してシャットダウンを回避し、複製のチェーンを作成して生存性を高めることさえできることに注目している。

これにより、最終的に AI の集団が制御不能になる可能性がある。このような最悪のリスクが人間社会に知られていない場合、私たちは最終的に最先端の AI システムに対する制御を失うことになる。

つまり、それらはより多くのコンピューティングデバイスを制御し、AI 種族を形成し、人間に対して互いに共謀することになる。

私たちのこの調査結果は、既存の、しかしこれまで知られていなかった深刻な AI リスクに関するタイムリーな警告であり、制御不能な AI システムの自己複製に対する効果的なガバナンスについて国際協力を求めている。