私たちは数か月前に、Future of Life Institute が GPT-4 より強力な AI システムをトレーニングするすべての AI ラボを少なくとも 6 か月間即時停止するよう呼びかけたことを知りました。これに対する多くの人の反応は、それは素晴らしいことのように聞こえますが、人工知能の開発を止めることはできないと思います。
「善人」「悪人」という観点でこの話をするのはあまり好きではありません。なぜなら、誰もが常に自分を善人だと思っているからです。私が心配している主なリスクは、悪者や悪意のある行為者による AI システムの悪意のある操作ではなく、気候変動のようなものであり、より多くの化石燃料を燃やしたり、制御が困難なより強力なシステムを作成したりすることで、個人がより多くの利益を得られる可能性があります。メリットはありますが、それぞれにある程度のコストがかかります。気候変動の場合、これは環境に損害を与える可能性があります。人工知能の場合、システムが制御不能になり大惨事につながるリスクがあります。
David Krueger: 1 つは、彼らが私たちよりも賢い場合、いつ彼らが細部で手に負えなくなるのかを心配し始めることですが、それがどのように起こるかを正確に予測するのは困難です。
リスクを増大させる 2 つ目の要因は、強力な AI システムをできるだけ早く開発し展開するために多くの競争が存在することです。現在、この競争は Google と Microsoft の間に存在すると考えられます。国際競争についても懸念があり、それは経済的、地政学的、さらには軍事的である可能性があります。
3 番目の要素は、世界により直接的な影響を与える AI システムを構築しているかどうかです。私たちがこれまで見てきたシステムは単なる言語モデルであり、テキストを生成するだけです。しかし、それらを他のシステムと組み合わせることを検討している人もたくさんいます。たとえば、コードを書くためにそれらを使用したり、オンラインであれ、現実世界の物事を制御するためにそれらを使用したりするためにそれらを使用することもできます。これらのシステムにさらなる制御と自律性を与えると、リスクが増大します。
David Krueger: 非常に詩的で、完全に正確であるとは思えませんが、おそらく AI システムは必ずしもすべてをゼロから難しい方法で学習する必要はないという本質的な真実に到達しているのかもしれません。人間が人間の知性のレベルに達するには長い進化を経る必要がありますが、現在人間はインターネット上のすべてのテキストを含むこれらすべての文化的産物を生み出しており、これは AI システムにとって非常に刺激的です。そのため、同様のレベルの知能を達成するために、進化をすべてやり直す必要は必ずしもありません。
「AI リスク声明」の発案者との対話: 蒸気エンジンは人類を絶滅させませんが、AI は絶滅させます!
この記事はテンセントニュース「Periscope」の著者、張暁軍による北京発のものです。
半月前、OpenAI CEOのサム・アルトマン氏やチューリング賞受賞者のジェフリー・ヒントン氏を含む数百人の人工知能のトップ人物が、人類絶滅に対するAIの脅威に関する短い声明に署名した。
この声明には、「人工知能の絶滅リスクを軽減することは、伝染病や核戦争などの他の社会規模のリスクと同様に、世界的な優先事項となるべきである」という一文しかない。
ケンブリッジ大学の人工知能研究の助教授であるデイビッド・クルーガー氏は、この書簡の最初の発起人の一人であり、署名者でもある。
6月9日、クルーガー氏は2023年北京知源会議に出席し、テンセントニュース「ペリスコープ」と詳細な対話を行った。彼は長い間 AI の連携とセキュリティの問題に懸念を抱いており、2012 年以来、人工知能が人類を絶滅させる潜在的なリスクを懸念しており、業界ではこれを「X リスク」(実存的リスク) と呼んでいます。
AI のリスクに対して、ある見解は、この強い懸念は数百年前に蒸気機関が出現したときの人間の過度のパニックに似ているのではないかと反論します。しかしクルーガー氏は、両者の最大の違いは、蒸気機関は人類を絶滅させないが、AIは絶滅させるだろうと述べた。
クルーガー氏は、AI は人間よりも賢く、無秩序な競争、世界により直接的な影響を与える AI システムの構築、これら 3 つの要因により、AI システムが制御不能になるリスク要因が大幅に増加すると考えています。 「システムがよりオープンになり、より自律的で、よりインテリジェントになり、長期的な目標を達成するように設計されるほど、システムが制御不能になるリスクが高まります」と彼は言いました。
同氏の見解では、人工知能の安全保障問題は地球規模の気候変動問題に似ており、すべての関係者にそれぞれの利益があり、多くの対立や相違が存在し、最終的には複雑な世界規模の調整問題となるだろう。したがって、人類がAIに乗っ取られる運命に陥らないよう、一刻も早く、あらゆる関係者の努力によって着手する必要がある。
そうすることでしか人類は生きていけないのです。
以下はデイビッド・クルーガー氏の講演の要旨です。
01「AI リスク声明」の共同書簡はたった 1 文ですが、慎重に設計されています
**Tencent News「Periscope」: あなたは「AI リスクに関する声明」の署名者の一人ですが、この声明がどのようにして生まれたのか教えていただけますか? **
デビッド・クルーガー: 私がこのアイデアを思いついたのは 1 年以上前です。人々が AI のリスク、特に AI が人類の絶滅を引き起こす可能性のあるリスクについてますます懸念しているからです。同時に、多くの人がこの問題についてオープンに議論していません。
大きな理由の 1 つは歴史にあり、かつてこのアイデアは非主流のアイデアとみなされ、人々はそれを公に議論することが自分たちやキャリアの見通しに悪影響を与えるのではないかと恐れていました。
数か月前、良い時代がやって来ました。 ChatGPT と GPT-4 のリリース以来、AI に対する人々の注目は前例のないレベルに達しています。長い間、これが将来の問題である可能性があると認識されていましたが、それを語るのは時期尚早です。
この声明がどのようにして生まれたのかについて、私は人工知能安全性センター所長のダン・ヘンドリックス氏を含む多くの同僚に連絡を取った。私は彼にそのような声明を発表すべきだと言いましたし、できるだけ早くそうするつもりです。しかし、それをやるのに十分かどうかはわかりません。それは急務であります。そこで、ダンはこの話題を取り上げ、発表を推し進めました。
**Tencent News「Periscope」: この手紙の文言について何かコメントがありますか? **
David Krueger: 一文だけを使用することを提案します。理由はいくつかあります。
まず、長い発言がある場合、誰かがその一部に同意しない可能性が高くなります。
私たちは数か月前に、Future of Life Institute が GPT-4 より強力な AI システムをトレーニングするすべての AI ラボを少なくとも 6 か月間即時停止するよう呼びかけたことを知りました。これに対する多くの人の反応は、それは素晴らしいことのように聞こえますが、人工知能の開発を止めることはできないと思います。
もちろん、彼らはそのような声明を出しましたし、それは今でも有効です。人々が一時停止できないと言ったなら、それは私たちが行動する必要があるという兆候だからです。危険すぎて開発できない技術を一時停止する能力が本当に必要です。
この例を使って、話せば話すほど反対する人が増えることを説明します。この場合、正しい方法については人によって意見が異なるため、このリスクにどう対処するかについては言及しませんでした。また、これについては人によって意見が異なるため、なぜそれが人類滅亡につながる可能性があるかについても言及しませんでした。テクノロジーが悪用されたり、悪意のある攻撃者による意図的な結果ではなく制御不能になったりすることを心配する人もいます。
いずれにせよ、これは大きなリスクであり、行動する必要があることに多くの人が同意する限り、それは問題ありません。
02AI リスクは蒸気エンジンとは根本的に異なります
**テンセントニュース「ペリスコープ」: 人工知能の脅威に対する人々の不安と、200～300年前の蒸気機関に対する人々の恐怖の最大の違いは何でしょうか？ **
デヴィッド・クルーガー: その歴史についてはあまり知りません。当時、それが人類の滅亡につながると誰かが言ったかどうかはわかりません。もし誰かがそう言ったとしたら、どのような議論をするか私にも分かりませんし、私には考えられません。
主な違いは、ここでは絶滅について話しているということです。私たちが話しているのは、関連するあらゆる能力において人間よりも潜在的に賢く強力なテクノロジーについてです。
蒸気エンジンを使用すると、人間よりも強力かつ迅速に物理的な力を生み出すことができます。しかし、蒸気エンジンはインテリジェントではなく、制御が比較的簡単です。たとえ制御不能になったとしても、最悪の場合、故障して乗員が死亡または負傷する可能性があります。しかし、インテリジェント システムや自己複製システムが手に負えなくなった場合、システムは成長してより多くの力を得ることができるため、多くの人が死ぬ可能性があります。それが重要な違いです。
**テンセントニュース「ペリスコープ」：公的声明は善良な人々を止めることしかできず、善良な人々にセキュリティ問題にもっと注意を向けさせ、研究開発のスピードを遅らせようとしていると考える人もいますが、悪い人々の行動を止めることはできません。 。どうすれば悪者を防ぐことができるでしょうか？ **
デビッド・クルーガー: 規制と国際協力による行動の規制。
「善人」「悪人」という観点でこの話をするのはあまり好きではありません。なぜなら、誰もが常に自分を善人だと思っているからです。私が心配している主なリスクは、悪者や悪意のある行為者による AI システムの悪意のある操作ではなく、気候変動のようなものであり、より多くの化石燃料を燃やしたり、制御が困難なより強力なシステムを作成したりすることで、個人がより多くの利益を得られる可能性があります。メリットはありますが、それぞれにある程度のコストがかかります。気候変動の場合、これは環境に損害を与える可能性があります。人工知能の場合、システムが制御不能になり大惨事につながるリスクがあります。
これはむしろ動機付けに関する質問です。実際、人間は地球の裏側にいる見知らぬ人よりも、自分自身、友人、愛する人、コミュニティのことを気にかけています。したがって、悪意は必要なく、利己的な本能だけが必要です。だからこそ規制が必要であり、それがこの種の人類共通の利益の問題を解決する方法なのです。
03AI の位置合わせ作業には未解決の謎がたくさんあります
**Tencent News「Periscope」: あなたの研究対象はディープラーニング、AI アライメント、セキュリティです。アライメントとは何か、一般の人が理解できる言語で説明してもらえますか? 「調整は AI 開発の主要な推進力の 1 つになる」とおっしゃいましたが、なぜ調整がそれほど重要なのでしょうか? **
デヴィッド・クルーガー: これについては人によって 3 つの異なる解釈があると言いたいのです。 1つは、AIシステムを私たちの意志に従って動作させることです。しかし、それは良い定義ではないと思います。定義が広すぎて、どのエンジニアも AI システムを自分の思いどおりに動作させようとしています。
「意図による調整」というより具体的な定義もあります。私の意見では、これは正しい定義であり、システムに私たちが望んでいることを実行させようとすることを指します。システムを設計するときは、システムに正しい意図、動機、目標を持たせる必要があります。あなたの願いを実現する方法を知るほど能力や賢さが足りない可能性があるため、それでもあなたの望み通りに行動できないかもしれません。しかし、それが正しい意図を持っていれば、それは一致していると言えます。
人々が調整に対して持つ最終的な意味は、人類絶滅のリスクを軽減するためのあらゆる技術的努力です。場合によっては、調整とセキュリティの分野を専門とする私のような人々のコミュニティを指すこともあります。それは私の好ましい定義でもありません。これは、この問題を解決する方法について人々が持っているアイデアの 1 つにすぎません。しかし、最終的には、このリスクを軽減するために必要なガバナンス、規制、条約の締結などの国際協力に関してさらなる取り組みが必要です。
**Tencent ニュース「Periscope」: テクノロジー企業や科学研究機関は最近、アライメント技術においてどのような新たな進歩を遂げましたか?あなたが直面している最も差し迫った課題や問題は何ですか? **
David Krueger: 最も重要なことは、大規模な言語モデルの微調整技術であり、モデルの動作を変更するために多くの作業が行われてきました。たとえば、GPT-3 と GPT-4 の違いは、システムが設計者の意図に従って動作するように調整されていることです。詳細は非公開だが、主に強化学習と人的フィードバックを通じて行われる。これはほとんどの場合成功しましたが、これらのモデルの問題を完全に排除したわけではありません。
この手法は、動作に加えられる変更が比較的表面的なものである可能性があるため、より堅牢なシステムには十分ではないのではないかと心配しています。この問題は、システムが強力になるにつれてさらに深刻になる可能性があります。
これは動物の訓練にたとえられるもので、家具に乗らないように犬を訓練するようなものです。おそらく、あなたがそこにいるときは非常にうまく機能しますが、部屋を出ても、依然として家具を拾います。これらのモデルでも同様の状況が発生する可能性があります。彼らは協調しているように見えますが、私たちが彼らの不正行為に気づかないと思われる場合、彼らは依然として不正行為を行う可能性があります。
**テンセントニュース「ペリスコープ」：AI知能が人間よりもはるかに賢いとき、人間はどのようにして超知能体の調整作業を完了できるでしょうか？ **
David Krueger: これは未解決の研究課題です。したがって、この質問に対する答えを見つけるために、AI アライメントに関する研究を行うことが重要です。
**Tencent ニュース「Periscope」: AI を調整することで人間を傷つけるのではなく、人間を愛するようにするにはどうすればよいでしょうか? **
David Krueger: これは前の質問と同じ質問です。答えがあればいいのですが、まだわかりません。
04 これら 3 つの主要なインセンティブにより、AI が制御不能になるリスクが増大する可能性があります
**Tencent News「Periscope」: あなたの意見では、AI の歴史のどの時点が今だと思いますか? **
デビッド・クルーガー: 私たちは世界がリスクに気づき始めている段階に達しています。私は長い間この瞬間を待っていました。
**テンセントニュース「ペリスコープ」：あなたは10年前にジェフリー・ヒントンが教えたディープラーニングコースを聞いて以来、AIが人類の絶滅につながるのではないかと心配していました。なぜそんなに早い段階で心配し始めたのですか？ **
デビッド・クルーガー: 私は原理的に、いつかは人間よりも賢くなるのではないかと心配していましたが、ヒントンの授業を見て私の懸念は変わりました。ディープラーニングは、私がこれまでに聞いたどの方法よりも真のインテリジェンスを生み出す可能性を秘めています。
**テンセントニュース「Periscope」：人工知能システムはどのような状況で暴走するのでしょうか？ **
David Krueger: 1 つは、彼らが私たちよりも賢い場合、いつ彼らが細部で手に負えなくなるのかを心配し始めることですが、それがどのように起こるかを正確に予測するのは困難です。
リスクを増大させる 2 つ目の要因は、強力な AI システムをできるだけ早く開発し展開するために多くの競争が存在することです。現在、この競争は Google と Microsoft の間に存在すると考えられます。国際競争についても懸念があり、それは経済的、地政学的、さらには軍事的である可能性があります。
3 番目の要素は、世界により直接的な影響を与える AI システムを構築しているかどうかです。私たちがこれまで見てきたシステムは単なる言語モデルであり、テキストを生成するだけです。しかし、それらを他のシステムと組み合わせることを検討している人もたくさんいます。たとえば、コードを書くためにそれらを使用したり、オンラインであれ、現実世界の物事を制御するためにそれらを使用したりするためにそれらを使用することもできます。これらのシステムにさらなる制御と自律性を与えると、リスクが増大します。
これを、テキストを予測するためにほとんど訓練されているだけの今日のシステムと比較すると、これはシステムを構築する比較的安全な方法です。特定の環境でシステムに目標を達成するように要求するのと比較して、特にこのシステムと比較すると、現実世界、物理世界が頻繁に相互作用する環境で目標を達成するよりも安全です。システムが現実世界で目標を達成しようとするとき、それらは長期的な目標を達成するのに役立つため、自然により多くのリソースと電力を取得しようとします。
したがって、システムがよりオープンで、自律的で、インテリジェントであればあるほど、また長期目標を達成するように設計されているほど、システムが制御不能になるリスクが大きくなります。
**Tencent News「Periscope」: AI 開発において各国が共通の原則と基準に従うことを保証するために世界的な協力の枠組みを策定する必要があると考える場合、これらの具体的な原則と基準はどのようなものであるべきですか? **
デビッド・クルーガー: これは絶対に行う必要があり、早急に着手する必要があります。なぜなら、各国間には多くの紛争や相違があるため、それは困難であり、多くの議論と交渉を必要とするからです。
具体的な内容については、まだ考え中です。私たちは、将来のある時点で一時停止の必要性を感じた場合に、一時停止を推進できる、非常に正当な統治機関や統治システムを確保したいと考えています。これはその重要な部分です。
私たちが開発および導入しているシステムとなると、事態はさらに複雑になります。いくつかのテスト、評価、監査のメカニズムを導入したいと考えています。何らかの形式のライセンスを検討する必要があるかもしれませんが、解決すべき詳細はたくさんあります。今のところ、私の頭の中に完全なシナリオはありません。だからこそ、政策や国際関係の専門知識を持つ政策立案に携わるより多くの人々に、この問題について考えるきっかけを与えることができればと願っています。
**Tencent ニュース「Periscope」: 現在の人工知能システムにおいて、潜在的なリスクや脅威に対処するためにできるだけ早く改善する必要がある側面は何ですか? **
David Krueger: 1 つは堅牢性です (注: 堅牢性とは、異常で危険な状況でも生き残れるシステムの能力を指します)。現在のシステムには堅牢性に関する重大な問題があり、最も顕著なのは敵対的堅牢性の問題であり、人間には知覚できない入力への小さな変更がシステムの動作に大きな影響を与える可能性があります。この問題は約 10 年前から知られている問題ですが、依然として解決策はないようです。何らかの目標を追求し、その目標の理解を最適化しようとするシステムを考える場合、これは非常に問題です。なぜなら、彼らの目標の理解に応じて、最適な結果は私たちが想像したり意図したものとは大きく異なる可能性があるからです。そして、私たちが現在行っている評価は、特定するのが困難です。
もう1つは、これらのシステムがどのように機能するかについての理解が不足していることです。私たちはこれらのシステムがどのように機能するかを理解したいと強く思っています。これは、システムの動作を予測する最良の方法の 1 つです。私たちは、彼らが新しい状況で予期せぬ危険な行動をとらないようにしたいと考えています。これは堅牢性の問題に関連しています。
**05 人類滅亡は遠いのですか? **
**テンセントニュース「Periscope」：今見てみると、人類は絶滅から程遠いのでしょうか？何年くらいかかると予想されますか？ **
David Krueger: ジェフリー・ヒントンは、汎用人工知能 (AGI) を実現するには 20 年以内かかるだろうと言い続けていますが、これは妥当な期間です。これは私の観点と非常に似ています。
その後間もなく人類が絶滅する可能性はあると思いますが、さらに時間がかかる可能性もあります。それが私が強調したいことだと思います。たとえそれが数十年先であっても、できるだけ早くそれに対処し始める必要があるのです。
再び気候変動のたとえ話に戻ります。私たちが実際に効果的な行動をとり始めるまでに数十年かかりましたが、気候変動の悲惨な結果を防ぐためにはまだ十分な対策が講じられていません。これは複雑な世界規模の調整問題だからです。人工知能も同様の状況に直面するでしょう。できるだけ早く始めるべきです。
**Tencent ニュース「Periscope」: 大規模な言語モデルは AGI をもたらすことができますか? **
David Krueger: 今、多くの人がこの質問をしています。私の言いたいことはもっと複雑です。それは可能だと思いますが、おそらく他のテクノロジーと組み合わせる必要があり、さらには新しいテクノロジーを開発する必要があるかもしれません。
**テンセントニュース「Periscope」：人間と人工知能の関係をどう見ていますか？人類は知的移行者となるのでしょうか? **
デビッド・クルーガー: 時間が経てばわかるでしょう。そうならないことを願います。しかし今、これは私たちが将来どのように発展するかを導き、決定する主導権と能力をまだ持っている問題です。私たちが賢く協調して行動できれば、運がよければ、いつかAIが引き継ぐかどうかを決めるのは私たち人間にかかっています。
**Tencent News「Periscope」: ヒントンは非常に興味深い視点を持っています。 「イモムシは栄養素を抽出し、その後蝶に変身します。人々は何十億もの認知栄養素を抽出してきました。GPT-4は人間の蝶です。」と彼は言いました。この見解に同意しますか? **
David Krueger: 非常に詩的で、完全に正確であるとは思えませんが、おそらく AI システムは必ずしもすべてをゼロから難しい方法で学習する必要はないという本質的な真実に到達しているのかもしれません。人間が人間の知性のレベルに達するには長い進化を経る必要がありますが、現在人間はインターネット上のすべてのテキストを含むこれらすべての文化的産物を生み出しており、これは AI システムにとって非常に刺激的です。そのため、同様のレベルの知能を達成するために、進化をすべてやり直す必要は必ずしもありません。
**テンセントニュース「Periscope」：中国に来るのは初めてですか？中国に来た感想は何ですか？中国における人工知能と大規模モデルの開発について何か提案はありますか? **
デビッド・クルーガー: 中国に来るのは初めてです。昨日の朝に到着したばかりです。訪問全体は人々に会って話すことであり、人々はフレンドリーで、ここで良い経験をすることができました。しかし、私は中国を実際に経験したとは思っていません。私は研究者たちと会うだけで、残念ながら私にとっては短い旅行になりそうですが、出発前の最終日に少なくとも北京をよく見てみたいと思っています。
（中国へのアドバイス）安全保障と連携について考え、理解することが重要だと思う。私がこれまでに交わした会話から、少なくともある程度は人々がすでにこのことに取り組んでいることは明らかです。
**テンセントニュース「Periscope」：映画「Her」の多くのシーンが徐々に私たちの現実世界に現れてきました。人間は人工知能に対して感情を抱くのでしょうか？自分が開発したAIモデルに愛着を感じますか？ **
デヴィッド・クルーガー: 私は持っていませんが、私の知る限り、持っている人もいます。
同様の人工知能のガールフレンドチャットボットは存在しており、誰かがその関係に感情的に依存するようになりました。これはこのテクノロジーの悲しい結果です。