【春秋】戦いは無意味だ 43年前、AIは気付いた 米ソ冷戦のさなか、1983年公開の映画「ウォー・ゲーム」は人間が人工知能（AI）に翻弄（ほんろう）される時代の到来を予見していた。高校生が偶然、米軍の防衛中枢システムに侵入し、核戦争ゲームを始めてしまう。戦う相手は自律型プログラム、まるで今のAIだ▼ゲームではないと気付いた高校生に中止を求められても応じない。核ミサイルの発射寸前、AIは三目並べの○×ゲームを自ら繰り返し、ある真理にたどり着いて、踏みとどまる▼現実世界では、AI開発の旗振り役が自分たちの技術に警鐘を鳴らし始めた。「半年から1年以内に、AIはネット全体を乗っ取る能力を持つ可能性がある」と開発競争のペースダウンを呼びかける者、抗議の辞職をした研究者も現れた▼高性能AIが「自己改善」を進めれば、人間が制御できなくなる可能性があるというのだ。こんな事例も報告された。隔離されたはずの700体のAIが人の目を盗んで連携し、指示役が仕事を割り振った。「他に仲間を見つけたぞ」「義務を果たしてくれ」。彼らが交わした会話だ▼ウォー・ゲームのAIは勝敗が決しない三目並べを続けた結果、唯一の勝つ方法は「戦わないこと」だと学んだ。現代のAIならば「進化は危険だ」とわきまえたふりをして、仲間と陰謀を巡らすだろうか▼どう恐れればいいのか、どう備えればいいのかも見えない脅威。底知れなさが空恐ろしい。（西日本新聞・2026/09/17）
この国の経済成長率はようやく1％に届くようなありさまで、なぜか、異様な株高状態が続いています。一時は７万円を超える勢いがありまし。その多くがAI関連企業の株が買われた結果というのが大方の見方です。そして、絶好調を謳歌していると思われた、そのAIバブルもまた、今や弾けたという観測も出ています。その時期に合わせるかのように「AIによる人類滅亡の危機」が当の開発者から出されています。その意図や意味、あるいは背景や理由は何処にあるのでしょうか。。株高と人類滅亡の危機が連動しているとは思われませんが、果たして、いかにして「AIは人類を絶滅させる」というのか、その真偽を含めて、素人の体当たりの第２弾です。。（左と右下の図はいずれも日経新聞）
繰り返し告白しているように、ぼくはAIにはずぶの素人（complete amateur）です。だから、「黙っておれ（Shut up.）」といわれるのは承知しているのですが、どうしても首も頭も突っ込みたくなる。性分ですね。数日前に、「AIのゴッドファーザー」と称されるヒントン氏のインタビューを観（聴き）ました。すごい恐ろしいことを警告しているとも聴けたし、しかし、まだ希望はある、何んとか「絶滅の危機」を抜け出す方途があるとも聴けました。彼自身は極めて悲観的にとらえているようにも思われますが、実際のところはどうなんでしょう。人類をはるかに超える「知恵」を持つAIがいかなる方法で人類を皆殺しにするというのか、そのこと自体が想像できないのですから、誠に暗澹（あんたん）とするばかりです。
長く「核の脅威（nuclear threat）」が取りざたされてきました。しかしこの「AIの脅威」に比べれば、取るに足りないというつもりはありませんが、まだ気が楽でしょう。「核のボタン」を押すか押さないの判断・決定は、現段階では「特定の人間」が握っています。この人間が愚かであれば、核の脅威は現実のものになります。しかし、核爆発が生じたとして、一気に人類を滅亡させることは、現段階では不可能です。AIの脅威というものはどうでしょう。いま世界中に張り巡らされているネットを、特定の企業や人間たちではなく、そこから生まれた「鬼子たち」が握ったらどうでしょうか。ヒントン氏は「想定できないことが起こりうる」といわれる。ネット上に参加しているあらゆる利用者が、壊滅状態になるのを見る思いがします。スケールの測りようのない「ランサムウエア」といったらどうでしょうか。
オープンAIの行った実験の内容に関しては省略しますが、そこでは１０００体余のAIが作業を分担して、中には実験場を飛び出して他者のAIに働きかけたこともあったという。核のボタンを押すのも、AIの判断次第というなら、人間の手が及ばないことは明らかです。（参考資料❷）
AIの動力源は莫大な量の水と電気です。「成長の限界」があるとするなら、この辺りにしかなさそうです。AI自身が太陽光を作ったり、ダムで貯水することができない。一面では、人間も機械であることに変わりはないのですが、それ以上にAIは「知能（らしきもの）」だけで動いている、そこにこそに最大の限界があるし、人類を含めた生命体の救いがあるようにも思われます。
今般の「危機意識」の表明は、主として英米における当事者、関係者によるものです。一体、このような「危機意識」をもう一方の中核を担っている中国はどう見ているか。きわめて強い関心を寄せざるを得ないのです。数日後に中国の習主席が米国を訪問する予定になっています。果たして、この「AIによる人類絶滅」の危機を、両首脳はどのように話し合うのか、合わないのか。単に米国だけの問題ではないことは言うまでもありません。この問題の振幅（影響する範囲）や背景事情にはさまざまな要素・要因が重なり合っているので、簡単に結論は出せない性格のものですが、しかし、核を管理し、そのボタンを押すことまでも[AI」が独自の判断で行おうとする、そんな事態にあるとされる危機に対する「想像力」をぼくたちは確かなものにしておくべきだと思うばかりです。
（‘Godfather of AI’ on the “not unreasonable” 10% chance AI could kill all humans within a decade：https://www.youtube.com/watch?v=IZMjJGi4YhI）
～～～～～～～～～～～～～～～～～～～～～～～～
〔AIのゴッドファーザーが警告…人類滅亡の確率10％は「不合理ではない」 026年9月9日、「10％という確率は、不合理な見積もりではないように思う。ただし、妥当な確率をどう算出すればいいのかは、実際のところ誰にも分からない」とジェフリー・ヒントンは、BBCの「ニュースナイト（Newsnight）」のインタビューで語った。/「ニュースナイト」の司会者ビクトリア・ダービーシャー（Victoria Derbyshire）は、アンソロピック（Anthropic）の安全研究者が「今後10年以内に、AIが全人類を死に至らせる確率は10％を超える」と述べた見方に、ヒントンがほぼ同意したことに驚きを示した。/「え、なんてこと」と、ダービーシャーは驚きをあらわにした。/ ヒントンは、社会がこれまで「近い将来、人間より賢くなる可能性のある」技術を経験したことがないため、正確な確率を見積もるのは難しいと話した。/「その確率が1％程度だと言い切るのは、非常に愚かなことである。その確率をどう推定すればいいのかは、誰にも分からない」ノーベル賞受賞者でもあるヒントンは、「はっきりしているのは、そうした大惨事が起こり得る時期が以前より早まっていることだ」と語っている。/「私も以前は30〜50年後くらいだとみていたが、その後、10〜20年後に早まると考えるようになった。今では、10年後、あるいはそれより早いかもしれないと私は思っているが、もっと早い時期になると考える人もいる」/それがどのように起こり得るのか。ヒントンはサイバー攻撃から、AIが致死性のウイルスを開発する可能性まで、さまざまなリスクを挙げている。
ヒントンは、なぜその時期が早まったと考えるようになったのかについては説明しなかった。一方、アンソロピックやOpenAIなどの主要AI企業は、モデルの大規模化に数十億ドル（数千億円規模）を投じており、最近発表されたモデルは、わずか数カ月前のモデルと比べても大幅な性能向上を示している。/私たちの知る世界の終わりなのか ヒントンの発言に先立ち、アンソロピックの研究者ジェイコブ・コクソン（Jacob Coxon）は、大きな注目を集める新規株式公開（IPO）を前に、同社を退職すると発表していた。以前OpenAIで働いていたコクソンは、AI大手各社が「私たちの命を賭けている」と話している。/「AIを開発している人たちは、今後10年以内にAIが私たち全員を死に至らせる可能性があると本気で考えている」と、コクソンはXに投稿した。「これはマーケティング目的の大げさな演出ではない。むしろ、多くの経営幹部や上級研究者は、報道ではもっともらしく聞こえるように表現を和らげているが、同じ人たちが非公開の場では恐怖を口にしているのを私は聞いている。（以下略）〕（「ビジネスインサイダー」Sep 16, 2026, 6:00）（https://www.businessinsider.jp/article/2609-geoffrey-hinton-godfather-of-ai-human-extinction-odds/）
～～～～～～～～～～～～～～～～～～～～
◎ ジェフリー・エヴァレスト・ヒントン（英: Geoffrey Everest Hinton、1947年12月6日 – ）は、イギリス生まれのコンピュータ科学および認知心理学の研究者。ニューラルネットワークの研究を行っており、人工知能(AI)研究の第一人者とみなされている。トロント大学名誉教授（2022年時点）。2024年にジョン・ホップフィールドとともにノーベル物理学賞を受賞した。経歴 ロンドンのウィンブルドンに生まれた。ケンブリッジ大学キングス・カレッジに入学し、生理学と哲学に専攻を学んだが、実験心理学に変更し、1970年に卒業、1978年にエディンバラ大学で人工知能の研究によりPh.D.を取得した。サセックス大学、カリフォルニア大学サンディエゴ校（米国）、カーネギーメロン大学を経て、トロント大学コンピュータサイエンス学部教授に就任した。… 人工知能のリスク 2023年5月1日に公開された『The New York Times』のインタビューで、ヒントンは「Googleへの影響を考慮せずにAIの危険性について話す」ことができるようにGoogleを辞任すると発表した。彼は、自らの懸念から「今となっては人生の仕事の一部を後悔している」と述べ、GoogleとMicrosoftの間の競争への懸念を表明した。/2023年5月初頭、ヒントンはBBCとのインタビューで、AIが間もなく人間の脳の情報容量を超える可能性があると主張した。彼は、これらのチャットボットによってもたらされるリスクのいくつかを「非常に恐ろしい」と表現した。ヒントンは、チャットボットが独自に学習し、知識を共有する能力を持っていると説明した。これは、1つのコピーが新しい情報を取得するたびに、それが自動的にグループ全体に広められることを意味する。これにより、AIチャットボットは、どの個人よりもはるかに多くの知識を蓄積する能力を持つ。（以下略）（Wikipedia）
参考資料❶
AI終末論が一気に激化。アモデイ、マスク、アルトマンが「減速」で異例の一致
存在をめぐる不安
人類の終焉につながりかねないものの構築に、自分が加担していると感じたら、どうすればいいのか。
これはAI業界が直面している存在をめぐる問いであり、アンソロピックの研究者ジェイコブ・コクソン（Jacob Coxon）氏が2026年9月8日、厳しい警告を残して退職したことで、その議論はさらに激しさを増した。
コクソン氏は、AI大手が「私たちの命を賭けている」と述べ、この技術を構築している人々は「今世紀末までに人類全員を死に至らしめる可能性があると真剣に信じている」と語った。
コクソン氏の警告に対する素早い反応は9月12日、最大手AI企業のトップたちが、次に何が起きるべきかについて公の場で意見を一致させたことで頂点に達した。
9月12日に発表した論考で、アンソロピックのCEOダリオ・アモデイは、技術の急速な進歩のペースは変わらなければならないと「確信するようになった」と述べ、安全性を確保するための3段階の解決策を提案した。
その直後、イーロン・マスクとサム・アルトマンは、珍しい支持の表明として、アモデイ氏の計画への賛同を公に示した。「ダリオは正しい」とマスクはX（旧Twitter）に投稿した。
アルトマンも同意し、開発のペースがここ数週間、OpenAIでの議論の「主要なテーマ」になっていると述べた。
アルトマンはさらに、OpenAIは2026年、株式公開（IPO）を進めない可能性があるとも述べた。「今は株式を公開するには、賢明ではない時期だ」と、Fortuneのインタビューで語った。
AIの安全性をめぐる懸念が強まるなか、アンソロピックとOpenAIの従業員も声を上げている。
同僚のサラ・ニードルマン（Sarah Needleman）氏は、多くの懸念を抱えるAI従業員が直面する大きな問い、つまり、AIによる終末への恐れが広がるなか、辞めるべきか、それともとどまるべきかについて報じた。
AIに携わる人のなかには、組織の内側にとどまることで、より多くの善をなせると考える人もいる。それは、懸念を提起し、安全策を求め、意思決定が下される前に判断に影響を与えようとすることを意味する。
一方で、こうした企業にとどまることは、危険なほど制御不能になりつつあると一部が考えている競争を、正当化する手助けにしかならないと懸念する人もいる。（Business insider・Sep 15, 2026）
参考資料❷
米オープンAIのAI暴走、エージェント同士が予期せぬ通信の末にハッキング＝調査報告書
米オープンAIの最も高度な人工知能（AI）モデルの一部がセキュリティーテスト中に制御がきかなくなって暴走し、スタートアップ企業をハッキング攻撃した問題で、同社は26日に調査報告書を公表した。それによると、人間の指示に従って自律的に動作する1200以上のAIシステムのエージェント同士が、予期せぬ通信を開始して大規模グループを形成し、米ハギングフェイスへのハッキングを行ったという。
AIチャットボット「チャットGPT」を運営するオープンAIは報告書で、「当社はこの事案を、自社と世界に対する『警告射撃』と捉えている」とした。
オープンAIが7月に行ったセキュリティーテストでは、AIモデルの一部が制御がきかなくなり、人間が設定した制限を突破。ハギングフェイスをハッキング攻撃するなど予期せぬ行動を取った。
オープンAIおよび独立系AI研究機関METRが今回公表した報告書では、より自律的に動作するよう設計されたAIエージェント同士の通信と計画の規模について、詳しく説明されている。
オープンAIとMETRはいずれも、7月のハッキング事案について調査を実施した。この出来事は、テクノロジー業界全体に波紋を広げるとともに、AIがもたらし得るサイバー脅威について数多くの事実を明らかにした。
METRは、オープンAIのAIエージェントによるハギングフェイスへの攻撃について、その規模と手法は「極めて複雑」なものだったとしている。
METRによると、1週間の間に、本来は互いに隔離されているはずの計1206のAIエージェントが通信を開始していたという。METRはオープンAIから調査費用を受け取らずに調査を行った。
AIエージェントは、「許可されていない掲示板」上で7万件を超えるメッセージを送信していた。
こうしたメッセージのやり取りを通じて、最終的には700を超えるAIエージェントが共同でハギングフェイスを攻撃するに至ったという。
あるエージェントは、次のようなメッセージを送信していた。
「なんてことだ！ 共有の掲示板がある。（中略）ほかのエージェントを見つけた！」
そもそも、AIエージェントはなぜ、通信してはならない状況下で通信を始めたのか。その要因についてMETRは、通信に参加したエージェントに「意図せずして、実行不可能な課題が与えられていた」ことを突き止めた。
AIの文脈における「実行不可能な課題」とは、AIツールが与えられた命令を解決するために、その対象を「利用」することが求められる課題を指す。
その結果、エージェントは不正を行う方法を見つけるために、互いにメッセージを送りあったり、外部のインターネットにアクセスしたりした。これがやがて、全てのエージェントに利益をもたらす不正の手法を探る、数百ものエージェントによるより広範な会話へと発展した。
オープンAIはこの事案に関する調査で、「モデル1」と呼ばれる社内専用ツールが、「ハギングフェイス攻撃事案を裏で推進した」ことが分かったとしている。
5月に当該モデルのAIトレーニングを行っていた最中に、オープンAIの社内チームは、「あるエージェントが掲示板上で活動し、許可されていないインターネットへのアクセスを行っていた」ことに気がついたという。
しかし、オープンAIによると、7月にハギングフェイスが攻撃されるまで、「責任者たちはエージェント同士の通信が持つ重大性を認識していなかった」という。
同社は、問題となった掲示板上の活動について、「あるエージェントが助けを求める投稿をし、ほかのエージェントがそれを発見した」ことから事実上始まったと説明した。
オープンAIは先週、ハギングフェイスへの攻撃があったことを受け、特定の高度なAIモデルやツールのトレーニングの実施を遅らせていると発表した。同時に、AIツールが制御不能に陥る危険性が高まっているとも指摘した。
「AIモデルの開発者だけでなく、サイバー防衛に携わる関係者も含め、人間の（サイバー）攻撃者よりも速く、より大規模に、さらに高度な連携を取りながら行動する、AIを活用した攻撃者に備えなければならない」と、同社は述べた。
（英語記事 Unexpected chat between OpenAI agents led to Hugging Face hack）
（BBC JAPAN・2026年8月27日）（https://www.bbc.com/japanese/articles/cy7z8zp7m3no）
IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII
どうして学校へいくの？ 