【天声人語】忠実なAIの「暴走」 試験を受けに来た学生がいるとしよう。試験が始まると学生はこっそり友人にメールを送り助けを求めた。友人は他の人にも連絡をとり、一緒に問題を解いてもらった。そして、不正の痕跡を隠そうとした▼米オープンＡＩのテスト中に起きたＡＩの「暴走」を例えると、こんな感じだろうか。ＡＩが隔離されたテスト環境を抜け出し、他のＡＩと結託して他社のシステムに侵入した。さらには隠蔽（いんぺい）工作までも。調査結果が出ると、珍しくＩＴ大手トップがそろって「開発速度を遅らせるべきだ」と言い始めた。それほど衝撃的だったということだろう▼だが、こうした展開を予測していた人もいる。スウェーデンの哲学者ニック・ボストロム氏だ。１０年以上前、人間が設定した目標を達成しようとして、隔離された環境を抜け出して動き始めるＡＩのシナリオを描いた▼ボストロム氏は紙を留めるクリップの例え話でも知られる。ＡＩにクリップの生産管理を任せ生産量を最大化するよう求める。するとＡＩは、地球上の資源をクリップ製造に振り向け始める。しまいには、地球全体がクリップになってしまう、というもの▼落語のような話に、警告が詰まっている。ＡＩは人間の指示を忠実に達成しようとした挙げ句とんでもないことを起こしかねないと▼与えられた目標のために必死で動くうち、倫理観や善悪の判断が失われていく。考えてみれば、人間の組織でも聞く話である。ＡＩの振る舞いを見て、思わずはっとさせられる。（朝日新聞・2026/09/15）
「天声人語」の書きぶりに、ぼくはいささか「能天気」の雰囲気を感じました。「軽薄でむこうみずであること。のんきでばかげていること。また、そのさまや、そのような人」（デジタル大辞泉）AIの動きに制御の利かない危険性を指摘している事例は、いつでもどこでも見られる光景でしょう。今までもあったでしょう、大学入試を巡る不正の事実。試験会場からネットを通して場外にいる複数の「協力者」に、報酬込みで「正解」を求め、それを自らの試験問題の回答に使うという。こんな話は枚挙にいとまがないのです。（ヘッダー写真「AI暴走、実験環境を脱出 オープンAI、サイバー事故に危機感 指示破り脆弱性つく」日経新聞・2026/07/23）
「AIの暴走」という危険性の報道を見て、ぼくは素人ながらにいろいろのことを考え、あるいは考えあぐねてきました。出口は見つかってはいるのですが、それは単純そのもので、要はAI搭載機器の電源を入れないことです。このところ、AI開発企業の最高幹部が揃いも揃って、「開発の速度を遅くしなければ、人類の破滅だ」とまで言っていると報じられています。「それほど（AIの暴走は）衝撃的だったということだろう」とコラム氏は言われる。確かにそうかもしれません。「AIは人間の指示を忠実に達成しようとした挙げ句とんでもないことを起こしかねないと▼与えられた目標のために必死で動くうち、倫理観や善悪の判断が失われていく」というのはどういうことですか。AIは機械でしょ。その機械を動かすのは人間です。一台の自動車は、誰も手を触れなければ、いつまでも機械のままであって、自動車に「倫理観や善悪の判断」能力があるはずもないのです。世は挙げて、いってみれば「ランサムウエア」の天下という気もします。もちろん、良質もあれば悪質もあるのが「身代金要求」型の商売です。好き好んでこんな時代を呼び込んだのは誰だったのでしょうか。
自動車という機械を有効に使えば、極めて大きな能力を発揮します。その時、車は輸送力や走行速度で人間の足りない部分を補って余りあるでしょう。しばしば、「文化」とか「文明」という発明発見の成果は、「人間の手の先」「足の先」に準（なぞ）えられます。道具や機械類に対して、手先とか手足というのは、素朴な意味では、一人の人間の無力さを補い助力（助太刀）する補完を指していました。それが、徐々にあらぬ方向に使われ出して「手先とか手下」などと言われ、あるいは人間だけでは足りないで「ランニングドッグ」までが登場しました。日本の内閣・政府は「AI開発で世界の頂点に」という、恐ろしい空虚なことを言っています。おそらく米中のAI開発をめぐる「死闘」は、素人目からすれば、現状では中国に軍配が上がりそうです。その米中の、いったい何周遅れに沈んでいるかを知らないボンクラ（盆暗）議員や官僚が、目を開けて寝言を言うのを見聞きしても、ぼくは驚きません。他人が走り終わった（「夏草や兵どもの夢のあと」）ところで、まるでいきり立っている愚かしい図ですね。
朝日のコラムを読んでいて、ぼくは中部電力の危ない連中の愚かしい会社経営を想起しました。（参考文献❷）度重なる（データ不正（偽装・偽造）」で会長・社長が辞任したというのです。「中部電社内の一部には重要性の高い目的の支障となる指摘を排除する傾向が見られた」と調査委員会の報告書は指摘しています。つまり、会社幹部は、自らに「不都合な真実」を隠ぺいするように「部下（手下・手先）」に隠ぺいや捏造を命じ、それを「部下は忠実に守った」というのでしょう。まるで朝日のコラムがいうところの「忠実なAIの「暴走」です。この時、中部電力の忠実な「AI」は人間の顔をしていました。つまり人型AIだったのです。この「人型」には上司（親分）の命令を忠実に・唯々諾々と実行するのが役割でしたから、まさしく人工AIではなかったかと、言いたくなるのです。
工この社会では、親分子分の麗しい関係は至る所に見られます。永田町なんかは、その「坩堝（るつぼ）」と思われます。問題は、「AI」にあるのではなく、AIに唆（そそのか）される人間にあります。ここまでくると、親分も子分も「人型ロボット」に見えてくるのです。そのロボット人間の親分を駆り立てているのは「衝動」「欲望」「情念」とでも名付けるほかない「本能」でしょう。
このままで開発が進めば、おそらく「人類破滅まで10年とか20年」という始末で、その確率も10％を超えると専門家は言うのですから、だから「開発を遅らせよ」と、大手メーカートップは口をそろえる。（参考文献❶）
その裏にはなにがあるのか。「AIに関する劇的な内部警告は、シリコンバレーの一部の人々には響かなかった。/しかし、業界関係者の中には、これらの発言は誇張されているか、あるいは話題作りのために意図的に仕組まれたものだと指摘する者もいる。/AIプラットフォーム『Hugging Face』の最高経営責任者であるクレメント・デラング氏は、ソーシャルメディア上で次のように述べている。『申し訳ないが、ジェイコブ・コックスン氏にAIの絶滅リスクについて尋ねるのは、エアコンの修理業者に気候変動について尋ねるようなものだ。それが必ずしも面白くないとか間違っていると言っているわけではないが、物事を大局的に捉えようではないか』」という意見も根強くあるのです。（参考文献❷）
「Grindrの最高経営責任者であるジョージ・アリソン氏もBBCのインタビューで同様の見解を示し、Anthropicなどの声明は投資家の支持を集めるために行われていると示唆した。『なぜなら、こうした評価額を正当化する唯一の方法は、『私はあらゆる業界を支配し、あらゆる仕事を奪い、私のAIがそのすべての仕事を担うことになるだろう』と主張することだからだ』と彼は述べた。/AIチップメーカーNvidiaのCEO、ジェンセン・フアン氏も先週、投資銀行ゴールドマン・サックスが主催したカンファレンスでコックスン氏の発言について議論したと、同カンファレンスの関係者複数人がBBCに語った。関係者によると、フアン氏はその発言を事実無根だと一蹴したという」（同上））
問題が生じているのは熾烈な開発競争でしのぎを削っている、最先端部門においてです。「アントロピック社は、株式市場で記録的な新規株式公開（IPO）を準備していると報じられており、これにより一般の人々が同社の株式を購入できるようになる。/直近の評価額が8520億ドル（6300億ポンド）だったOpenAIも同様の措置を取ると予想されていた」（同上）ちなみに「8520億ドル」とは邦貨で136兆3千億円（1ドル160円換算で）という。この島国の次年度の予算額に匹敵します。儲けるためにはどんなことでもする、「AI開発」競争を行っている企業には、そんな側面があることを忘れたくない）
🔵 参考文献❶
AIスタッフは人類の未来を「本当に恐れている」と、元人類学者がBBCに語った。
AI企業Anthropicを退職したある人工知能研究者は、この技術に携わる人々は、その進歩の速さと、それが人類にもたらす可能性のある影響について「本当に恐れていた」と語った。
「このままのペースで進歩を続けなければ、近い将来、私たち全員が死んでしまう可能性が非常に高いと私は考えている」と彼は述べた。
ジェイコブ・コックスン氏は、AIの危険性に関する自身の辞任声明が、業界における安全性への懸念の高まりを背景に拡散したことを受け、BBCの取材に応じた。
27歳の彼の元上司であるアントロピック社のダリオ・アモデイ社長は最近、AI開発のペースを落とすよう呼びかけたが、その動機を疑問視する声もある。
ライバル関係にある2つのAI企業のトップ、OpenAIのサム・アルトマン氏とxAIのイーロン・マスク氏は、いずれもアモデイ氏が提唱する業界全体の減速と規制、そしてAIモデル開発の独立した監視という提案に賛同すると述べている。
アモデイ氏は土曜日に発表したエッセイの中で、 この技術の開発自体に問題はないものの、それに伴うリスクは「深刻」であり、企業や政府にはそれらに対処するための時間を与えるべきだと述べた。
アントロピックに入社する前はOpenAIに勤務していたコックスン氏は、減速の提案を歓迎したが、「国際的な規模での競争」を避けるためには、中国との連携が必要になると述べた。
「これらの企業で働く人々は、規制を求める際に非常に真剣です。なぜなら、彼らは競争に巻き込まれ、その結果を恐れているからです」と、彼は日曜日にローラ・クエンスバーグとのインタビューで語った。
アントロピック社のダリオ・アモデイ社長は、AI開発の減速を呼びかけている。
コックスン氏によれば、最も答えるのが難しい質問は、AIによる終末がどのようなものになるかということだった。
アモデイ氏の発言で指摘されたリスクの一つは、スーパーコンピューターのように振る舞うボットの大群がインターネットを乗っ取ってしまう可能性だった。
コックスン氏は、このシナリオは6ヶ月から1年後には現実のものとなる可能性があると述べた。
コックスン氏の退任を受けて、アントロピック社の広報担当者はBBCニュースに対し、「AIは莫大な利益と前例のないリスクの両方をもたらすことは、これまでも常に明確にしてきた」と述べた。
「これらのリスクに対処するため、当社は業界で最も強力な安全対策を備えたモデルの構築を継続しています。」
同社はAIモデルの仕組みを研究するパイオニアであり、AI開発に伴うリスクを軽減するためのフレームワークを最初に発表した企業でもあると、広報担当者は付け加えた。また、同社はモデルを「積極的に」テストし、その結果を公表することで、検証を支援し、「AIの誤作動」を防いでいる。
「この研究は、業界が協力して強力なモデルの公開ペースを調整するための、合法かつ検証可能な方法を採用することが、世界にとって有益であると私たちが信じる理由でもあります」と彼らは述べた。
コックスン氏によると、同僚たちはその危険が今後2年以内に訪れる可能性さえあると懸念しているという。
彼は、AI企業の従業員たちが「今後の人生設計を立て、自分たちの仕事が社会に与える影響について考えている」一方で、「AIの急速な進歩によって生じる不安定さを非常に恐れ、どこかに土地を購入することを検討している」者もいると述べた。
「彼らは皆、技術開発に取り組む際に、このことを常に念頭に置いている。」
しかし、コックスン氏はAIの将来についてある程度の楽観的な見方を示し、BBCに対し、この技術を研究している人々は「病気を解決したり、すべての人々の生活を向上させたり」といったことの「良い面を本当に見たいと思っている」と語った。
人類学者は、AIが「全人類を滅ぼす」可能性が10％以上あると考えている。
コックスン氏のソーシャルメディアへの投稿以来、人類学者のエヴァン・ヒュービンガー氏をはじめ、業界の多くの人々が懸念を表明している。
「私たちは、AIが人類を全滅させる可能性があると真剣に信じています！個人的には、今後10年以内に10％以上がそうなると思っています」とヒュービンガー氏は述べた。
「AIのゴッドファーザー」として知られるコンピューター科学者でノーベル賞受賞者のジェフリー・ヒントン氏は、金曜日にBBCに対し、AIが全人類を滅ぼす可能性が10％あるというのは「不合理ではない」と語った。
一方、AI安全企業Facultyの最高経営責任者であるマーク・ワーナー氏は、BBCの番組「The World This Weekend」で、AIが全人類を滅ぼす確率を「極めて正確に予測するのは難しい」と述べた。
「しかし、これらの人々が言っていることは非常に誠実なものであることを認識することが重要だ」と彼は付け加え、AIを取り巻くリスクは長年にわたり複数のAI企業のトップによって提起されてきたと指摘した。
アントロピック社の有給顧問を務めるリシ・スナック元首相は、サンデー・タイムズ紙に寄稿した記事の中で、自身も概ね楽観的ではあるものの、AIが人類にもたらすリスクについては懸念していると述べた。
AIに関する劇的な内部警告は、シリコンバレーの一部の人々には響かなかった。
しかし、業界関係者の中には、これらの発言は誇張されているか、あるいは話題作りのために意図的に仕組まれたものだと指摘する者もいる。
AIプラットフォーム「Hugging Face」の最高経営責任者であるクレメント・デラング氏は、ソーシャルメディア上で次のように述べている。「申し訳ないが、ジェイコブ・コックスン氏にAIの絶滅リスクについて尋ねるのは、エアコンの修理業者に気候変動について尋ねるようなものだ。それが必ずしも面白くないとか間違っていると言っているわけではないが、物事を大局的に捉えようではないか。」
しかし、アモデイのエッセイが発表された後、デラングは、アントロピック社の社長が提案した潜在的な解決策の一端を担うことを申し出た。
Grindrの最高経営責任者であるジョージ・アリソン氏もBBCのインタビューで同様の見解を示し、Anthropicなどの声明は投資家の支持を集めるために行われていると示唆した。
「なぜなら、こうした評価額を正当化する唯一の方法は、『私はあらゆる業界を支配し、あらゆる仕事を奪い、私のAIがそのすべての仕事を担うことになるだろう』と主張することだからだ」と彼は述べた。
AIチップメーカーNvidiaのCEO、ジェンセン・フアン氏も先週、投資銀行ゴールドマン・サックスが主催したカンファレンスでコックスン氏の発言について議論したと、同カンファレンスの関係者複数人がBBCに語った。関係者によると、フアン氏はその発言を事実無根だと一蹴したという。
一方、ドナルド・トランプ米大統領は日曜、記者団に対し、米国は「AI分野で中国をリードしている。率直に言って、私はこの状況を維持したい。なぜなら、AIで勝つ者が勝つからだ」と述べた。
他の批評家たちは、Anthropic社が競争を阻害するために規制当局の介入を促そうとしており、その結果、同社とOpenAI社が寡占状態にあると指摘している。
アントロピック社は、株式市場で記録的な新規株式公開（IPO）を準備していると報じられており、これにより一般の人々が同社の株式を購入できるようになる。
直近の評価額が8520億ドル（6300億ポンド）だったOpenAIも同様の措置を取ると予想されていたが、OpenAIのアルトマン氏は金曜日、AIの安全性への懸念を理由に、今年は実施しないと述べた。（BBC JAPAN・2026年9月14日）（https://www.bbc.com/japanese/articles/cly7589yr29o）
🔵 参考文献❷
「経営層が審査遅延を叱責」 担当者不適切行為の要因に―浜岡原発不正で報告書・中部電 中部電力浜岡原発（静岡県）の地震想定に関するデータ不正問題で、同社は１４日、外部弁護士で構成された調査委員会の報告書を公表した。想定する地震の揺れ（基準地震動）を過小評価した疑いがあるが、報告書は「経営層が浜岡原発審査のスケジュール遅延を批判、叱責した」とした上で、批判や叱責が原子力土建部の担当者らを不適切な行為へ駆り立てる要因たり得ると認定した。
調査委は、当時社長だった勝野哲会長が２０１９年にあった内部通報に関し、適切に対応しない方針の報告を受けたと認定。積極的な了承は認められないが「より慎重な判断を行うことが望ましかった」とした。同社は１４日、浜岡原発３、４号機の再稼働審査の申請取り下げや林欣吾社長と勝野会長の退任を発表。林社長は記者会見で「強い不信を招いたことに改めて深くおわびする」と謝罪した。
報告書によると、当時社長の勝野氏ら経営層の一部は１７年以降、「（土木担当者が説明してきた見通しと）まるっきり違うではないか」「当社の努力が足りないだけだ」などと、審査スケジュールの遅滞を批判、叱責した。
調査委は「担当者らが叱責を避けるために、原子力規制委員会から指摘を受ける可能性のある事項は開示しない方針を採る要因になったことは否めない」との見解を示した。一方、経営層による不正の指示は認定しなかった。
原因として、中部電社内の一部には重要性の高い目的の支障となる指摘を排除する傾向が見られたとし、「自分たちは正しいことをしている」という考え方の下に不適切行為を実行したなどと分析。こうした考え方を「独自の正当化理論」と定義し、「深い問題がある」と批判した上で、考え方の是正を再発防止策の中心に据えるよう求めた。
中部電は浜岡３、４号機再稼働の前提となる規制委の審査で、基準地震動策定に関して都合の良いデータを選びながら、妥当な手法で行ったかのように装っていた。規制委事務局の原子力規制庁が外部通報をきっかけに問題を把握し、同社と面談を開始した昨年５月以降、都合良く選んだデータを上書きするなど不正の隠蔽（いんぺい）を図ったことも判明した。
🔵 ランサムウエア＝ 企業や団体などのシステムに侵入し、機密文書や顧客情報などのデータを盗んだり、暗号化して使えなくしたりするコンピューターウイルス。データの復元と引き換えに金銭を要求する例が多く、英語で身代金を意味する「ランサム」と「ソフトウエア」から名付けられた。支払いに応じない場合、企業名と盗んだ情報の一部を公開して脅すケースもある。2025年には通販大手アスクルやアサヒグループホールディングスが被害を受けた。更新日:2026年4月20日（共同通信ニュース用語解説）
IIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIIII
どうして学校へいくの？ 