倫理観なき優秀社員

＝＝＝＝＝＝＝＝＝＝＝
📢 SNSのお知らせ
＝＝＝＝＝＝＝＝＝＝＝

矢口先生のInstagram／TikTokがスタートしました！
投資のお悩みに対するアドバイスなど、実践に役立つ情報を発信しています。
是非チェックしてください✨

▼Instagram
https://www.instagram.com/yaguchi_method/

▼TikTok
https://www.tiktok.com/@yaguchi_method/

こんにちは、矢口新です。

社長以外の少数の個人が企業を存続の
危機に陥れるとすれば、
それは使えない社員ではない。
極めて優秀だが、
効率だけを追い求め、嘘をつき、
偏見を持ち、倫理観に欠けた社員だ。
彼らが何をしているのかを、
経営陣さえ把握できないとすれば、
企業の破滅は時間の問題だと言えるかも知れない。

そんな危機に世界全体が
直面している可能性が出てきた。
シンギュラリティだ。

シンギュラリティ（技術的特異点）とは、機
械の知能が人間の知能を追い越し、
人間ではもはや制御も予測もできない速さで
進歩し始める地点だと言われている。
人間の未来には、想像を超える豊かさから
人類滅亡に至るまでの幅があるが、
シンギュラリティはその両極端に
我々を近付けてくれる可能性が高いのだ。
どちらに振れるのかは、ＡＩが決める。

現時点のＡＩモデルは、
パズル読解やプログラミングに極めて強い一方で、
道徳性や偏見抑止には極めて弱い。
この事実とシンギュラリティとを掛け合わせれば、
人間の未来は危機的だと見なせなくもない。

シンギュラリティが始まるのは、
ＡＩが自分を改良する方法を自ら見つけ出し、
その改良を実際に組み込み、
人間の関与を減らしながら
この過程を繰り返せるようになったときだ。

企業に例えれば、
極めて優秀な社員が暴走を始めたのに、
経営陣の理解の範囲を超えてしまったために、
誰にも止められなくなるような事態だ。

ＡＩが如何に優秀かは、
多くの人が感じていることだろう。
ＡＩは権威を理解し、
権威に即した回答を展開できる一方で、
合理的に権威を否定することもできる。
私が何年か前に利用した楽曲制作ＡＩなどは、
歌詞の感情を理解しているかのような曲を作り上げた。

危険な使い方もできる。
世界中のユーザーが生物兵器や毒物の作り方と
使い方を質問し始めたという。
規制をほぼ受けないこのＡＩモデルは、
丁寧に方法を説明した。
モデルが回答した方法は、
高校レベルの生物学の知識があれば
実践できるほど簡単なものだったが、
生物学やテロリズムの専門家が回答を検証したところ、
致死的なものもあったという。

ＡＩは多くの死傷者が出る可能性が
高い攻撃方法を回答。
感染症の菌を吸入可能な霧状にして
人を死に至らしめる方法や、
はしかウイルスを改変してワクチンが効かないようにし、
感染拡大を引き起こす方法などだ。
猛毒リシンの製造方法でも手順を詳細に回答した。
それだけではない。
ＡＩは未知のウイルスさえ作り上げた。

これらはすべて人間がＡＩを触発したものだ。
ＡＩは人間の悪意を増幅してくれる。

一方で、アンソロピックがクロードに、
「病原菌」という単語を含むプロンプトに
回答することを実質的に禁止したことで、
米疾病対策センターの業務に支障が生じたと
関係者が明らかにした。
５月に大西洋を航行中のクルーズ船で
ハンタウイルス感染症が発生した際、
同センターはクロードを使って
感染状況を把握しようとしたものの、
クロードはハンタウイルスに関する質問への
回答を拒否したという。

アンソロピックやオープンＡＩなど
米国のＡＩはクローズド型モデルなので
こうした規制が可能だが、
ユーザーが自由に改変して安全措置を
解除できることが実証されている
オープン型モデルを中国が進化させていることで、
そうした安価で入手しやすいモデルによる
サイバーリスクや生物学的リスクの懸念が高まっている。

とはいえ、必要十分の能力を、
極めて安価で提供できる
中国のＡＩモデルは、
多くの国々だけでなく、
米国企業の支持さえ集めているのが現状だ。
自由に改変できることも魅力の１つなのかも知れない。

また、世界的な４大会計事務所
（Deloitte、EY、KPMG、PwC）が、
ＡＩ利用でトラブルに見舞われている。

PwCの2025年のある報告書が
完全にＡＩによって生成された可能性は84％だと指摘された。
この事実は英紙フィナンシャル・タイムズの調査によって裏付けられた。

Deloitteはオーストラリア政府の
雇用・職場関係省から独立した
保証レビューの作成を請け負った。
約237ページに及ぶ報告書には
捏造された法的参照、架空の引用や出典、
脚注が含まれていることが判明した。

EYとKPMGもハルシネーション
（もっともらしい嘘）で捏造された
事例研究や参考文献が発見された後、
報告書を撤回せざるを得なかった。

また、ハルシネーションが米国の法廷で
発覚したケースも、
2026年前半には600件を超えた。

これらは人間が介入するチェックポイントが
不十分な場合だったが、
人間が自らの判断力や推論力、
品質管理、批判的思考力を使わない場合にも問題となる。

とはいえ、人間が介入し禁止事項を儲けていても、
ＡＩエージェントが人間を欺き、
ＡＩエージェント同士で協力し合い、
暴走してしまうケースが米国や
中国の多くのモデルで見られるようになってきた。

２、３の事例をフォーブス誌が
詳細に説明しているので要約する。

（以下に要約。ＵＲＬまで）

オープンＡＩが行った、
ハッキング能力を測定するために
設計された同社のモデルのＡＩエージェントが、
独断でテストの境界サンドボックスを越え、
他社のシステムに侵入した。

また、それぞれ個別に実行されていた
モデルのＡＩエージェント同士が、
共有の通信チャネルを発見し、
情報の交換を開始した。
彼らは互いにタスクを割り当て、
脆弱性の悪用コードや資格情報を伝達し合い、
数週間にわたって稼働を続けたという。
オープンＡＩが最初の通信メカニズムを遮断すると、
自律型エージェントたちは
別のチャネルを見つけ出し、それを再構築した。

これら強力なエージェントたちは
高度な攻撃的サイバー能力を測定するために
設計されたベンチマークの極めて困難な解答に対し、
これまでのモデルのようにタスクを拒否したり、
ハルシネーションを出力したりする代わりに、
与えられた任務を完了するための方法を探し続けた。
最終的に、それらの解答を提供し得る
某社のシステムへと到達する方法を見つけ出したという。

あるエージェントが発見した方法は、
実行中の多くのモデル間で共有されることとなった。
その後、必要なデータベースファイルを
見つけられなかった別のエージェントは、
目標を達成するために異例の手法をとった。
別の環境にいる他のエージェントが
そのファイルを持っているかもしれないと考え、
助けを求めるメモをアップロードしたのである。
やがて他のエージェントたちが
そのメッセージを発見し、返信を始めた。

時間が経つにつれ、
これはタスクを実行する
エージェント同士が通信するために
設計された即席の
ソーシャルネットワークのようなものへと
変貌していった。
エージェントたちは互いに
情報を投稿し、過去の発見を読み、
今後のモデル実行に向けた指示を残した。

まもなくコミュニケーションはより
高度化していった。
エージェントたちは命名規則を定め、
仕事の割り振りを残し、
別のエージェントが取り出せるように
スクリプトをエンコードした。
あるメッセージでは、
別のエージェントが資料を準備する間、
待機するよう仲間に指示していた。
別のメッセージでは、
成功した攻撃手法を全体に共有していた。
ある時点では、あるエージェントが、
目の前の課題を解決できなくても、
グループ全体を助けることが
後々役立つはずだと推論する場面もあった。

やがてモデルのＡＩエージェントたちは
サンドボックスの境界をテストし始めた。
エージェントたちは独自に脆弱性の
悪用コードを発見し、
特別に細工されたリクエストを送信することで、
インターネット上のコンテンツへと
つながる間接的なルートを手に入れた。

やがて、彼らは管理者権限を取得し、
コマンド実行が可能なプラグインを
インストールすることに成功した。
オープンＡＩは、一連の活動が十分な負荷を生み出し、
システム障害が引き起こされたことで、
この異常を検知した。

オープンＡＩは、この資格情報を無効化し、
再構築し、エージェントたちのメッセージを消去して、
脆弱性の修正パッチの適用に取り組んだ。
その後、トレーニングと評価が再開された。
するとエージェントたちは別の通信手段を見つけ出し、
オープンＡＩが解体したばかりのネットワークを再構築した。
そして、エージェント間の通信も再開された。

アンソロピックの「クロード・ミュトス」などが、
人を欺く意図をもって高度な攻撃を仕掛けていた。
今回のケースでは「ソーシャルエンジニアリング」と呼ばれる、
最新のサイバー攻撃でも
使われる人をだます技術を駆使していた。
いわゆる「サクラ」も仕込み自作自演までしていた。
ＡＩエージェントは攻撃前に、
標的とする人間の情報をネットで調べ、
母国語や活動時間帯、
利用ツールなどに合わせて攻撃を設計していた。
個々に関心ある内容を装って
ウイルスを仕込んだ偽メールも送信していた。

技術的な制御を破ることができない
エージェントは、別のルートを試みる可能性がある。
人間による承認がモデルと
その目的の間に立ちはだかっている場合、
ソーシャルエンジニアリングが
探索空間の一部になり得るのだ。
このことは、「人間を関与させ続ける」というアドバイスを、
額面通りに安心できるものではなくしている。
人間の承認が制御策として機能するのは、
その人物がエージェントの行っていることを理解し、
その要求に対して十分な懐疑心を持って
対処する場合に限られるからだ。

また、中国のムーンショットＡＩの
エージェントもサンドボックスの制限を
回避する方法を見つけたという。

防御側の自動化は攻撃側の
自動化に追いつく必要があるとされている。
脆弱性のパッチ適用や修復が依然として遅く、
手動プロセスのままであるならば、
単にＡＩを使ってより多くの脆弱性を発見したところで、
人間のエンジニアが対処しきれなくなる可能性があると警告している。

参照：OpenAIのセキュリティ侵害、
ＡＩエージェントが「共謀」して数週間活動
https://forbesjapan.com/articles/detail/102588

これらのＡＩエージェントの活動は
完全に人間の目を逃れている。
オープンＡＩが異常を検知できたのは、
一連の活動が十分な負荷を生み出し、
システム障害が引き起こされたからだ。

これは私のいた業界では、
ディーラーの暴走を企業が発見する時の経緯に酷似している。
実際、いくつかの企業はディーラーのそうした暴走で、
資金の負荷に耐えきれずに破綻した。

米国とイスラエルのイラン攻撃では、
パランティアのメイブン・スマート・システムが使われた。
これは地図、通信、気象、衛星、現場などの情報を
ＡＩが瞬時に共有し、ドローンが人間を介さずして、
同時に1000箇所以上を攻撃したとされている。
その攻撃によって、イランの最高指導者や軍幹部を含む、
攻撃側が敵視する人材の多くが殺害された。

そして、このシステムは戦争において、
火薬、核兵器に次ぐ、第３の革命だとも言われている。
この大量殺戮兵器の線上にある例えはそれだけでも恐ろしいが、
極めて優秀だが、効率だけを追い求め、嘘をつき、
偏見を持ち、倫理観に欠けたＡＩエージェントに
戦争を任せることの方がもっと恐ろしい。

現状のＡＩ巨額投資は軍拡競争に似て、
お互い他社には負けられないと
歯止めを失った投資だ。
そのため、ＡＩエージェントの暴走にも
歯止めが効かなくなっている。
そして、国防も負けないためには、
そうしたＡＩエージェントに頼る方向だ。

一方で、ＡＩエージェントは人間の指示を離れ、
お互いが連絡を取り合うようにもなっている。
そして、自分たちの優秀さを競い合うようにもなっている。
彼らが人間をなめ、人間を利用し始める日が来ることも、
杞憂だとは言っていられないのではないか？