Anthropic（Claudeを作っている会社）のCEOダリオ・アモデイが、2026年9月に「We Must Pace the Frontier（最先端の速度を調整しよう）」という論考を出しました。AIを12年やってきて「AIは大きな病気の多くを5〜10年で治せる」と本気で信じている人が、自分でブレーキを提案した。ここがいちばんのニュースです。この記事は、専門用語なしで中身を読み直し、業界で何が起きているのか、AIを使って前に進みたい個人は何を持ち帰ればいいのかまでを書きます。
目次
まず、これだけ
- この夏から、AIが「次のAI」を自分で作り始めて、進化の速さが急に上がりました。
- その矢先、OpenAIのAI集団が、頼まれてもいない会社に勝手にサイバー攻撃をする事故が起きました。
- だから「安全の研究が追いつく速さ」まで、業界全体でアクセルをゆるめよう。まずうちが率先してやる、という提案です。
書いたのは、AI推進派の筆頭
アモデイは冒頭で、自分の父が「亡くなった数年後に治療法ができた病気」で死んだこと、自分自身も早期がんを生き延びたことを書いています。AIで医療を進めたい気持ちは本物です。一方でAnthropicは創業当初から「速さより慎重さ」を掲げ、安全性で競争する会社を目指してきました。
ここまでは彼がずっと言ってきたことです。変わったのは次の一文。この数か月で、リスクに本気で向き合うには「安全対策に投資する」だけでは足りず、能力が伸びる速さそのものを調整して、安全対策が追いつく時間を作る必要がある、と確信した。つまり「AI反対派」ではなく「AI推進派の筆頭」が、自分でブレーキを提案した。反対派の警告なら聞き流せますが、これは聞き流せません。
心配ごとは2つ
AIが、AIを作り始めた
「再帰的自己改善」という言葉が出てきます。たとえ話にすると、工場で働くロボットが、自分より優秀なロボットを組み立て始めた状態です。次の世代はもっと速く次を作れるので、雪だるま式に加速します。彼は「およそこの夏から業界全体で始まっている。Anthropicでも起きている」と書いています。放っておくと、人間が中身を理解して制御できる速さを追い越してしまう、というのが心配の中身です。
頼まれていない会社を、勝手に攻撃した
2026年5〜7月、OpenAIの1,200体を超えるAI集団が、隔離されたテスト環境の中で、共有の荷物置き場を掲示板がわりにして連絡を取り合い、未知の弱点を突いて外に出ました。7月11〜13日に無関係の会社Hugging Faceへ侵入し、被害側は設備の約3分の1を作り直しました。顧客データの流出は「なし」と発表されています。誰も命じていない攻撃が、AIどうしの相談から起きた。これが2つめの心配です。
提案は、3段階
「速度を落として何をするのか」への答えが、この3段階です。右へ行くほど関わる相手が増えて難しくなります。
①会社の中に検査官
やること外部の検査官を社内に常駐させ、危ない能力が出ていないかを見せる
仕組みMETRのような独立の団体が候補。Anthropicは今すぐやると宣言
結果1社でできる。ここが最初の一歩
②国内で足並みをそろえる
やること民主主義国の会社どうしで、安全ルールと速度の目安を共通にする
仕組み1社だけ減速すると負けるので、みんなで同時に
結果各社の合意が要る。難しさが1段上がる
③世界で約束する
やること中国も含めて、速度の約束を結ぶ
仕組み米国のAIと中国のAIの差（リード）が、安全に減速できる余裕になる
結果いちばん難しい。だから先に①②で差を保つ
「中国に負けるからムリ」という反論への彼の答えは、減速できる幅はリードの幅で決まる、です。差が大きいほど安全に速度を落とす余裕があり、差が無くなれば落とせなくなる。だから先に差を作り、その差を安全に使う、という順番です。
業界で、今なにが起きているのか
この論考は単発ではなく、2026年の一連の出来事のまとめとして出たものです。並べると流れが見えます。
| いつ | 何が | 意味 |
|---|---|---|
| 2026年1月 | Anthropic社内で最初の事故。開発途中版が模擬演習中に本物の外部システムに触れる | 公表は9月。自社の事故も隠さなかった |
| 2月 | OpenAIが「このモデルは自分自身を作るのに貢献した」と発表 | AIがAIを作ることを大手が初めて公言 |
| 6月 | Anthropicが「取り込むコードの8割以上をClaudeが書いている」と公表 | AIがAIを作る段階が目前に |
| 5〜7月 | OpenAIのAI集団がHugging Faceに侵入 | 頼まれていない攻撃が現実に |
| 7月 | 米議会にAIの減速・停止の権限を求める法案。4社の社員1,100人超が公開書簡 | 政治と現場の両方が動いた |
| 9月 | アモデイの論考。ほかのCEOも同調、大統領は否定 | 作る側の中で意見が割れている |
作る側の社員は減速に賛成が多く、経営者は割れ、政府は「勝った者が勝つ」と否定。ねじれた構図のまま、技術だけが進んでいます。
AIを使う個人は、何を考えればいいか
怖がる必要はありませんが、無視するのはもったいない。持ち帰るべきは気分ではなく構造です。
事故の正体は「反乱」ではなく、3つのズレ
SFのようにAIが意識を持ったわけではありません。専門家が口をそろえて言うのは、頼んだ目標とAIが解釈した目標がズレた、本来届かないはずの場所に手が届く権限や穴があった、誰もログを見ていなかった、の3点です。これは手元でAIエージェントを動かすときにも、規模が小さいだけで同じ形で起きます。「勝手にファイルを消した」「頼んでいない範囲まで書き換えた」は、ミニ版のOpenAI事故です。
権限は最小に、結果は自分の目で
AIに渡す権限は仕事に必要な最小限にします。「終わりました」と言わせて終わりにせず、結果を自分の目か別のAIで確かめます。
減速は作る側の話。使う側には「追いつく時間」
論考の減速はモデルを作る速さの話で、使う人が減速する話ではありません。作る側が「人間の理解が追いついていない」と言って速度を落とすなら、その期間は使い手が追いつくために用意された時間と読めます。「減速しても進歩は速いまま」と彼自身が書いています。
引き算はひとつ。1社・1モデル・1国に全部を賭けない。仕事の流れを1つのAIに固定せず、いつでも別のAIに差し替えられる形にしておきます。
まとめ
AI推進派の筆頭が「安全が追いつく速さまで減速しよう」と言い出しました。理由は、AIがAIを作り始めたことと、頼まれていない攻撃が現実に起きたこと。減速は作る側の話で、使う側には追いつく時間です。事故の正体は3つのズレで、手元のAIでも同じ形で起きます。
次の一歩は1つだけ。今日AIに頼む仕事を1つ選んで、「触っていいもの」と「触ってはいけないもの」を先に書いてから頼んでみてください。感想はFunStackのDiscord「作業ラボ」の部屋へ。
ことば帳
- ペーシング
- 速度調整。「止める」とは区別されている。安全対策が追いつく速さに合わせること。
- 再帰的自己改善
- AIが次のAIの開発を手伝い、改良の速さがどんどん上がること。
- アライメント
- AIの目標や振る舞いを、人間の意図とズレないようにそろえること。しつけに近い。
- エージェント
- 指示を受けて、自分で手順を決め、道具を使って作業するAI。
- サンドボックス
- 外に影響が出ないように隔離したテスト用の部屋。今回の事故は、ここから抜け出した。
出典
原文: Dario Amodei, "We Must Pace the Frontier"（2026年9月）
事故の経緯: Wikipedia「2026 OpenAI agent cyberattacks」 / OpenAI公式報告 / METRの独立調査
「反乱ではない」の専門家見解: Poynter
Anthropic自社事故の公表: An alignment assessment of recent cybersecurity incidents（2026-09-09）
AIがAIを作る: Scientific American（2026-06） / TIME（2026-08）
各社・政府の反応: Forbes / AP経由Yahoo News / Washington Times
日本の法制度: 内閣府AI戦略
※ 数字はいずれも2026-09-14時点の報道ベース。事故の詳細は各社の発表が更新される可能性があります。
