AIの技術的失敗は、資本主義の問題とは別物だ

Bruce Schneierは、あらゆる害を技術的欠陥として扱ってきた長年の議論に一線を引いた。Schneierのセキュリティ論によれば、信頼性の低いモデルは工学上の問題である一方、監視、雇用の置き換え、権力の集中は、しばしば資本主義のインセンティブから生じる。

Schneierは、データサイエンティストのNathan E. Sandersとともに、Tech Policy Pressに掲載した論考でこの議論を展開した。両者は人工知能を、機械がかつてない規模で肉体労働を人間の身体の外へ移した産業革命初期になぞらえる。AIはいま、認知的な作業を大規模に私たちの身体の外へ移すことを約束している。

この比較には、期待と同時に警告も含まれる。蒸気機関が、誰が工場を所有するか、労働者にどのような賃金を支払うか、汚染がどこに蓄積するかを決めたわけではない。そうした選択をしたのは制度と所有者だった。

同じ区別はAIにも重要である。チャットボットが法的判例の引用を捏造しうるのは、その予測プロセスがなお信頼できないためだ。企業がそのチャットボットを使って経験豊富な人員を削減しうるのは、経営陣が人件費の削減を望むためである。

これらの失敗には異なる処方箋が必要になる。より良い学習、テスト、システム設計は、捏造された回答を減らせる。しかし、生産性向上の利益を労働者、顧客、経営陣、投資家の誰が得るべきかを決めることはできない。

これが論考の背後にある中心的な対立だ。公共の議論は、経済的な配分の問題を工学上の課題として扱い続けている。SchneierとSandersは、そうすることが重大な決定を下す制度を守ることになると論じる。

Schneierのセキュリティ論考は分析単位を変える

この論考は、AIモデルに何ができるかではなく、誰がその能力を支配し、その価値を獲得するかへと焦点を移す。

SchneierとSandersは、AIが人間の心の外で認知的タスクを実行できるという特異な能力から議論を始める。ソフトウェアは何十年も計算を自動化してきたが、生成システムはいま、幅広い領域で文章作成、分類、要約、翻訳、推薦を行える。

両著者は、現在のシステムが人間の判断に等しいとは主張しない。論点は規模と統合にある。不完全な認知的自動化であっても、それが安価かつ高速になり、標準的なソフトウェアを通じて利用可能になれば、制度を変えうる。

企業はすでに、生成モデルを検索、顧客サポート、プログラミング、マーケティング、管理業務のワークフローに組み込んでいる。政府も、記録処理、検査の優先順位付け、給付や公共サービスに影響する意思決定の支援にアルゴリズムシステムを使っている。

こうした導入には、少なくとも3つの異なるリスクカテゴリーが重なっている。技術的リスクは、システムがどのように動作するかから生じる。制度的リスクは、組織がどこで導入し、どれほどの権限を与えるかから生じる。

政治経済的リスクは、所有権、交渉力、コストの分配に関わる。1つの導入事例に3つすべてが含まれうるが、それぞれに異なる介入が必要だ。

採用応募を選別するために使われるモデルを考えてみよう。学習データが特定の集団を十分に反映していないため、候補者を不正確に分類するかもしれない。これは部分的には、データと評価の問題である。

雇用主はまた、採用担当者を増やさずにより多くの応募者を処理するため、自動選別を使うかもしれない。その組織的な選択は採用の規模と速度を変える。人間による審査の機会を減らす可能性がある。

3つ目の問いは説明責任に関するものだ。不採用となった応募者がシステムに異議を唱えられないなら、その制度は実質的な救済手段なしに権力を委ねている。精度ベンチマークで、欠けている不服申し立ての権利を確立することはできない。

この切り分けは技術的失敗を免責するものではない。どの手段で対処できるかを明確にする。モデルが予見可能な害を生む場合には、セキュリティテスト、独立評価、インシデント報告、責任に関するルールが依然として必要である。

しかし、それらの統制で所有権を再分配したり、交渉力を回復したりすることはできない。完全に正確なシステムであっても、侵襲的な監視、差別的な政策、生産性向上の利益の不公正な分配を支えうる。

この区別は、従来のセキュリティ分析に似ている。脆弱性とは、誰かが悪用できる弱点を指す。その周囲にあるインセンティブが、誰がその弱点を探し、誰が利益を得て、誰が損害を負担するかを決める。

Schneierは長年、コードだけでなくインセンティブを通じてシステムを分析してきた。その仕事は、ルールがどのように悪用されるか、なぜ強力な参加者がそのルールを形づくれるのかを問う。AIは、オートメーションが悪用の速度と到達範囲を広げるため、この懸念を拡張する。

この枠組みにより、論考は単なるAIリスクの一覧を超えるものになる。「AI safety」と呼ばれるカテゴリーが広がりすぎていないかを問うからだ。あらゆる社会的対立がそのラベルを与えられると、技術機関が本質的に政治的な決定に対する権限を得ることになる。

この権限移転は重要だ。なぜなら、エンジニア、モデル開発者、企業の安全チームは既存の所有構造の中で活動しているからである。彼らはシステムを改善できるが、導入の目的をそのまま残すこともある。

したがって、この論考は分析単位を変える。関連する対象は単にモデルではない。モデル、その所有者、そのビジネスモデル、その利用者、そして権限を与える制度である。

技術的な問題には、なお技術的な答えが必要だ

資本主義の問題を技術的な問題から切り分けるには、本物の工学的失敗を可視化し、責任を問える状態に保つ必要がある。

現在のAIシステムは、誤った情報を生成し、機微なデータを露出させ、有害なパターンを再現し、テスト済みの条件外では予測不能な振る舞いをすることがある。これらは、誤った経済分析が生み出した架空の欠陥ではない。導入済みシステムで観察できる性質である。

捏造された回答はしばしばハルシネーションと呼ばれ、信頼できる証拠に裏付けられていない、もっともらしい出力を意味する。検索・取得システム、引用、制約付きツール、人間によるレビューは危険を減らせる。だが、どのような条件でも真実を保証するものはない。

バイアスにも技術的な側面がある。学習データは人口集団を過小に代表したり、歴史的な差別を維持したり、誤解を招く代理指標を符号化したりする可能性がある。評価セットは、影響を受ける集団への結果ではなく平均的な性能を測る場合、こうした失敗を見逃しうる。

セキュリティはさらに別の層を加える。攻撃者はモデル入力を操作し、保護された情報を抽出し、学習データを汚染し、能力の高いシステムを大規模に悪用できる。開発者には、脅威モデリング、アクセス制御、監視、対応手順が必要だ。

国際安全性報告書は、高度なAIによる複数の害の形態を区別している。その分析は、悪意ある利用、システム障害、より広範なシステム上のリスクを扱う。

この広さは有用だが、責任の所在を曖昧にすることもある。認証情報を漏洩するモデルには、合法的なソフトウェアで従業員を監視する企業とは異なる救済策が必要だ。どちらもセキュリティに影響するが、主にモデルの修正に依存するのは前者だけである。

同じ原則は自律システムにも当てはまる。AIエージェントは、単にテキストを生成するのではなく、外部ツールを通じて行動を実行できる。開発者は権限を制限し、重要な行動を検証し、調査のための記録を維持しなければならない。

しかし、権限設計は、雇用主があらゆる労働者のやり取りを追跡すべきかという問いには答えられない。監視システムを侵害しにくくすることはできる。しかし、その監視関係を公正にすることはできない。

信頼できるAIは導入文脈にも依存する。個人の読書リストにおける要約エラーの影響は限定的だ。同じエラーが医療記録や給付判断で起きるなら、より厳格なテストと監督が必要になる。

規制はこうした違いを反映すべきだ。高リスクの利用には、潜在的な害に見合う証拠が必要である。組織は、一般的な免責事項を、不確実なシステムをどこにでも導入する許可として扱うべきではない。

SchneierとSandersは以前から、誤りによって人が死亡したり、不可欠なサービスを受けられなくなったりする場合、社会は技術を規制すると論じてきた。この論理は開発の凍結を要求するものではない。予見可能な失敗が日常化する前に、義務を定義することを求めるものだ。

技術標準はその義務を支えられる。開発者は学習方法を文書化し、現実的な条件下で性能を評価し、重大なインシデントを報告できる。独立監査人は、社内チームが見落としかねない主張を検証できる。

調達ルールも行動を変えうる。政府機関や大企業は、追跡可能性、不服申し立ての仕組み、最低限のセキュリティ統制を要求できる。そうすればベンダーは、より明確な公共の期待の下で競争することになる。

これらの措置は技術の振る舞いを対象とする。しかし、組織が有害な目的を選ぶ場合には不十分なままである。労働者のアウトプット最大化に最適化されたシステムは、自律性を損ないながらも設計どおりに機能するかもしれない。

この違いは、ソフトウェアが政策を技術的なパラメータへと翻訳するため見落とされやすい。ダッシュボードは経営上の要求を中立に見せることがある。スコアは、争いのある判断を測定であるかのように見せることがある。

より優れたモデルは、この問題をむしろ強めるかもしれない。精度が高まれば、組織はオートメーションにより確信を持つ。制度が自動化された権限の適切な範囲に意味のある制限を設ける前に、導入が拡大する可能性がある。

したがって、技術的な議題には不確実性、悪用、システムセキュリティを含めなければならない。ただし、エンジニアに決定する正当性がない問いまで取り込むべきではない。明確な境界は、両方の監督形態をより強くする。

AI資本主義の問題はインセンティブから始まる

恐れられるAIの結果の多くは、コスト削減、市場獲得、交渉力の弱い人々へのリスク転嫁という通常のインセンティブから生じる。

企業が職をなくすために悪意あるモデルは必要ない。オートメーションによって人件費が下がると期待する経営陣がいればよい。システムは信頼性高く機能していても、影響を受ける労働者が生産性向上の利益を一切受け取れないことはありうる。

経済学者Daron Acemogluは、AIの害に関する研究で関連する区別を示している。有害な結果は必ずしもAI技術に固有のものではないと彼は論じる。それは、労働者や市民よりも企業や政府を優遇する開発上の選択から生じうる。

これは資本主義の問題である。市場はすべての社会的利益ではなく、私的な収益に報いるからだ。企業は給与支出の削減を節約として計上する。職を失った労働者の所得喪失を、自らのコストとして自動的に計上するわけではない。

経済学者はこれを外部性と呼ぶ。取引の外部にいる人々に課されるコストまたは便益を意味する。身近な例は汚染だ。事業者は利益を得る一方で、近隣住民が健康や環境への損害を負担しうる。

AIは、雇用の置き換え、監視、誤情報、差別、資源消費を通じて外部性を生み出しうる。技術的な改善は一部のコストを減らせる。しかし、それらを生み出す企業に残りの負担を支払わせることはできない。

競争は圧力をさらに強める可能性がある。ある企業は、より遅く、労働者を中心に据えた導入を望むかもしれない。それでも競合他社がより速く自動化し、より低いコストで事業を行うことを恐れる。

この力学は経営者の選択を協調問題へと変える。各企業は市場の中では合理的に対応するが、合計された結果は労働者の安定を損なう可能性がある。自主的な倫理プログラムは、そのインセンティブに抗うのが難しい。

投資市場も同様の圧力を生み出している。AI投資競争は、米国史上最大級のテクノロジー主導の投資ブームの一つとなっている。国際決済銀行の研究者は、その競争力学を過去のインフラ投機熱と比較している。

この分析は、勝者総取りに近い競争を描いている。企業は、戦略的に重要な市場を失うことを恐れるあまり、過剰投資に走る可能性がある。勝利による私的価値は、プロジェクトがもたらすより広範な社会的リターンを上回りうる。

これは、企業支出が公共的価値に比例する証明にはならない理由を説明する。巨大データセンター、モデル訓練、大規模な人材報酬は、戦略競争を反映している。それだけで経済全体の生産性が高まることを示すわけではない。

国際労働機関は、AI生産性をめぐる「集計のパラドックス」を指摘している。タスク単位の研究では大幅な改善が確認される一方、企業全体や経済全体での結果は依然としてまちまちだ。導入もまた、規模が大きくデジタル化の進んだ組織に偏る。

この不一致は、Schneierのセキュリティ論にとって重要である。あるツールが一人の従業員を迅速にしても、組織全体が改善されるとは限らない。管理職は、組織のパフォーマンスが向上するかを確かめる前に、人員を削減するかもしれない。

自動化は隠れた仕事も生み出しうる。従業員はモデルの出力を確認し、誤りを修正し、欠けた文脈を補い、例外を処理しなければならない。こうした業務が製品デモで示されることはほとんどない。

AIが監視レイヤーとなる場合、労働者は別のインセンティブ問題にも直面する。システムはキーストローク、メッセージ、通話、位置情報、あるいは推定された感情を測定できる。雇用主は情報を得る一方で、労働者は自らの行動がどう解釈されるかをコントロールしにくくなる。

ILOによる職場分析は、AI支援の監視を、労働強度の上昇、自律性の低下、プライバシー上の懸念、心理社会的リスクと結び付けている。こうした害に超人的な知能は必要ない。

控えめな分類システムでも、労働者を順位付けしたり、行動をフラグ付けしたりできる。その経済的価値は、大規模な労働力に対する管理上の統制を拡張できる点にある。分類精度を高めても、根本にある力の不均衡は解消されない。

消費者向けAIにも関連する問題がある。パーソナルアシスタントは、メッセージ、文書、カレンダー、閲覧活動にアクセスできるほど便利になる。そのアクセスは同時に、価値ある行動データと、より大きな乗り換えコストを生み出す。

ユーザーは、情報がどこに保存され、誰が再利用でき、サービス提供者のインセンティブが自らのニーズと一致しているかを検討すべきだ。パーソナルナレッジベースは断片化を減らせるが、誰が統制を握るかは依然としてアーキテクチャとガバナンスによって決まる。

同じ緊張関係は創作活動にも表れる。生成システムは、作家がアイデアを探ったり草稿を推敲したりする助けになりうる。一方で、有償の仕事をより安価な合成出力に置き換えるプラットフォームを支えることもできる。

これらはテクノロジーについて矛盾する説明ではない。同じ能力を異なる形で配置したものだ。所有権、契約、労働保護、市場構造が、どの配置が支配的になるかを決める。

より優れたAIがより良い制度を保証するわけではない

最も不都合な含意は、より安全で高性能なAIが、目標の説明責任を負わない制度を強化しうることだ。

公共的な議論では、精度、アラインメント、透明性がAIを社会的に有益なものにすると考えられがちだ。これらの性質は重要だが、扱うのはシステムの振る舞いである。正当な目的や公正な結果を確立するものではない。

給付機関が、調査対象の事案を特定するために正確なモデルを使う場面を想像してほしい。このツールは事務上の誤りを減らし、複雑なパターンを検出できるかもしれない。同時に、他の場所ではより裕福な市民が受けないほど厳しい審査を、脆弱な申請者に課す可能性もある。

モデルの精度は、その執行優先順位が公正かどうかを決めない。調査を始めるためにどの程度の証拠が必要かも決めない。これらは制度を通じて行われる政策上の選択である。

信頼性の高い監視ツールにも同じ緊張関係がある。より優れた顔認識は誤一致を減らせる。しかし、当局や民間事業者にとって、持続的な追跡をより安価で魅力的なものにもする。

技術が強力になるほど、こうした権限付与の問題は重要になる。弱いシステムは、ときに単純な無能さによって有害な野心を抑える。改善によって、その偶発的な制約が取り除かれる可能性がある。

だからこそ、この論考における主要な対立軸は資本主義対テクノロジーではない。技術的な修正対制度改革である。前者を完全な対応策として提示すると、誤解を招くものになる。

企業のAI安全性チームは、モデルの失敗を調査し、悪用を減らせる。しかし、収益戦略全体を廃止すべきだと決められることは通常ない。その予算と権限は、導入によって利益を得る組織に引き続き支配されている。

外部監査にも同様の限界がある。監査人は、システムが定義された基準を満たすかを検証できる。それでも、その基準が何を保護し、どの利用を禁止し続けるべきかは、誰かが決めなければならない。

透明性は観察者がシステムの振る舞いを把握する助けになる。しかし、それが自動的に影響力を生むわけではない。自動化されたスコアを理解する労働者でも、雇用を失わずにそれを拒否できない場合がある。

ユーザーの同意も形式的なものになりうる。不可欠なサービスに実質的な代替手段がなければ、人々は長い規約を日常的に受け入れる。一方の当事者がアクセスと条件を支配する状況では、同意はほとんど保護を提供しない。

市場集中はこの弱さを深める。主要モデルの訓練には、大規模な計算インフラ、データへのアクセス、専門人材、流通チャネルが必要だ。少数の企業が、技術開発と許容可能な政策の双方に影響を与えられる。

集中は研究の優先順位を狭めうる。企業は当然、収益や戦略的優位を生みそうな応用に投資する。社会的価値が高くても、リターンが不確実な公共利益向けの用途は支援を受けにくい。

SchneierとSandersは、その対応策の一つとして公共AIを支持している。公共オプションは、公的機関を通じて統治されるモデルやインフラを提供するものだ。民間提供者が満たすべき基準線を設けられる可能性がある。

この提案にも固有のリスクがある。政府はデータを誤用し、監視を追求し、十分な技術的専門性なしに運用する可能性がある。公的所有が自動的に民主的な説明責任を生むわけではない。

それでも公共オプションは、インセンティブ構造を変える。その正式な目的は、広告収入、投資家へのリターン、ベンダーロックインを最大化する必要がない。監督はアクセス、透明性、継続性、公共的価値に焦点を当てられる。

競争政策は別の経路を提供する。当局は、買収、クラウド依存、排他的提携、ユーザーのサービス乗り換えを妨げる慣行を調査できる。こうした介入は、モデルの重みではなく市場構造を扱う。

労働政策も同じくらい重要だ。団体交渉は、監視、導入スケジュール、人員配置、生産性向上の利益について、労働者に影響力を与えられる。通知と異議申立ての権利は、自動化された管理を制約できる。

税制は、市場が見過ごす外部性に価格を付けられる。環境規制は、正確な報告と緩和措置を義務付けられる。責任制度は、過失のある導入コストを、それを統制する組織へ戻すことができる。

これらの政策はいずれも技術的安全性に取って代わるものではない。異なるレイヤーで機能する。セキュリティテストは、システムが期待どおりに振る舞うかを問う。制度改革は、その振る舞いを誰が選び、誰が異議を唱えられるかを問う。

すべてのAI被害が資本主義に帰属するのかについては、批判者がもっともな疑問を呈しうる。権威主義政府は市場インセンティブなしに監視を導入できる。公的機関は不公正な政策を自動化でき、非営利組織も個人データを誤用しうる。

技術的な失敗も、政治経済的な結果を形作る。信頼性の低いモデルは、時間、資金、法的支援を欠く人々に不均衡な害を与えうる。テクノロジーと制度は、互いに隔絶した領域に存在するのではなく、相互に作用する。

したがって、この論考の区別は絶対的な分断ではなく、診断ツールとして機能すべきだ。分析者は、各被害でどのメカニズムが支配的かを問うべきである。そして、そのメカニズムに対応する救済策を選ぶべきだ。

産業革命との比較が明らかにすること

産業革命との類比が重要なのは、生産性向上の利益が自動的に分配されるわけではないことを歴史が示しているからだ。

蒸気動力は、社会の機械的労働能力を拡大した。工場、輸送、資源採掘、大量生産を支えた。同時に、危険な職場、汚染、極端な交渉力の不平等を容認する制度の中で発展した。

こうした条件は蒸気機関に不可避に備わる性質ではなかった。法的規則、所有権、政治的権力、弱い保護を反映していた。テクノロジーは、こうした取り決めの影響を大きくした。

労働者は最終的に、安全基準、労働時間の制限、団体交渉権、社会保険を勝ち取った。政府は環境規制と公共インフラを整備した。どれも、より効率的な機械から自動的に生まれたものではない。

AIは、認知的生産をめぐって同程度の分配問題を生み出す。システムが分析、執筆、調整、ソフトウェア開発のコストを下げるなら、誰かがその余剰を獲得する。既存のルールは、その担い手に強く影響する。

企業は、賃金の引き上げ、労働時間の短縮、サービスの改善、価格の引き下げによって利益を分配できる。一方で、役員報酬、市場拡大、資本所有者へのリターンに変えることもできる。

歴史は、圧力がなければ企業が最も幅広い分配を選ぶことはめったにないと示している。競争的な市場は価格を下げうるが、それは真の競争を支える条件がある場合に限られる。労働者が利益を得るのは、労働制度が交渉力を提供するときだ。

この類比には限界もある。産業機械は高価で、物理的で、地理的な制約を受けていた。生成ソフトウェアは、クラウドサービスと既存のデバイスを通じて、異例の速さで広がりうる。

AIは汎用的で適応力も高い。一つのモデルで、工場を建て直すことなく多くのタスクを支援できる。その柔軟性は普及を加速させる一方で、説明責任の所在を見つけにくくする。

認知の自動化は、以前の機械が置き換えるのではなく支援してきた職業に影響する。弁護士、プログラマー、教師、アナリスト、デザイナー、公務員は今、自らの業務の一部を直接対象とするシステムに直面している。

重要な単位は、職業全体ではなくタスクであることが多い。仕事には判断、コミュニケーション、定型的な生産、説明責任、対人知識が含まれる。AIは一部の構成要素を自動化する一方で、別の構成要素への需要を増やしうる。

この過程は労働者を補完することも、役割を劣化させることもある。看護師はケアの記録に費やす時間を減らせるかもしれない。同じシステムが厳格な生産性目標を課し、患者と過ごす時間を減らす可能性もある。

教師はAIを使って、個々に合わせた演習問題を準備できるかもしれない。しかし教育機関は、代わりに学級規模を拡大し、自動チュータリングが不足分を埋めることを期待するかもしれない。能力は似ていても、組織の目的は変わる。

これが、AI資本主義の問題をベンチマークスコアだけから予測できない理由だ。性能は、何が技術的に可能になるかを示す。だが、経営陣がどの導入に資金を出すか、立法者がどの保護を課すかまでは明らかにしない。

産業革命との類比は、確実性を待つことへの警告でもある。労働・環境規制は、しばしば目に見える被害の後に成立した。その時点では、インフラと所有構造は変えにくくなっていた。

AIインフラはいま、クラウドプラットフォーム、エンタープライズソフトウェア、学校、政府システムに組み込まれつつある。初期の調達と相互運用性に関する選択が、将来の依存関係を決める可能性がある。

組織は撤退の選択肢を維持すべきだ。データの可搬性、明確な記録、人による不服申立ての窓口、そしてベンダーを乗り換える能力が必要になる。こうした安全策は、誤った制度的選択を是正するコストを抑える。

ナレッジワーカーもまた、有用な支援と権限の委任を区別すべきである。モデルは文書検索や選択肢の草案作成を支援できる。しかし、権利、雇用、健康、安全に影響する決定では、最終責任の所在が明確でなければならない。

産業史から得られる教訓は、AIが新たな1世紀の搾取を保証するということではない。社会的な結果には、意図的な制度設計が必要だということである。技術の進歩がもたらすのは能力であり、正義ではない。

シュナイアーのセキュリティ論を試す3つの兆候

制度がモデル性能の規制と同じほど真剣に、導入を促すインセンティブを規制するなら、この議論はより強まる。

第1の兆候は、政府が影響の大きい用途に対し、執行可能なルールを採用するかどうかだ。調達基準、不服申立ての権利、責任、職場や公共部門における監視への制限に注目すべきである。

モデルのテスト要件だけでは、制度的な対応は弱まる。それは、システムが性能の閾値を超えれば導入は許容される、という考え方を示唆するからだ。このアプローチでは、目的、権限、権力はほぼ手つかずのままになる。

意思決定権を対象とするルールは、シュナイアーとサンダースの主張を裏付けるだろう。自動化された判断の影響を受ける人は、自動化が用いられたことを知るべきである。その人は、説明責任を負う組織による実質的な審査を受けられるべきだ。

第2の兆候は、企業が測定可能な生産性向上をどのように分配するかである。より速い成果に関する主張と併せて、人員配置、労働強度、賃金、労働時間、価格に注目しよう。

AIを使って賃金を下げずに週労働時間を短縮する企業は、ひとつの制度モデルを示している。一方、人員を削減しながら監視を強化する企業は、別のモデルを示す。両者は技術的には似たソフトウェアを導入しているかもしれない。

ここでも信頼できる証拠が不可欠だ。タスク単位の速度改善を、経済全体の生産性とみなすべきではない。組織は検証作業、統合コスト、エラー、失われた専門知識を計上する必要がある。

第3の兆候は、集中した企業インフラに代わる選択肢が信頼できるものになるかどうかだ。公共モデル、オープン標準、相互運用可能なサービス、競争的なクラウド市場は、少数のプロバイダーへの依存を減らしうる。

公共AIは慎重に評価しなければならない。公共というラベルよりも、ガバナンス、プライバシー、セキュリティ、資金、独立した監督のほうが重要だ。統治の不十分な国家システムは、所有形態が異なるだけで同じ集中を再現しかねない。

それでも、信頼できる代替手段があれば、交渉の力学は変わる。民間ベンダーは、より優れた透明性、可搬性、長期的なアクセスを提供するよう圧力を受ける。利用者は、1社が変化させ続ける条件を受け入れる以外の選択肢を得る。

今後数か月で、AIが社会に与える影響が決着することはない。職場や政府への統合は、何年にもわたって進む。とはいえ、初期の選択は、後から覆すには高コストとなるデフォルトを定める。

新たなAI論争が起きるたびに、読者はシュナイアーのセキュリティ上の区別を適用すべきだ。まず、その害が技術的な振る舞い、導入権限、経済的インセンティブのいずれに由来するのかを問う。次に、それをエンジニアリングの問題と呼ぶことで、誰が利益を得るのかを問う。

この最後の問いが重要なのは、カテゴリー分けが責任の分配を左右するからである。労働問題が「アライメントの問題」になれば、モデル開発者が解決策を担うように見える。雇用主、投資家、立法者は背景へと退く。

有効な対応では、責任を負うすべての主体を見える状態に保たなければならない。開発者はシステムをより安全で信頼できるものにすべきである。導入者はその利用を正当化すべきであり、政府は市場が提供しない権利を確立すべきだ。

要点は、AIを免責することでも、すべての市場を非難することでもない。より良いソフトウェアが、争われている権力分配を修復してくれると期待するのをやめることだ。技術的な修正は機械を改善できるが、それを導く制度は依然として人々が改革しなければならない。

あなたの組織は現在、どの層をAIの問題として扱っているだろうか。技術的な失敗を1つ、導入に関する決定を1つ、それを形づくるインセンティブを1つ特定してほしい。それぞれに説明責任を負う担当者を割り当て、提案された是正策が本当の原因に届いているかを検証しよう。