AIモデルはジェンダーバイアスを受け継ぎ、増幅する可能性がある

Google Newsは、人工知能をめぐる率直な論点を提示した。モデルは、回答がいかに独立しているように見えても、何もないところからジェンダーバイアスを生み出すわけではない。

Analytics India Magazineの見出し「AI Doesn’t Invent Gender Bias, It Inherits Ours」は、この対立を一文で捉えている。AIシステムは人間の記録からパターンを学び、人間だけではほとんど到達できない規模でそのパターンを再生する。

この説明は、モデル開発者や導入企業の責任を免除するものではない。学習データは社会を反映するが、データ、目標、安全策、評価、導入設定を選ぶのはエンジニアだ。本質的なせめぎ合いは、受け継いだ歴史と意図的な介入の間にある。

問題は、不快なチャットボットの回答にとどまらない。生成モデルは現在、求人票の下書き、履歴書の要約、人事評価の作成、商品の推薦、大量の情報を読み解く支援に使われている。

自動化された判断の一つひとつが、古いステレオタイプに技術的なもっともらしさを与える新たな機会になる。モデルがそのパターンを流暢な言葉で示すと、利用者は単なる反復を客観的な判断と取り違えかねない。

したがってGoogle、OpenAI、Meta、Anthropic、そして企業のAI購入者は、同じ居心地の悪い試練に直面している。責任あるAIとは、洗練された理念や慎重に選ばれたデモではなく、グループをまたいで測定可能な性能を意味することを示さなければならない。

Google Newsの見出しが今重要な理由

AIは文化を反映する段階から、日常業務のワークフロー内で意思決定を積極的に形作る段階へ移行しているため、この見出しは重要だ。

検索の集約は、ある主張をまた一つの一過性の意見のように見せることがある。しかしこの場合、中心的な主張は、言語モデル、コンピュータビジョン、自動意思決定システムにまたがる長年の研究に支えられている。

機械学習は、事例の中にある統計的な関係を見出す。大規模言語モデル、すなわちLLMは、テキスト中のパターンを学び、起こりそうな単語列を予測する。どちらのプロセスも、繰り返し現れる社会的パターンが頻繁に出現するという理由だけで公正かどうかを判断することはできない。

歴史的な記録には、雇用、教育、信用、指導的地位、出版、公的な評価への不平等なアクセスが含まれている。したがって、そうした記録についてのテキストには、ジェンダー、職業、権威、家庭内の役割、個人的資質の間に不平等な結び付きが含まれる。

モデルは、男性が指導し女性が補助するという明示的なルールを与えられなくても、こうした関連を取り込むことがある。その関連は、人々や組織が提供する反復的な事例、ラベル、ランキング、フィードバックを通じて生じる。

UNESCOは、GPT-2、GPT-3.5、Llama 2を対象とした研究でこの問題を記録した。そのジェンダーバイアスに関する研究では、生成コンテンツの一部が、男性よりもはるかに頻繁に女性を家庭内の役割に配置していることが示された。

女性の名前は、しばしば家庭、家族、子どもと結び付けられた。男性の名前は、より一般的にビジネス、役員職、給与、キャリアと関連付けられた。

このパターンは、現在のすべてのモデルによるすべての応答に、同じステレオタイプが含まれることを意味しない。モデルは変化し、プロンプトは重要であり、安全策には差があり、評価手法は異なる振る舞いを捉える。

ただし、単一の中立的な応答ではほとんど何も証明できない理由は示している。明白な公平性の問いに正しく答えられるシステムでも、何千もの通常のリクエストにわたって不平等なパターンを生み出す可能性がある。

Google Newsは、Googleが情報パイプラインの両側に位置しているため、この論点により広い意味を与えている。GoogleはAIに関する報道を配信する一方で、Geminiモデルを開発し、生成された回答を自社製品に統合している。

Googleは、自社のAI開発には不公平なバイアスを避けるためのテスト、モニタリング、安全策が含まれるとしている。これらのAI principlesはコミットメントを示すものだが、すべての製品や状況で平等な結果が得られることを独自に実証するものではない。

この区別は重要だ。原則は目指す方向を示す。監査、インシデント報告、サブグループ別の結果、製品の挙動が、導入済みシステムがそれに従っているかを示す。

したがってこの見出しは、無礼な出力をめぐる新たな議論以上のものを示している。企業が、受け継いだパターンが自動化された推奨、ランキング、意思決定に変わるのを防げるかを問うている。

人間のデータは学習テキストだけでなくAIに入り込む

バイアスは、データ収集、ラベリング、最適化、テスト、人間によるフィードバックを含む開発パイプライン全体を通じてモデルに到達する。

学習データは、その影響が直感的に理解しやすいため、最も注目を集める。オンラインのテキストがエンジニアを繰り返し男性として、ケア労働者を女性として描写すれば、モデルはそうした関連を学習しうる。

しかし、データだけを唯一の原因として扱うと、その仕組みを単純化しすぎる。開発者は、どの情報源をコーパスに含めるか、どの言語を優勢にするか、何をフィルタリングするか、どの事例により大きな重みを与えるかを決める。

そうした判断は、モデルが何に接するかを変える。明白な虐待的表現を取り除いても、権威、能力、野心、温かさ、家庭責任に関わる、より目立たないパターンが必ずしもなくなるわけではない。

ラベルは別の層を加える。データアノテーターは、ある応答をプロフェッショナル、有用、安全、攻撃的などと分類するかもしれない。そうした判断は、文化的な期待やアノテーターに与えられた指示に部分的に依存する。

モデルの目標もさらなる圧力を加える。最適化プロセスは、選ばれた目標に対して高い成果を出す振る舞いを報いる。目標がサブグループ間の違いを見落とせば、モデルは全体として改善しても、特定の集団では失敗し続ける可能性がある。

人間によるフィードバックは有害な振る舞いを減らせるが、人間の前提も持ち込む。レビュアーは公平性について意見が分かれることがあり、礼儀正しさを中立性と誤認したり、根底にある関連を修正せずにバイアスを隠す回答を評価したりする可能性がある。

その後、製品設計が影響範囲を形作る。創造的なブレーンストーミングに使われるモデルと、候補者の順位付けや従業員評価の要約に使われる同じモデルでは、リスクが異なる。

インターフェースの選択も信頼に影響する。流暢な文章、自信に満ちた書式、迅速な応答は、不確実な予測を権威あるものに感じさせうる。利用者は多くの場合、その背後にあるデータの欠落を見ることなく最終回答だけを見る。

NISTはこれを社会技術的な問題、すなわち技術的要素と人間の制度が相互作用して結果を生み出す問題として扱っている。AI biasの管理に関する同機関の取り組みは、一つのデータセットだけを責めるのではなく、システム的、計算的、統計的、人間的な要因を検討している。

この広い視点は、責任の所在をより正確に示す。社会が偏った素材を供給する一方で、組織はそのパターンを導入済みシステムに変えるかどうかを決める。

この区別は、「モデルは私たちからそれを学んだ」という説明が不十分である理由も明らかにする。企業は、インターネットデータでモデルを学習させ商用化することを選んだ後で、インターネットを指し示すだけでは責任を免れられない。

例えば、採用チームがLLMに人事評価を比較するよう依頼する場面を考えてみよう。過去の評価では、男性は成果を表す言葉で、女性は協働や性格を表す言葉で記述されているかもしれない。

要約システムは、中立的に聞こえながらこの不均衡を維持する可能性がある。両者が同程度の成果を出していたとしても、一方の従業員では収益責任を強調し、他方ではコミュニケーションスタイルを前面に出すかもしれない。

害はその後も続きうる。管理職は昇進、後継者計画、報酬の議論でこうした要約に依存する可能性がある。そうしてモデルは、歴史的な言語パターンを新たな組織的証拠に変換する。

ナレッジワーカーがAIを用いて非公開アーカイブを検索する際にも、関連する問題がある。男性リーダーに関する文書にはより強い権威のシグナルが含まれるため、システムがそうした文書をより目立つ位置にランク付けする可能性がある。

より優れた検索と情報源の可視化は、利用者がこうしたパターンを検証する助けになる。透明性のあるAI knowledge baseは検証を支援するが、利用者はなお、そのコレクションに何が含まれ、何が除外されているかを問い続けなければならない。

したがってバイアスは、プロンプトの前、生成中、回答が意思決定者に届いた後のいずれでも生じうる。一つの段階だけを修正しても、経路の残りはそのまま残る。

真の対立は、受け継いだ歴史と意図的な介入の間にある

中心的な問題は、モデル構築者が歴史的なパターンを単に再現するのか、それともその影響を積極的にテストし修正するのかにある。

完全に中立なデータだけから、本格的な汎用モデルを構築できる開発者はいない。言語文書には、矛盾、差別、ステレオタイプ、進歩、法律、フィクション、風刺、不平等な社会条件が含まれる。

バイアスへの言及をすべて消去すれば、モデルはより公正になるのではなく、情報量が少なくなる。より困難な目標は、歴史を理解しつつ、歴史的不平等を自然な規範として提示しないようシステムに教えることだ。

そのためには、記述と推奨を分ける必要がある。モデルは、リーダーシップがしばしば男性として表現されてきたことを理解しつつ、個人の適性を評価する際にはその関連を避けるべきだ。

開発者には複数の介入ポイントがある。データセットの再均衡化、文書化の改善、学習目標の調整、サブグループの性能テスト、アプリケーションへのレッドチームテスト、リリース後の挙動監視などが可能だ。

いずれも万能の解決策ではない。一つの次元を再均衡化すると別の次元を隠してしまうことがあり、二元的なジェンダーカテゴリーを測るテストは、そのカテゴリに当てはまらないアイデンティティを持つ人々を除外しうる。

プロンプトフィルターは明白なステレオタイプを遮断できる一方で、間接的なパターンを見逃すことがある。モデルはジェンダー化された言葉を避けながらも、主体性、自信、職位、技術的能力に異なる水準を割り当てるかもしれない。

職業推薦を研究する研究者は、モデルが実際の労働力データから正当化される以上に、ステレオタイプに沿った職業を選ぶことがあると報告している。これは単純なコピーではなく、増幅だ。

増幅は、モデルが多くの事例を再利用可能な関連へ圧縮することで起きる。大規模コーパス全体での反復は、個々の事例が目立たなく見えても、強力な予測の近道になりうる。

システムは次に、その近道に基づいて新たなテキストを生み出す。出力はウェブサイト、採用記録、教育資料、将来の学習コレクションに入り込み、フィードバックループを生み出しうる。

このループは責任の性質を変える。人間のバイアスが最初のシグナルを供給する一方で、自動化はその到達範囲、一貫性、見かけ上の正当性を高める可能性がある。

過去のコンピュータビジョン研究も同じ仕組みを示している。Gender Shadesプロジェクトは、肌の色とジェンダーが交差するグループごとに、商用ジェンダー分類システムを評価した。

MITの報告では、明るい肌の男性のエラー率は0.8％、濃い肌の女性では34.7％だった。分類上の格差は、平均精度が深刻なサブグループの失敗を隠しうる理由を示した。

この研究は、生成言語ではなく顔分析に関するものだった。それでも、その教訓は直接当てはまる。集計された性能では、誰が誤りの負担を負うかは分からない。

交差性を考慮した評価は、ジェンダーや肌の色を別々にテストするのではなく、特性の組み合わせを検討する。この点は、不利益がその交差点で複合しうるため重要だ。

この研究は、介入が有効になりうる証拠も示した。追跡監査では、研究者が問題を公表した後、対象企業が測定された複数の格差を縮小したことが確認された。

これは、すべてのシステムが公平になったことを示すものではない。しかし、受け継いだ偏見が改善を不可能にするという宿命論的な主張には反論している。

モデル文書化も、もう一つの実践的な介入策だ。Googleの研究者らは、想定用途、評価条件、限界、関連グループごとの性能を記述する標準化レポートであるモデルカードを提案した。

モデルカードのフレームワークは、人口統計上および交差的なサブグループ別に結果を報告するよう開発者に促している。また、ベンチマークが購入者の想定用途に近いかどうかを判断する助けにもなる。

文書化だけで誰かを守ることはできない。調達チームが警告を無視したり、評価対象外の環境にモデルを導入したりすれば、詳細な注意書きの価値は限定的だ。

それでも、開示は立証責任を変える。顧客、監査人、研究者、影響を受けるコミュニティに対し、漠然とした公平性の約束を信じるよう求めるのではなく、具体的に検証できる対象を与える。

したがって実際の対立軸は、人間対機械ではない。受動的な継承対、説明責任を伴うエンジニアリング、調達、ガバナンスである。

公平性ベンチマークがなお示せないこと

モデルは公表済みのバイアステストに合格していても、未知の言語、ワークフロー、集団、または導入環境では不公平に振る舞う可能性がある。

公平性に単一の普遍的な指標はない。誤り率の均等化、選択率の均等化、較正された予測、個人間の一貫性は、互いに衝突しうる。

適切な尺度は意思決定の内容によって異なる。対話型アシスタント、医療トリアージシステム、採用スクリーニング、信用モデルは、同じ結果を生み出すわけではない。

ベンチマーク設計にも人間の選択が関わる。研究者はアイデンティティの分類、プロンプト、職業、ラベル、閾値、参照データを選ぶ。選択の一つひとつが、テストで何を捉えられるかを定義する。

二元的なジェンダー評価は分かりやすい例だ。女性と男性への不平等な扱いを明らかにできる一方、ノンバイナリー、トランスジェンダー、ジェンダー規範に適合しない人々を十分に表現できない。

言語も別の制約を生む。モデルは英語のプロンプトでは良好に機能しても、ヒンディー語、スペイン語、アラビア語、地域方言では異なるステレオタイプを再生産する可能性がある。

翻訳でも、この問題を完全には解決できない。ジェンダー標識、職業名、代名詞、家族構成、社会的期待は、言語やコミュニティごとに異なる。

地理も重要だ。北米の資料に大きく依存して学習したモデルは、別の地域の名前、雇用パターン、コミュニケーション規範を誤解するかもしれない。

したがってテストには、システムが運用される集団と文脈を含めなければならない。研究室で得られた一般的なスコアは、用途固有の評価に取って代わることはできない。

直接的なプロンプトと間接的なプロンプトの間にも隔たりがある。開発者が安全性トレーニングに差別に関する明示的な質問を含めているため、モデルはそうした質問を認識できることが多い。

ありふれたプロンプトのほうが、より多くを明らかにする場合がある。推薦状の作成、リーダーシップ特性の割り当て、経営幹部の画像生成、キャリアの推薦をモデルに求めると、より微妙な関連づけが露呈する可能性がある。

開発者がベンチマークに直接最適化すると、そのベンチマークは情報量が減ることがある。スコアは改善しても、測定されていない振る舞いは変わらないか、より目立たない形へ移る可能性がある。

これは機械学習でよく知られた問題だ。一つの測定値が主要な目標になると、チームはより広い成果を改善せずに数値だけを改善できる。

ベンダーへのアクセスも不確実性を生む。独立研究者は、独自仕様の学習データ、モデルの重み、システムプロンプト、フィルター、フィードバック手法を常に検査できるとは限らない。

オープンモデルには別種のトレードオフがある。研究者はより多くの構成要素を検証・変更できる一方、下流の利用者も安全策を取り除いたり、一貫した監督なしに改変版を導入したりできる。

UNESCOは、同機関の研究において、一部のオープンモデルがより強い測定上のステレオタイプを示したと報告した。また、オープン性が緩和策に関するより広い協働を支援しうることも指摘している。

オープンであることもクローズドであることも、公平性を保証しない。重要なのは、独立した第三者が意味のある振る舞いを評価できるか、そして開発者が記録された失敗に対応するかどうかだ。

懐疑的な読者は、あらゆる人口統計上の差異を差別の証明として扱うことにも抵抗すべきだ。観測された格差の一部は、測定誤差、サンプル構成、曖昧なプロンプト、不適切に選ばれた参照データから生じうる。

その慎重さは監査を改善するべきであり、監査を退ける理由にしてはならない。研究者には、再現可能な手法、透明な前提、十分なサンプル、不確実性の推定が必要だ。

組織にはインシデント報告チャネルも必要である。従業員や影響を受ける利用者は、不透明なサポートプロセスをたどらずに、予期せぬ振る舞いを報告できるべきだ。

最も信頼できる公平性プログラムは、導入前テストと継続的なモニタリングを組み合わせる。実際の利用者は、開発チームが予測しなかった文脈を明らかにする。

チームは誤りの頻度だけでなく、その結果を追跡すべきだ。軽微な表現上の不均衡と、有能な応募者を組織的に排除することは異なる。

調達チームも同様に厳しい問いを投げかけなければならない。どのデータがアプリケーションに入るのか、モデルがどの意思決定に影響するのか、人間が出力に対して実質的に異議を唱えられるのかを把握すべきだ。

人間が自動的に推奨を受け入れるなら、「human in the loop」だけでは不十分だ。監督には、時間、権限、代替となる証拠、そしてシステムを上書きする明確な経路が必要である。

そうでなければ、この言葉は儀礼的なものになりうる。機械が順位付けした数百件の事例で一人が承認をクリックしても、自動化が慎重な判断に変わるわけではない。

AIバイアスが拡大したとき、誰に圧力がかかるのか

モデル開発者、企業の購入者、管理者はいずれも圧力にさらされる。なぜなら責任は元データの所有権ではなく、システムに対する統制に従うからだ。

開発者は学習の選択、評価手法、リリース判断、安全策、製品文書を統制している。繰り返されるモデルの振る舞いを特定する技術的能力を最も多く持つ。

クラウドプラットフォームとアプリケーションベンダーは、基盤モデルが特定のワークフローに入る方法を統制する。そのプロンプト、検索システム、ランキングロジック、ユーザーインターフェースは、新たな格差を導入しうる。

企業顧客はユースケースを選択する。AIの出力がブレインストーミングを支援するだけなのか、雇用、健康、教育、保険、金融に関する意思決定へ影響するのかを決める。

管理者は実装を統制する。レビュー手順、エスカレーションチャネル、業績目標、従業員が自動化された結果に疑問を呈するために与えられる時間を定める。

各主体は別の主体を指し示すことができる。モデル企業は公開データを非難し、アプリケーションベンダーは基盤モデルを非難し、顧客は両方の供給者を非難できる。

その連鎖は、責任をより具体的にする必要があるまさにその時に、説明責任を困難にする。契約と文書では、誰がどの構成要素を、どの条件でテストし、失敗がどのように対応を引き起こすかを特定すべきだ。

雇用は特に明確な圧力点を提供する。モデルは求人広告の草案作成、候補者の発掘、応募書類の順位付け、面接準備、従業員フィードバックの要約を支援するかもしれない。

バイアスはあらゆる段階に現れうる。ジェンダー化された表現は応募者層を狭め、履歴書のパターンは順位に影響し、生成された要約は過去の評価に含まれる不平等な記述を繰り返す可能性がある。

リスクは、モデルがジェンダーを直接使用しなくても生じる。名前、就業の空白期間、学校、所属団体、所在地、文章パターンは代理変数として機能しうる。

したがって、保護属性を取り除いても、不平等な影響が自動的になくなるわけではない。テストでは、プロセス全体を実行した後のグループ別の結果を検証しなければならない。

企業には比較のための基準も必要だ。人間の意思決定にもすでにバイアスが含まれるため、自動化を拒否しても、デフォルトで偏りのないシステムが生まれるわけではない。

重要な比較は、機械の誤りと完璧な人間の判断との比較ではない。導入されたプロセスと信頼できる代替案を、影響を受けるグループと結果ごとに測定して比較することだ。

その比較は有用な改善を明らかにできる。構造化された評価は一部の一貫性に欠ける人間の判断を減らすかもしれない一方、規模や隠れた代理変数を通じて新たなリスクを生む可能性もある。

最善の結果は、人間またはAIのいずれかを中立だと宣言することではない。誤りが可視化され、異議を唱えられ、修正可能になるプロセスを設計することだ。

開発者は、能力をうたうマーケティングとガバナンスの根拠との間に広がる隔たりからも圧力を受けている。モデルのリリースでは、ベンチマークの向上、より長いコンテキスト、より高速な生成、より優れた推論が強調される。

公平性の報告が同等に重視されることはほとんどない。購入者は、自身の対象集団に必要なサブグループ別の結果なしに、広範な安全性の説明を受け取ることが多い。

Googleや他の主要開発者は、用途に関連する評価、手法の変更、既知の制約、外部監査への対応を公表することで、その隔たりを縮められる。

内部チームは製品の締め切りと商業的インセンティブの下で活動するため、独立した精査は依然として不可欠だ。外部研究者は、リリースプロセスが見落とした事例をテストできる。

ここではメディア配信も重要だ。Google Newsが受け継がれたAIバイアスに関する報道を取り上げれば、学術的な懸念を調達や管理の議論へ移す助けになる。

ただし、可視化は議論をスローガンに平板化する可能性もある。「AIは私たちのバイアスを受け継ぐ」という表現は記憶に残るが、不十分なエンジニアリングの言い訳になってはならない。

より強い解釈は、さらに多くを要求する。社会が根底にある不平等を生み出し、開発者がその周囲に選択を組み込み、導入者がその結果として生じるシステムにどこで権限を与えるかを決める。

Google Newsの議論の後に注目すべきこと

次の試金石は、企業がより強力なサブグループ別の根拠を公表するか、購入者が導入監査を求めるか、報告された失敗が測定可能な製品変更につながるかである。

最初の兆候は、主要なモデル開発者によるより詳細な評価だ。ジェンダー、人種、年齢、言語、地理、そしてそれらが交差するグループごとの結果に注目すべきだ。

有用なリリースでは、テスト対象集団、プロンプト設計、比較基準、不確実性、既知の制約を説明すべきである。全体の公平性スコア一つでは、診断上の価値はほとんどない。

時系列の結果はさらに重要だ。企業は、新しいモデルが前モデルと比べて改善したのか、後退したのか、あるいは格差を別の形へ移したのかを示すべきだ。

第二の兆候は、職場内でのアプリケーションレベルの監査である。基盤モデルの評価では、検索データ、カスタムプロンプト、ランキングシステム、地域の方針によって生じるあらゆる影響を予測できない。

組織は導入前にワークフロー全体をテストすべきだ。そして、モデル更新、データ変更、大規模なプロンプト改訂の後には、その評価を繰り返すべきである。

監査の知見は行動につながるべきだ。記録された格差は、機能の停止、データの変更、レビューの追加、ユースケースの制限など、定義された対応を引き起こすべきである。

第三の兆候は、影響を受ける利用者が実質的な救済手段を得られるかどうかだ。人々は、AIが意思決定に重大な影響を与えた時を知り、誤った結果に異議を申し立てる方法を持つ必要がある。

その異議申立てのプロセスは、証拠を検討する権限を持つ人に届くべきだ。争われている判断を生んだ同じ自動化システムへ、利用者を戻すものであってはならない。

新しいモデルや実運用でサブグループの失敗が続くなら、これらの兆候は受け継がれたバイアスという議論を強める。透明な介入が一貫して害を減らすなら、宿命論的な解釈は弱まる。

進展はおそらく一様ではない。一つのモデルは直接的なステレオタイプを改善しながら、画像生成、多言語の振る舞い、権威に関する間接的な評価では後退する可能性がある。

だからこそ、Google Newsの見出しは議論を終えるのではなく、より厳しい議論を始めるべきだ。AIバイアスは、謎めいた機械の衝動でもなければ、一度のアライメント更新で消える問題でもない。

それは、データ、最適化、評価、導入、利用を通じて表現される、人間の選択の連鎖です。どの段階にも、不平等を再生産する機会と、それを断ち切る機会があります。

AIシステムが人を評価する際、読者は実務的な問いを投げかけるべきです。この正確なワークフローが、関係する集団を公正に扱っていることを示す証拠は何か。

サブグループごとの結果、既知の限界、監視計画、異議申し立てのプロセスを求めてください。ベンダーが原則と集計ベンチマークしか提示しないなら、その隔たり自体を意思決定に関わる情報として扱うべきです。

ナレッジワークでは、情報源を保持し、AIがどのように結論に至ったのかを検証してください。検索可能な第二の脳は、ユーザーが生成された主張を自らの資料と照合する際の追跡可能性を高められます。

Google Newsでは、モデルバイアスをめぐる議論が今後も取り上げられ続けるでしょう。長期的に重要なのは、開発者と購入者がそうした議論を観測可能なテストへと転換するかどうかです。

AIが偏見を生み出したのか、という問いにとどまってはいけません。受け継がれたパターンを誰が測定したのか、誰がそれを増幅したのか、誰が異議を唱えられるのか、そして証拠が示された後に何が変わったのかを問うべきです。