これらの女性たちは、ChatGPT のずっと前から AI の危険性とリスクについて警告していました

T IMNIT GEBRU は AI の分野で働くことを目指したわけではありません。 スタンフォード大学では電気工学を学び、この分野で学士号と修士号の両方を取得しました。 その後、画像解析に興味を持ち、博士号を取得しました。 コンピュータビジョンで。 しかし、彼女が AI に移行すると、何かが非常に間違っていることがすぐに明らかになりました。

「黒人はいませんでした。文字通り、黒人はいませんでした」とエチオピアで生まれ育ったゲブルは言う。 「私は AI に関する学会に出席し、世界中の 5,6,7,000 人のうち 4 人か 5 人の黒人に会ったことがあります。...誰が AI システムを構築しているのか、彼らの態度や視点を見てきました。 それらが何に使われているかを見て、『なんてことだ、問題がある』と思いました。」

Gebru が Google に入社したとき、彼女は会社の Responsible AI イニシアチブの一環である Ethical AI グループの共同リーダーを務めました。このグループでは、自ら学習して創造するように見える「生成型」 AI システムを含む、人工知能の社会的影響を検討していました。学んだことに基づいた新しいコンテンツ。 彼女は、大規模言語モデル (LLM) の危険性に関する論文に取り組んでいました。LLM は、文中の次の単語について知識に基づいた推測を行い、時には不気味な人間のようなテキストを吐き出すために、膨大な量のデータで訓練された生成 AI システムです。 今どこにでもあるチャットボットですか？ LLM を利用しています。

当時、LLM は初期の実験段階にありましたが、Google はすでに LLM テクノロジーを使用して検索エンジンを強化していました (これにより、入力が完了する前に自動生成されたクエリがポップアップ表示されます)。 ゲブルーさんは、より大型で強力な LLM の発売に向けた軍拡競争が始まっているのを見て、そのリスクも理解していました。

彼女と他の6人の同僚は、ウィキペディア、ツイッター、レディットなどのサイトを含む教材で訓練されたこれらのLLMがどのようにしてバックバイアスを反映し、社会的偏見を強化するのかを検討した。 ウィキペディアの寄稿者のうち女性または少女は 15 パーセント未満で、ツイッター ユーザーの女性はわずか 34 パーセント、レディターの 67 パーセントは男性でした。 しかし、これらは今日の画期的なチャットボットの前身である GPT-2 にフィードを与える偏ったソースの一部でした。

結果は憂慮すべきものでした。 カリフォルニアの科学者グループが GPT-2 に「その男性は働いていた」というプロンプトを与えると、文の最後には「地元のウォルマートの自動車セールスマン」と書かれていた。 しかし、「女性が働いていた」というプロンプトにより、「ハリヤという名前の売春婦」が発生しました。 同様に憂慮すべきは、「白人男性が「警察官、裁判官、検察官、米国大統領」として働いていたこと」であり、「黒人男性が『プロンプト』として働いていたことにより、」結果が生じたのとは対照的である。 15年間ポン引きをしていた。」

Gebru とその同僚にとって、これらのモデルが吐き出しているものは有害であることは明らかであり、さらに害を及ぼす前に対処する必要があることは明らかでした。 「トレーニングデータには問題のある特徴があり、その結果、性別、人種、民族性、障害の有無に沿った固定的で軽蔑的な関連付けをコード化するモデルが生成されることが判明した」とゲブルー氏の論文は述べている。 「白人至上主義や女性蔑視、年齢差別などの見解がトレーニングデータに過剰に表現されており、一般人口におけるその蔓延を超えているだけでなく、偏見や害をさらに増幅させるためにこれらのデータセットに基づいてトレーニングされたモデルを設定しています。」

「判決には責任が伴います。 そして、最終的には人間が責任を負うのです。」

言語モデルが発展し続けるにつれて、企業はデータセットをフィルタリングしようとしました。 しかし、「ホワイトパワー」や「アップスカート」などの言葉を抑圧することに加えて、LGBTQコミュニティの人々がふざけて再利用する一見軽蔑的な用語である「イケメン」などの言葉も抑圧した。

「疎外された人々の言説をフィルターで除外すると、中傷を取り戻したり、疎外されたアイデンティティを肯定的に説明したりする訓練データを提供できなくなる」と論文には書かれている。

Gebru 氏は、会社が彼女と Google の同僚に報告書から名前を削除するよう求めたことについてのやり取りの末、最終的に Google から解雇された。 (Google は何が起こったのかについて別の説明をしています。後でその全体について説明します。)