新しい研究により、AI 言語モデル、特にアフリカ系アメリカ人英語 (AAE) の扱いに埋め込まれた隠れた人種差別が暴露されました。あからさまな人種差別に焦点を当てたこれまでの研究（マスクされた LLM の社会的偏見を測定するための CrowS-Pairs 研究など）とは異なり、この研究では、AI モデルがどのように方言偏見を通じて否定的な固定観念を微妙に永続させるかに特に重点を置いています。これらの偏見はすぐには目に見えませんが、AAE 話者を地位の低い仕事やより厳しい刑事判決と結びつけるなど、明らかに現れています。

この研究では、あからさまな偏見を減らすように訓練されたモデルでさえ、依然として根深い偏見を抱えていることが判明しました。これは、特に公平性と公平性が何よりも重要である雇用や刑事司法などの重要な分野に AI システムがますます統合されるにつれて、広範囲にわたる影響を与える可能性があります。

研究者らは、これらのバイアスを明らかにするために「一致した偽装プロービング」と呼ばれる手法を採用しました。標準アメリカ英語 (SAE) と AAE で書かれたテキストに対する AI モデルの反応を比較することで、たとえ内容が同一であっても、モデルが一貫して AAE を否定的なステレオタイプと関連付けることを実証できました。これは、現在の AI トレーニング方法に致命的な欠陥があることを示す明らかな指標です。あからさまな人種差別を軽減するための表面レベルの改善は、必ずしもより深い、より陰湿な形態の偏見の排除につながるわけではありません。

AI は間違いなく進化を続け、社会のより多くの側面に統合されるでしょう。しかし、それは既存の社会的不平等を緩和するどころか、永続させ、さらには拡大させるリスクも高めます。このようなシナリオは、これらの不一致に優先的に対処する必要がある理由です。