AI チャットボットは、さまざまな質問を受けると、人種的に偏見のある解決策を頻繁に生成することで知られており、多くの研究活動がこの問題を対象としてきました。この問題を解決する新しいトレーニング方法が完成しました。この方法は「公平な重複排除」または単に「FairDeDup」として知られており、Adobe と OSU 工学部の博士課程学生 Eric Slyman のチームによって行われた研究の結果として生まれました。

AI トレーニングで使用されるデータセットの重複排除は、冗長な情報を削除することで構成され、プロセス全体のコストを削減します。現時点では、使用されるデータはインターネット全体から収集されているため、人間が頻繁に思いつき、オンラインで共有する不公平または偏ったアイデアや行動が含まれています。

Slyman 氏によると、「FairDeDup は、バイアスを軽減するために制御可能な人間が定義した多様性の側面を組み込みながら、冗長なデータを削除します。私たちのアプローチにより、費用対効果が高く正確であるだけでなく、より公平な AI トレーニングが可能になります」 最近の AI チャットボットによって永続化されている偏ったアプローチのリストには、職業、人種、性別だけでなく、年齢、地理、文化に関連した明らかに不公平な考え方も含まれています。

FairDeDup は、SemDeDup として知られる以前の手法の改良版です。SemDeDup は、費用対効果の高いソリューションであることが判明しましたが、社会的偏見を悪化させることがよくありました。この分野に興味がある人は、Kris Hermans の『Mastering AI Model Training: A Comprehensive Guide To become An Expert In Training AI Models』を入手してください。現在 Kindle で $9.99 またはペーパーバック版 ($44.07) で入手可能です。