AI 챗봇은 다양한 질문을 받을 때 인종 편견에 대한 해결책을 생성하는 것으로 알려져 있으며, 이 문제를 겨냥한 많은 연구 노력이 이루어져 왔습니다. 이제 이 문제를 해결하기 위한 새로운 훈련 방법이 준비되었습니다. 이 방법은 "공정한 중복 제거" 또는 간단히 "FairDeDup"으로 알려져 있으며 Adobe 팀과 OSU 공과 대학의 박사 과정 학생인 Eric Slyman이 수행한 연구 결과입니다.

AI 훈련에 사용되는 중복 데이터 세트를 제거하는 것은 중복된 정보를 제거하여 전체 프로세스의 비용을 낮추는 것으로 구성됩니다. 현재 사용되는 데이터는 인터넷 전체에서 수집되기 때문에 인간이 온라인에서 자주 떠올리고 공유하는 불공정하거나 편향된 생각과 행동이 포함되어 있습니다.

Slyman에 따르면 "FairDeDup은 제어 가능하고 인간이 정의한 다양성 차원을 통합하여 편견을 완화하는 동시에 중복 데이터를 제거합니다. 우리의 접근 방식은 비용 효율적이고 정확할 뿐만 아니라 더욱 공정한 AI 교육을 가능하게 합니다. ." 요즘 AI 챗봇이 지속하는 편향된 접근 방식에는 직업, 인종, 성별뿐 아니라 연령, 지리, 문화와 관련된 아이디어도 포함되어 있어 명백히 불공평합니다.

FairDeDup은 비용 효율적인 솔루션임이 입증되었지만 종종 사회적 편견을 악화시켰던 SemDeDup으로 알려진 이전 방법의 개선된 버전입니다. 이 분야에 관심이 있는 사람은 Kris Hermans의 AI 모델 교육 마스터하기: AI 모델 교육 전문가가 되기 위한 종합 가이드를 읽어보세요. 이 가이드는 현재 Kindle에서 $9.99 또는 문고판 버전($44.07)으로 제공됩니다.