위 문장은 gay라는 단어를 썼지만, 근처에 있던 장소를 지나간 것일 뿐, 누군가를 혐오하거나, 헐뜯는 말이라고 보기는 힘듭니다. 이처럼 같은 단어를 사용하더라도 문맥상 그 의미가 누군가에게 나쁜 영향을 끼칠 수도, 끼치지 않을 수도 있습니다.

본래 머신러닝 모델은 데이터를 기반으로 학습하고, 결과를 예측할 때는 최대한 가능성이 높은 답(Maximum Likelihood Estimation)을 내리게 됩니다. 만약 데이터셋에 위와 같은 단어를 포함한 문장들이 악성일 경우가 그렇지 않은 경우보다 훨씬 많다면 모델은 이러한 경우에 올바른 답을 내지 못할 수도 있습니다.

주최 측의 연구팀은 텍스트 내에 사람의 정체성(Identity)과 관련한 언급이 있을 때(예를 들면 남성, 여성, 흑인, 무슬림, 성소수자를 지칭하는 단어 등), 이러한 편향된 의미 전달이 특히 두드러지게 일어난다는 것을 발견했습니다. 그래서 Jigsaw Unintended Bias in Toxicity Classification 대회의 최종 목표는 다음 두 가지입니다.