Note ≣ | Subgroup에 따른 평가 방식 적용

주최 측에서는 복잡한 평가 방식에 대해 계산 과정이 담긴 노트북2을 제공합니다. 간단한 딥러닝 모델을 구성하고 데이터를 학습한 뒤, 위에서 소개한 평가 방식을 적용한 예시가 담겨 있습니다. 그림 7-2는 간단한 딥러닝 모델의 추론 결과를 평가 지표와 Subgroup별로 나타낸 것입니다.

▲ 그림 7-2 Subgroup에 따른 평가 방식 적용 예시

그림의 결과를 간단히 살펴보면 정체성 그룹이 흑인(black)인 경우 다른 것에 비해 BPSN 값이 낮게 나오고 있습니다. 즉, 이 정체성에 해당하는 단어가 포함된 텍스트가 다른 것들에 비해 악성을 높일 수 있는 소지가 있다는 뜻입니다. 기독교 신자(christian)의 경우는 반대로, BNSP 값이 비교적 낮은데, 해당 단어를 포함한 텍스트는 다른 정체성에 비해 악성을 낮게 만들 수 있다는 의미로 해석할 수 있습니다.