편향과 공정성

만약 LLM이 주로 남성 엔지니어의 데이터를 학습했다면, ‘엔지니어’라는 단어에 대해 남성 이미지를 더 자주 연상시키는 문장을 생성할 수 있습니다. 예를 들어 엔지니어가 포함된 질문을 한다면 남성에 더 우호적인 텍스트를 생성할 가능성이 높습니다.

실제로 아마존은 직원 채용 시 ‘AI 면접’ 과정이 있었지만 남성에 더 우호적으로 채점하는 것으로 밝혀지면서 AI 면접을 폐지했다고 합니다.

투명성

LLM이 어떤 질문에 대해 특정 대답을 하는 경우 왜 그런 대답을 했는지 그 이유를 사용자에게 설명하는 능력이 부족할 수 있습니다. 분명 학습한 데이터를 기반으로 답변을 한 것은 맞지만 그렇다고 LLM이 학습한 데이터를 그대로 사용자에게 보여주는 것은 아닙니다. LLM 자체적으로 어느 정도 가공을 하는데 그 가공 과정을 인간은 이해할 수 없습니다.