5.9.2 참고 사항

평가에 관한 외부적 이슈

다리를 건설할 때는 안전을 최우선으로 고려합니다. 다리가 완공되고 나면 겪게 될 하중과 바람을 잘 견뎌 낼지 확인해야 합니다. 그런데 삽을 뜨기 전에 누군가는 “정말 다리가 필요한가?”라는 질문을 해야 합니다. 다리를 짓는 것보다 더 나은 대안이 있을까요? 해안을 따라 도로를 건설하면 어떨까요? 해협 지하에 터널을 뚫거나 정기 여객선을 운영하는 것도 있군요. 더 나은 기술이 개발될 때까지 혹은 이동 수요가 늘어날 때까지 기다리는 것도 고려할 수 있습니다. 이러한 방법들은 어떤 방식으로 가치를 측정하느냐에 따라 달라질 수 있습니다. 건설 단가, 내구도, 유지 보수 비용, 차량당 최대 하중, 총 기대 수명, 확장 비용과 통행자의 이동 시간 등 다양한 방법으로 대안을 비교할 수 있습니다.

다음 두 가지 평가 유형에 대한 공학적 용어가 있습니다. “다리를 지어야 한다고 가정할 때, 다리는 안전한가?”를 묻는다면, 다리 안전성을 확인(verify)하고자 하는 것입니다. 반면 “다리를 지어야 할까? 혹은 도로를 건설해야 할까?”를 묻는다면, 어떤 솔루션을 채택해야 할지 검증(validate)하는 것입니다.

공학적인 관점에서 보면, 이 장에서는 확인과 관련된 이슈를 다루었습니다. 우리가 학습 시스템을 원한다고 가정할 때, 어떻게 시스템 성능을 평가할 수 있을까요? 저는 여러분께 누차 (여러분이 만들고 있는) 상자 밖에서 생각해야 한다고 이야기했습니다. 학습 시스템이 아닌 다른 대안을 찾을 필요가 있을지도 모릅니다. 조금 헷갈리는 이야기일지도 모르지만, 확인과 검증은 공학적 맥락에서 유래한 표현입니다. 머신 러닝이나 관련 커뮤니티에서는 시스템을 확인하는 일부 기법을 검증이라고 합니다. 예를 들어 머신 러닝 평가 기법에는 교차 검증이라는 것이 있습니다. 공학적 관점에서 교차 검증은 학습 시스템의 성능을 ‘확인’합니다.