하지만 압축을 복원하면서 손실된 부분을 채우는 과정이 존재하는데, 이를 ‘일반화’라고 강조하면서 일반화 과정에서 JPEG와 언어 모델 간에 차이가 있다고 이야기했습니다. 즉, JPEG는 일반화 과정이 종종 바람직하지 않게 적용되지만 언어 모델의 경우에는 수십 년에 걸친 혁신이 일반화 과정을 바람직하게 만들었다고 이야기했습니다.

조경현 교수는 그렇기 때문에 챗GPT가 웹상의 흐릿한 JPEG와 같다고 보기보다는 ‘대규모 언어 모델을 구축하기 위해 발견한 어떤 요소가 바람직한 일반화에 기여했는지’, 그리고 ‘어떻게 기여했는지’ 묻고 연구하는 것이 더 중요하다고 첨언했습니다.

챗GPT가 등장함에 따라 그것의 가능성과 한계, 장점과 부작용에 대한 논의는 지금까지 활발하게 이루어지고 있습니다. 독자 여러분은 이 신기한 기술을 어떻게 바라보고 있나요?