• 대화 데이터: 대화형 AI 모델의 경우, 사람 간 대화 데이터를 수집하는 것이 중요합니다. 이 데이터로 모델은 자연스러운 대화 흐름과 문맥을 학습할 수 있습니다. 대화 데이터는 연구 기관, 대학, 기업 등이 공개한 대화 데이터셋이 있습니다. 예를 들어 코넬 영화 대사 데이터셋(Cornell Movie-Dialogs Corpus)이나 멀티 도메인 대화 데이터셋이 있으며, 다양한 대화 상황에서의 데이터를 포함합니다.
기업의 고객 지원 채팅 기록이나 콜센터 기록 등에서 대화 데이터를 수집할 수 있습니다. 이러한 데이터는 사용자와 시스템 간 실질적인 상호작용을 반영해 실무에 유용한 데이터를 제공합니다. 다만, 개인 정보 보호와 윤리적 문제를 철저히 검토해야 합니다.
• 소셜 미디어: 소셜 미디어에서 수집된 데이터는 최신 트렌드와 대중의 관심사를 반영하는 데 유용합니다. 다만, 비속어나 오탈자 등 노이즈가 포함될 수 있어 전처리가 필요하고 개인 정보 보호 문제를 고려하여 신중하게 다루어야 합니다.