1단계에서는 기본적인 데이터 전처리 단계에 대해 배우고 모든 LLM의 핵심인 어텐션 메커니즘을 구현합니다. 그런 다음 2단계에서는 새로운 텍스트를 생성할 수 있는 GPT와 유사한 LLM을 구현하고 사전 훈련하는 방법을 배웁니다. 이어서 NLP 시스템을 개발하는 데 매우 중요한 기본적인 LLM 평가 방법에 대해 알아봅니다.

밑바닥부터 LLM을 사전 훈련하는 것은 GPT와 유사한 모델의 경우 수천에서 수백만 달러의 컴퓨팅 비용이 발생하는 커다란 작업입니다. 따라서 2단계는 작은 데이터셋을 사용해 교육적인 목적으로 훈련을 구현하는 데 초점을 맞춥니다. 또한 공개된 모델 가중치를 로드하기 위한 코드 예제를 제공합니다.

마지막으로 3단계에서는 사전 훈련된 LLM을 미세 튜닝하여 질문 답변이나 텍스트 분류와 같이 지시를 따르도록 만듭니다. 이런 작업은 실전 애플리케이션과 연구에서 가장 일반적인 작업입니다.

그럼 흥미진진한 이 여정을 시작해 보죠. 기대해 주세요!