▲ 그림 3-4 DeepSeek 논문1
이것이 무엇을 의미하는지 메타에서 개발한 Llama3와 비교해보겠습니다. 메타의 최신 거대 언어 모델인 Llama3는 NVIDIA의 24,000개 H100 GPU를 사용하여 훈련되었으며, 총 예산은 5,000만 달러(약 557억 원)로 추정하고 있습니다. 이는 DeepSeek-V3 훈련 비용의 약 10배에 해당합니다.
▲ 그림 3-4 DeepSeek 논문1
이것이 무엇을 의미하는지 메타에서 개발한 Llama3와 비교해보겠습니다. 메타의 최신 거대 언어 모델인 Llama3는 NVIDIA의 24,000개 H100 GPU를 사용하여 훈련되었으며, 총 예산은 5,000만 달러(약 557억 원)로 추정하고 있습니다. 이는 DeepSeek-V3 훈련 비용의 약 10배에 해당합니다.