LLM은 예측을 수행할 때 입력의 다른 부분에 선택적으로 주의를 기울일 수 있는 트랜스포머(transformer) 구조를 활용하므로, 사람의 언어에 있는 뉘앙스와 복잡성을 다루는 데 능숙합니다.

LLM은 텍스트를 생성할 수 있기 때문에 종종 생성형 인공지능(generative artificial intelligence) 또는 생성 AI(generative AI, GenAI)라고 부릅니다. 그림 1-1에 나타나 있듯이 AI는 사람 수준의 지능이 필요한 작업을 수행할 수 있는 기계를 만드는 분야를 광범위하게 포괄하고 있습니다. 이런 작업에는 언어 이해, 패턴 인식, 의사 결정 등이 포함되며 인공지능의 하위 분야로는 머신러닝과 딥러닝이 있습니다.

▲ 그림 1-1 여러 분야의 관계를 계층적으로 나타낸 이 다이어그램에서 볼 수 있듯이 LLM은 딥러닝 기술을 활용한 특정 애플리케이션으로 사람이 쓴 것 같은 텍스트를 생성하고 처리할 수 있습니다. 딥러닝은 다층 신경망을 사용하는 데 초점을 맞춘 머신러닝의 한 전문 분야입니다. 머신러닝과 딥러닝은 컴퓨터가 데이터로부터 학습하고 사람의 지능이 필요한 작업을 수행할 수 있는 알고리즘을 구현하는 분야입니다.