주석
1장
1 역주 영국의 시인 조지 고든 바이런(George Gordon Byron)의 딸이며, 그녀가 해석 기관의 논문에 추가한 베르누이 수를 구하는 알고리즘이 최초의 프로그램으로 인정되어 최초의 프로그래머라고 불립니다. 1980년 미국 국방성은 기존 언어를 대체하려고 만든 새 프로그램 언어에 그녀의 이름을 따서 에이다(Ada)란 이름을 붙였습니다.
2 튜링 테스트는 때때로 문자 그대로의 테스트(AI 분야가 도달해야 하는 목표)로 해석되지만, 튜링은 단지 인지의 본질에 대한 철학적 논의에서 개념적 장치로 의미한 것입니다. 역주 이와 관련하여 조금 더 자세한 내용은 아마존의 수석 과학자인 로힛 프라사드(Rohit Prasad)의 글을 참고하세요(https://bit.ly/3KLTCI5).
3 A. M. Turing, “Computing Machinery and Intelligence,” Mind 59, no. 236 (1950): 433-460. https://goo.gl/ZiXntw
4 역주 튜링은 이 논문에서 러브레이스의 반론을 포함하여 총 9개의 반론에 대한 답변을 기술했습니다.
5 역주 종종 머신 러닝의 신경망을 인공 신경망(artificial neural network)으로, 생물학의 신경망을 생물학적 신경망(biological neural network)으로 구분하여 부르기도 합니다. 이 책에서는 신경망(neural network)과 네트워크(network), 모델을 혼용하여 사용하고 있습니다. 저자의 의도를 살리고 신경망이 진짜 ‘신경’과 관련 있다는 오해를 줄이기 위해 문맥상 어색하지 않다면 ‘network’는 그대로 ‘네트워크’라고 옮겼습니다.
6 역주 이런 파라미터를 모델 파라미터라고도 합니다. 이 책에서는 혼동을 피하기 위해 파이썬 프로그램의 함수와 클래스에 전달할 때 사용하는 파라미터는 매개변수로 번역합니다.
7 역주 정확하게 말하면 비용 함수는 모든 훈련 데이터에 대한 손실 함수의 합을 나타내고 목적 함수는 더 일반적인 용어로 최적화하기 위한 대상 함수를 의미합니다. 보통 이 세 가지 용어를 크게 구분하지 않고 혼용하여 사용하는 경우가 많습니다.
8 역주 핵 겨울은 천문학자 칼 세이건(Carl Sagan) 등이 1983년에 주장한 것으로 핵 전쟁으로 대규모 환경 변화가 발생하여 지구에 빙하기가 온다는 가설입니다.
9 역주 다양한 머신 러닝 알고리즘에 대한 소개는 <머신 러닝 교과서 with 파이썬, 사이킷런, 텐서플로(개정 3판)>(길벗, 2021)를 참고하세요.
10 역주 회귀는 연속적인 숫자(실수)를 예측하는 것이고 분류는 여러 클래스(class) 중 하나를 예측하는 것입니다.
11 역주 SVM은 분류뿐만 아니라 회귀 문제에도 사용할 수 있습니다.
12 Vladimir Vapnik and Corinna Cortes, “Support-Vector Networks,” Machine Learning 20, no. 3 (1995): 273–297.
13 Vladimir Vapnik and Alexey Chervonenkis, “A Note on One Class of Perceptrons,” Automation and Remote Control 25 (1964).
14 ‘상위 5개 정확도(top-five accuracy)’는 모델의 상위 5개 예측(ImageNet의 경우 1,000개의 가능한 답이 있습니다) 중에 정답이 포함된 빈도를 측정합니다.
15 역주 원문에서는 “CERN이 결국 케라스 기반의 심층 신경망으로 바꾸었다.”라고 단정적으로 표현했지만, 원서의 포럼에 올린 실제 LHC 연구자의 의견을 참고하여 번역했습니다. LHC에서 머신 러닝을 사용하는 예를 엿볼 수 있는 제임스 비컴(James Beacham) 박사의 멋진 테드 강연(https://goo.gl/WQ6Hn5)과 CERN이 주최한 입자 탐지(Particle Tracking) 캐글 경연 대회(https://bit.ly/2w3ocuK)도 참고하세요.
16 역주 얕은 학습 방법은 연속된 표현 층을 독립적으로 학습하기 때문에 전체 층의 수와 상관없이 항상 동일하게 첫 번째 층이 동일한 양의 정보를 학습하므로 이후에 연속되는 층은 전체 모델에 기여하는 바가 점차 줄어듭니다.
17 역주 그레이디언트 부스팅 알고리즘과 XGBoost에 대해 자세히 알고 싶다면 <XGBoost와 사이킷런을 활용한 그레이디언트 부스팅>(한빛미디어, 2022)을 참고하세요.
18 “Flexible, High Performance Convolutional Neural Networks for Image Classification,” Proceedings of the 22nd International Joint Conference on Artificial Intelligence (2011), http://www.ijcai.org/Proceedings/11/Papers/210.pdf
19 “ImageNet Classification with Deep Convolutional Neural Networks,” Advances in Neural Information Processing Systems 25 (2012), http://mng.bz/2286
20 역주 테라플롭스는 1×1012플롭스고, 페타플롭스는 1×1015플롭스고, 엑사플롭스는 1×1018플롭스입니다.
21 The ImageNet Large Scale Visual Recognition Challenge(ILSVRC), http://www.image-net.org/challenges/LSVRC
22 역주 그레이디언트와 경사 하강법에 대해서는 2.4절에서 자세히 설명합니다.
23 역주 세이비어 글로럿(Xavier Glorot), 앙투안 보르드(Antoine Bordes)와 요슈아 벤지오(Yoshua Bengio)가 “Deep Sparse Rectifier Neural Networks”(2011, https://goo.gl/vyV7QC)에서 심층 신경망을 훈련하기 위해 적용했던 ReLU(Rectified Linear Unit) 함수를 말합니다. ReLU 함수는 3.4.3절에서 자세히 설명합니다.
24 역주 심층 신경망을 만들기 위해 사전 훈련을 사용하기보다 근본적인 원인을 분석했던 세이비어 글로럿과 요슈아 벤지오의 “Understanding the Difficulty of Training Deep Feedforward Neural Networks”(2010, http://bit.ly/3PWXdoB)를 말하며, 저자의 이름을 따서 Xavier 초기화 또는 Glorot 초기화라고 부릅니다.
25 선다 피차이, 알파벳(Alphabet) 실적 발표, 2015년 10월 22일
26 역주 이미 학습된 모델의 층을 재사용하여 대부분을 구성하고 1~2개의 층만 새롭게 추가한다면 적은 수의 데이터셋으로도 규모의 모델을 만들 수 있습니다. 이런 경우 재사용되는 층의 가중치가 더 이상 학습되지 않게 동결시킬 수 있습니다. 8장에서 이에 대해 자세히 소개합니다.
27 역주 시그모이드 함수는 S 형태를 띤 곡선입니다. 그림 4-3을 참고하세요.