아다델타(Adadelta, Adaptive delta)

아다델타는 아다그라드에서 G 값이 커짐에 따라 학습이 멈추는 문제를 해결하기 위해 등장한 방법입니다. 아다델타는 아다그라드의 수식에서 학습률(η)을 D 함수(가중치의 변화량(Δ) 크기를 누적한 값)로 변환했기 때문에 학습률에 대한 하이퍼파라미터가 필요하지 않습니다.

예를 들어 텐서플로 2에서는 아다델타를 다음과 같이 구현할 수 있습니다.

from tensorflow.keras.optimizers import Adadelta
model.compile(loss='categorical_crossentropy',
              optimizer=Adadelta(rho=0.95),
              metrics=['accuracy'])