Data Science/Deep Learning
[Intro to Deep Learning] Dropout and Batch Normalization
Summary * 신경망의 최적화 보조 수단인 두가지를 레이어에 대해서 알아본다. * 첫번째는 과적합(Overfitting) 완화하는 Dropout * 두번째는 불안정(Unstable)하거나 느린(Slow) 학습을 보완하는 Batch Normalization Dropout 신경망 학습 과정에서 가짜 패턴(또는 불필요한 정보) 때문에 과적합(Overfitting)이 발생한다. 이는 훈련 데이터의 패턴이 너무 구체적이기 때문에 취약한 경우가 있다. 과적합(Overfitting)을 완화하기 것이 Dropout 이다. Dropout은 훈련 단계마다 Layer의 입력 단위 중 일부를 무작위로 삭제한다. 신경망이 훈련 데이터에서 가짜 패턴을 학습하는 것이 어려워진다. 대신, Weight 패턴은 더 강한 경향성을 지..
2023. 3. 13. 02:59
최근댓글