(DL) 확률적 경사하강법 및 옵티마이저
1. 확률적 경사하강법(SGD) 경사 하강법 경사하강법은 전체 데이터를 사용합니다. 그러나 데이터가 많으면 하드웨어적으로 메모리 부족으로 프로세스가 느려지고 실행되지 않을 수 있습니다. 확률적 경사하강법 확률적 경사하강법은 데이터를 미니 배치로 분할합니다. 그 이후에는 주문이 영향을 받을 수 있습니다. 데이터를 섞은 후 미니 배치를 하나씩 추가합니다. 공식은 경사하강법과 동일합니다. 2. 여러 최적화 방법 SGD의 증분은 고정된 값입니다. 이를 … Read more