Everything is NORMAL

위키에 적혀있는 경사하강법의 정의. 더보기 경사 하강법(傾斜下降法, Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 것이다. Neural network의 weight를 조절하는 과정에서 사용한다는 것은 알고 있는데, 좀 더 쉽게 경사하강법을 정의할 수 없을까? 내가 이해할 수 있는 문장으로 경사하강법을 정의하기 위해, 여러 블로그에서 경사 하강법에 내린 정의들을 모아볼 것이다. cost 비용을 최소화 하기 위한 최적화 알고리즘 해당 함수의 최소값 위치를 찾기 위해 cost function의 그레디언트 반대 방향으로 정의한 step size를 가지고 조금씩 움직여가며 최..