'처음 배우는 딥러닝 수학(한빛미디어)' 책의 내용을 바탕으로 정리한 글입니다. 경사하강법 함수 z = f(x,y)가 있을 때 함수 z를 최소화하는 x, y를 구하기 위한 대표적인 방법 원리 함수 z = f(x,y)를 최소화하는 x, y가 를 만족시킨다는 사실을 이용한다. 개념 그래프 상의 점을 조금씩 움직여 함수의 최소값인 점을 찾는 것. 근사식과 내적의 관계 함수 z = f(x,y)에서 x를 Δx 만큼, y를 Δy만큼 바꿨을 때 함수 f(x,y) 값의 변화에 관한 근사식은 Δz = f(x+Δx, y+Δy) - f(x,y)이다. 이 근사식에서 다음 관계식이 성립한다. 더보기 x, y를 Δx, Δy 만큼 변화시켰을 때의 함수 z=f(x,y)의 변화 즉, 위의 식에서 우변은 다음 두 벡터의 내적 형태이다...