오구의코딩모험

오늘은 비용 함수를 최소화하는 매개 변수인 w와 b을 찾기 위한 작업, 옵티마이저(Optimizer) (=최적화 알고리즘)에 대해 알아보도록 하자! 우선 지난 포스팅에서 공부했던 선형 회귀에 적합한 옵티마이저인 경사하강법부터 살펴보자 경사하강법(Gradient Descent) 지난 포스팅에서 함께 공부한 비용 함수는 평균 제곱 오차(MSE)였다. [좌측 그림] 오차를 제곱했기 때문에 오차와 가중치 w에 대한 그래프는 위와 같이 그려질 것이다. 편향을 나타내는 b는 제외하고 생각하였다. [우측 그림] 임의의 w값을 하나 설정하고 우리는 w값을 수정해나가며 cost가 최소값이 될 때를 찾는다. 그게 바로 비용 함수의 최소가 될 것이며 곧, 오차의 최소 [좌측 그림] 언제 최소가 되느냐 바로 접선의 기울기가 ..