Thinking

손실 함수의 구현으로 활성화 함수 계산을 추가한 예측 값이 얼마 만큼의 오류를 가지고 있는 지에 대한 평균 값을 얻을 수 있었다. 그 다음은 역전파를 구현할 차례이다. 이번 포스팅의 코드들은 모듈화 되지 않은  날것에 가까운 코드 이기 때문에 정렬되어 있지 않다. 이 포스팅 다음에 모듈화를 진행할 예정이다. 역전파에 대해  앞서 이야기 했듯이  손실을 구했다면, 당연히 예측 값을 조절해  최대한 손실이 없게 끔 만들어야 한다. 어떻게 해야될까? 가장 일반적인 방법은 가중치를 미세하게 조절하면서 손실 함수가 최소화 될 때 까지 반복하는 것이다.  즉, 상수 값인 기울기(가중치)를 조절하는 것이다. 역전파 프로세스는  활성화 함수에서의 역전파(backward) 단계에서는  순방향 전파에서 계산한 값을 가지고  가중치와 편향을 미세 조절 하기 위한 가중치(gradient)를 결정 한다. 레이어의 역전파(backward) 단계에서 이 가중치를 레이어에서 넘겨 받아 이 값을 가지고 레이어가 가지고 있는 가중치와 편향을 업데이트 한다. 역전파는 말 그대로 역으로 값을 전달하며  진행되기 때문에 연쇄 법칙(Chain Rule)이라고도 한다. 다만 이전 과정에서 구현했던 활성화 함수, 손실 함수를 포함해  레이어의  역전파를 구현해야 하기 때문에  수식에 대한 더 많은 이해와  이전 보다 더 많은 코드 추가가 필요할 것 이다.  그렇기에 구현 하는데 있어서 예상보다 시간이 소모되었기에  역전파의 구현은 활성화 함수는 ReLu, Softmax를 그리고 손실 함수는 범주형 교차 엔트로피(Categorical Cross Entropy,CCE)만을  포스팅 할 예정이다. 차후에 이진 교차 엔트로피와 다른 활성화 함수에 대한  역전파 구현은 차후에 수학적인 내용에 들어갈때 같이 구현하기로 하겠다. 그렇다면 역전파라는 말대로, 반대로 타...

다음으로 손실 함수와  역전파 알고리즘에 대해 이야기를 나누어보자. 이전 포스트에서 이야기한바와 같이  손실 함수는 비용 함수는 사실상 같은 의미로 사용되어지고 있다. 나는 처음에 비용 함수를 선호했으나, 한국어에서는 손실 함수 쪽이 좀 더 의미가 정확하게 전달되기 때문에  이 후 비용 함수를 손실 함수 쪽으로 부르기로 하겠다. 이런 예측한 순전파에 대한 오류률을 나타내는  손실 함수 그리고 역전파까지 구현까지 가능하다면, 이제 기본적인 뉴런 네트워크 아키텍처를 구축했다고 볼 수 있을 것이다. 순(방향)전파를 진행해 예측 값을 얻어내고  손실 함수와 역전파를 이용해 오류률이 최소화된  값으로 각 노드를 최적화 해준다면  더 높은 정확도를 가지게 될 것이며 이로서 정말로 우리가 알고 싶은 판단을  머신 러닝이라는 의미대로 0과 1로 이루어진 기계가 내려주게 될 것이다. 이런 과정을 통해 최종적으로는  이 사진이 고양이인지 사람인지 등의 판단이 가능해지는 것 이다. 다만, 여기서 이야기하고 다루고자하는 내용은  자세한 수학적인 내용까지는 하지 않고, 이 솔루션이 왜 필요하게 되었는지를 중심으로 이야기할 것 이다. 수학적인 내용 과거 나의  Machine Learning by Andrew Ng 라벨을  의 포스트들을 참고하거나 나의 포스트 보다 훌륭한  다른 사람들이 작성한 포스트를 참고하기를 바란다.   그렇다면 이제 본격적으로 이야기를 시작해보자. 순전파를 통해 예측값을 구했지만.. 앞서 우리는 입력 데이터로 예측 값을 구하고,  여기에 활성화 함수까지 더해  순전파를 통해 최적화된 값을 구할 수 있었다. 하지만,  이 값이 정말로 잘 계산된 값이라고 할 수 있을까? 이를 검증하지 않는다면, 그리고 이 검증 값을 기반으로 개선이 이루어지지 않는다면 이 뉴런 네트워크라는 것은 결국  신뢰성이 떨어질...