Thinking

뉴런 네트워크를 구현하기 앞서서  먼저 Python에서 실제로 어떻게 뉴런 네트워크를 표현하는가에 대해 확인해 볼 필요가 있다. 왜냐하면 내가 이전에 배울 때 사용했던 것은  Octave라는 툴 이지만 이것 자체로는 애플리케이션을 만들 수 없다. 따라서 뉴런 네트워크가 Python에서 어떻게 표현되는지에 대해 먼저 확인하고 넘어가보자. Python에서는 뉴런 네트워크에 대한  훌륭한 라이브러리들이 많다고 하니 기대해봄직하다. 뉴런 네트워크 아키텍처 바로 본론으로 넘어갈 수 있겠지만, 다시 한번 뉴런 네트워크 아키텍처에 대해 언급하고 넘어가보자. 위의 사진은 간단한 뉴런 네트워크 아키텍처를 보여 준다. 각 3개의 입력 레이어의 요소와 4개의 히든 레이어를 통해  2개의 출력 레이어를 산출 한다. 실제 계산들은 히든 레이어에서 계산되며, 히든 레이어의 수에 따라 혹은 내부 요소의 개수에 따라 해당 뉴런 네트워크는 비교적 좀 더 정확한 결과물을 산출해 줄 수 있으나 뉴런 네트워크에서 중요한 이슈 중 하나인  계산 비용이 증가한다는 단점이 있다. 따라서 뉴런 네트워크를 가동할 하드웨어에 따라 적절한 히든 레이어의 개수와 요소의 개수를 결정하는 것이 뉴런 네트워크라는 전체 시스템의 최적화를 결정한다고 말할 수도 있다. (최적화는 활성화 함수에서도 가능하다.) 위의 사진은 히든 레이어 내부의 계산식을 보여 준다. 히든 레이어 내부에서는 입력 레이어의 각 요소들을 매개변수로 삼아  가중치(Weights)를 곱해 값을 더하고, 마지막에 편향(Bias)을 더해 하나의 뉴런을 완성 한다. 편향에 대해서는 이전에 기술 에세이에서 다룬바가 있다. 하지만 여기에 한 가지 더 과정을 거쳐야만 하는데 바로 이 계산한 뉴런 값을 실제 전체 뉴런 네트워크에 ...