뉴런 네트워크를 구현하기 앞서서
먼저 Python에서 실제로 어떻게 뉴런 네트워크를 표현하는가에 대해
확인해 볼 필요가 있다.
왜냐하면
내가 이전에 배울 때 사용했던 것은
Octave라는 툴 이지만 이것 자체로는 애플리케이션을 만들 수 없다.
따라서 뉴런 네트워크가 Python에서 어떻게 표현되는지에 대해
먼저 확인하고 넘어가보자.
Python에서는 뉴런 네트워크에 대한
훌륭한 라이브러리들이 많다고 하니 기대해봄직하다.
바로 본론으로 넘어갈 수 있겠지만,
다시 한번 뉴런 네트워크 아키텍처에 대해 언급하고 넘어가보자.
위의 사진은 간단한 뉴런 네트워크 아키텍처를 보여 준다.
각 3개의 입력 레이어의 요소와 4개의 히든 레이어를 통해
2개의 출력 레이어를 산출 한다.
실제 계산들은 히든 레이어에서 계산되며,
히든 레이어의 수에 따라 혹은 내부 요소의 개수에 따라
해당 뉴런 네트워크는 비교적 좀 더 정확한 결과물을 산출해 줄 수 있으나
뉴런 네트워크에서 중요한 이슈 중 하나인
계산 비용이 증가한다는 단점이 있다.
따라서 뉴런 네트워크를 가동할 하드웨어에 따라
적절한 히든 레이어의 개수와 요소의 개수를 결정하는 것이
뉴런 네트워크라는 전체 시스템의 최적화를 결정한다고 말할 수도 있다.
(최적화는 활성화 함수에서도 가능하다.)
위의 사진은 히든 레이어 내부의 계산식을 보여 준다.
히든 레이어 내부에서는
입력 레이어의 각 요소들을 매개변수로 삼아
가중치(Weights)를 곱해 값을 더하고, 마지막에 편향(Bias)을 더해
하나의 뉴런을 완성 한다.
편향에 대해서는 이전에 기술 에세이에서 다룬바가 있다.
하지만 여기에 한 가지 더 과정을 거쳐야만 하는데
바로 이 계산한 뉴런 값을 실제 전체 뉴런 네트워크에
반영을 할 것인지, 하지 않을 것인지를 결정할 필요가 있다.
이 역할을 활성화 함수(Active Fucntion)라고 부르는 장치에서 결정한다.
물론 활성화 함수를 사용하게 된다면,
전체적인 뉴런 네트워크를 이해하는데 있어서 가독성이 떨어질 수 있으나
활성화 함수가 있고 없고에 따라
계산 비용이 눈에 띄게 감소하기 때문에 필요하다.
이 활성화 함수에 대해서도 이전 기술 에세이에서 언급한 바가 있다.
이 과정을 거친다면
한 히든 레이어의 한 개의 요소
즉, 히든 레이어 속의 한 개의 뉴런(요소) 또는
출력 레이어의 한 개의 뉴런(요소)를 산출해내었다고 할 수 있다.
단층 퍼셉트론(Single Layer Perceptron, SLP)에 대해
실제 코드로 들어가기전에
퍼셉트론에 대한 개념을 살펴보지 않을 수가 없다.
왜냐하면
뉴런 네트워크 아키텍처가 단 하나의 출력 요소를 가지느냐,
아니면 다수의 출력 요소를 가지느냐에 따라 다르기 때문이다.
그렇다면 먼저 단층 퍼셉트론,
약자로 SLP이라는 것에 대해 먼저 살펴보자.
다만, 이어서 설명하려고 하는
다층 퍼셉트론에서도 마찬가지 이지만
가급적 수식은 나타내지 않으려고 한다.
단층 퍼셉트론은 단 하나의 입력 레이어안의 요소로 부터
단 하나의 출력 뉴런이 산출되는 것을 말한다.
위의 두 번째로 언급되었던 사진
이 단층 퍼셉트론을 나타낸다.
단층 퍼셉트론일 경우,
만약 입력 레이어가 4개의 요소를 가지고 있다면,
4개의 가중치라고 불리우는 값들이 계산되고, 마지막에 편향을 더해
하나의 산출된 뉴런을 가지고 있는
단층 퍼셉트론이 계산된다.
단층 퍼셉트론의 특징으로는
히든 레이어가 필요 없다는 점이다.
물론 여기의 예는 활성화 함수를 고려하지 않았기 때문에
실제 뉴런 네트워크와는 거리가 조금 멀다.
단층 퍼셉트론의 코드 표현
이제 실제로
임의의 입력 레이어, 가중치, 편향을 설정해
이 단층 퍼셉트론을 얻어내보자.
코드는 아래와 같다.
| inputs = [1.5, 4.1, 7.1, 3.5] weights = [3.1, 2.1, 8.7, -3.2] bias = 3 outputs = inputs[0]*weights[0] + inputs[1]*weights[1] + inputs[2]*weights[2] + inputs[3]*weights[3] + bias print(outputs) | cs |
위의 코드를 실행해보면
아래와 같은 결과물을 얻을 수 있다.
다만, 위의 결과물은 단순한 단층 퍼셉트론으로
실제로는 활성화 함수와 역전파 처리까지 완료해야만 한다.
다층 퍼셉트론(Multiple-Layer Perceptron, MLP)에 대해
다층 퍼셉트론은 첫번째로 언급된 사진과 같은 형태이다.
다층 퍼셉트론이 실제로
뉴런 네트워크라고 불려지는 아키텍처이다.
특징으로는 중간에 히든 레이어가 새로 나타나며,
여기서 단층 퍼셉트론에서 계산된 것과 유사하게
여러번 계산되어 지며,
마지막에 설계한 출력 레이어의 요소가 산출 된다.
따라서 단층 퍼셉트론과 다르게
각 노드마다 고유의 가중치 값들이 필요로 하며,
이에 따라 비용은 더욱 증가하게 되지만,
좀 더 신뢰도(정확성)가 있는 산출물을 얻을 수 있다.
다층 이라고 하면
뭔가 많은 처리가 추가될 것 처럼 생각되지만
실제로는 그렇지 않으며,
각 노드를 산출하기 위한
가중치 값들이 노드의 수 만큼 추가되어야 한다.
단층 퍼셉트론은 하나의 노드를 출력하는 것이기 때문에
가중치 배열이 하나 필요했을 뿐이다.
위의 사진은 다층 퍼셉트론의 뉴런 네트워크를 보여준다.
단층과 차이점은 히든 레이어가 추가되고,
히든 레이어를 계산하는 편향이 추가 되었다.
즉,
이에 따라 W2라는 새로운 가중치 값들과
Bias2라는 새로운 편향이 추가되었다.
다층 퍼셉트론에서 먼저 매개변수로
3개의 입력, 2개의 가중치 집합이 필요하고,
계산의 결과물인 출력 변수가 또한 필요할 것이다.
위의 뉴런 네트워크 아키텍처를 구현은 아래와 같다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | inputs = [3, 1, 5.5] weights11 = [0.3, 0.4, -0.7] weights12 = [0.5, -0.33, -0.26] weights13 = [-0.26, -0.57, 0.57] weights14 = [0.7, -0.22, 0.43] weights21 = [0.5, -0.3, -0.2, 0.4] weights22 = [0.33, -0.33, -0.34, 0.2] bias1 = 2 bias2 = 3 h_node = [inputs[0]*weights11[0] + inputs[1]*weights11[1] + inputs[2]*weights11[2] + bias1, inputs[0]*weights12[0] + inputs[1]*weights12[1] + inputs[2]*weights12[2] + bias1, inputs[0]*weights13[0] + inputs[1]*weights13[1] + inputs[2]*weights13[2] + bias1, inputs[0]*weights14[0] + inputs[1]*weights14[1] + inputs[2]*weights14[2] + bias1] outputs = [h_node[0]*weights21[0] + h_node[1]*weights21[1] + h_node[2]*weights21[2] + h_node[3]*weights21[3] + bias2, h_node[0]*weights22[0] + h_node[1]*weights22[1] + h_node[2]*weights22[2] + h_node[3]*weights22[3] + bias2] print(outputs) | cs |
코드를 실행한다면
아래와 같은 결과물을 얻을 수 있다.
이에 따라
뉴런 네트워크 아키텍처에 맞게
코드를 매칭해본다면 아래와 같이 표현될 것이다.
마치면서
이렇게 해서 Python에서
단층, 다층 퍼셉트론의 가장 기본적인 표현 방법을 알아 봤다.
지금까지 살펴본 코딩 방식은
코드 이해를 돕기 위해
가장 원시적인 코딩 방식으로 진행 했기 때문에
다소 코드가 어지럽다는 사실에 대해서는 인정 한다.
활성화 함수와 역전파 또한 고려하지 않은 코드이다.
조금은 뉴런 네트워크 이해에 대해 도움이 되었길 바란다.
그렇다면 다음으로 이제 본격적으로
Python에서 제공하는 라이브러리를 사용하고,
조금 코드를 최적화해
이번에 설계한 가장 기본적이라고 할 수 있는
뉴런 네트워크를 사용해
간단한 코드 최적화와 라이브러리를 이용해 구현하는 것에 대해
이야기를 나누어보자.
2021.09.23 초안 작성 및 개행 완료
2021.09.24 다층 퍼셉트론 코드 수정
