[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해

이미지
올해도 드디어 끝이 보이는 듯 싶다. 최근에 회사의 망년회를 끝내고 이래저래 회식이 늘어나는 듯 하다. 지금 시점에서는 개인적인 스케쥴도 마무리 되었기 때문에 이제는 여유롭게 연말을 즐기며 올해를 마무리 하려고 한다. 비교적 최근에 이사한 곳 근처의 스타벅스가 대학 병원 안에 있고 근처에 공원이 있어서 그런지 개를 대리고 산책하는 노인이나  아이를 동반한 가족이 눈에 띄게 보인다. 꽤나 좋은 곳으로 이사한듯 하다. 개인적으로는 올해 드디어 미루고 미루었던 이직을 하였고  그 이후에 비약적인 성장을 이루었으니  분명 안좋은 일도 있었지만 만족할 수 있는 해를 보내지 않았나 싶다. 내가 도달하려고 하는 곳으로 가려면 아직 갈길이 멀지만  궤도에 오른 것만으로도 큰 성과라면 큰 성과 일 것 이다. 어쨋든 이직하고 많은 일들을 맡게 되었는데 그 과정에서 나는 의도적으로 Chat GTP를 활용하고자 하였고 몇 가지 직감을 얻게 되었는데  이 중 한 가지를 글로 작성하려고 한다. 따라서 올해의 마무리 글은 Chat GTP에 대한 이야기로 마무리 하려고 한다. 서론 불과 약 10년전 IT업계는 원하던 원치 않던간에  한번의 큰 패러다임의 변화를 맞이해야만 했다 바로 아이폰의 등장에 따른 스마트폰의 시대의 도래와  이에 따른 IT업계의 패러다임 변화가 그것이다. 내 기억으로는 아주 격변의 시대였던 걸로 기억하는데 왜냐하면 게임은 물론이고 웹과 백신을 비롯한 모든 솔루션의 변화가 이루어졌다. 이 뿐만 아니라 가볍고 한손의 들어오는 이 디바이스는  그 당시에는 조금 비싸다는 인식이 있었지만  감추려고 해도 감출 수 없는 뛰어난 유용성으로 회의론을 금세 종식시켰고 이에 대한 결과로 어린아이 부터 노인 까지 작은 컴퓨터를 가지게 되었고 이는 당연하게도 IT업계의 전체적인 호황을 가져다주었다.  그리고 질서는 다시 한번 재정렬되었다. 이러한 패러다임의 변화의 증거로 언어 또한 변하게 되었는데...

[ Essay - Technology, Neural Network, IT, Math] 왜 뉴런 네트워크에서 편향(bias)이 필요한가?



일반적으로 Input으로 부터 시작해 
히든 레이어를 거쳐, 
Output의 값을 추출해 내는 것이 뉴런 네트워크이다.

새로운 토이 프로젝트에 진행하기 앞서
나는 우선 Python에서 뉴런 네트워크가 어떻게 
표현되는지에 대해 알아야 할 필요가 있었고,
이에 대한 튜토리얼을 포함해 
과거에 배웠던 이론들과 연결시키는 작업을 하고 있었다.

그런 도중,
나는 갑자기 편향(Bias)값에 대해 의문점이 들었다.

왜 편향 값이 필요할까에 대한 의문이다.

물론 그런 것은 그냥 넘어 갈 수도 있다.

엄밀히 말하면 
이런 의문들은 단순한 개발자로서는 필요 없다.

하지만 이는 탐구하는 것을 좋아하는 
나의 입장에서는 무척이나 중요한 일이다.

그렇기에 
이번에는 좀 더 나아가기에 앞서
이 편향(Bias)이라는 것이 왜 필요한지에 대해 이야기를 해보자.

편향에 대한 정의


한 가지 알아야할 것은 편향은 
뉴런 네트워크에서 나온 용어가 아니라는 점일 것이다.

정확히 말하면,
이 편향이라는 개념은 뉴런 네트워크 이론이 
대수학(Generic Algebra)에서 차용해온 용어(Term)로서
뉴런 네트워크만의 개념은 아니다.

위키피디아 영문판에 따르면 통계에서 사용하는 
편향에 대해 아래와 같이 설명한다.


Statistical bias is a feature of a statistical technique or 
of its results 
통계적 편향은 통계적 기법 또는 통계의 결과에 대한 
특징(feature)로서
where by the expected value of the results differs 
실제 정량적인 매개변수와 다르게 
from the true underlying quantitative parameter being estimated
결과의 예상 값이 추정하는 것을 말한다.

즉, 명확히 정략적으로 표현되는 것이 아닌 추정 값이라는 이야기 이다.

뉴런 네트워크에서 편향은 왜 필요한가?


뉴런 네트워크에서 편향이 필요한 이유는 비교적 간단하다.

뉴런 네트워크는 학습해야하기 때문이다.

뉴런 네트워크는 행동한 후 학습을 거쳐, 
후에 더욱 정확한 판단을 하기 위해 이를 수치로 반영할 필요가 있다.

마치 인간이 어떠한 행동을 하고 
이를 행동에 반영하는 것 처럼 말이다. 

뉴런 네트워크에서는 이런 수치의 반영은 
순방향 전파와 역 전파에서 하고 있다.

편향은 이러한 뉴런 네트워크에서 
다음에 더욱 정확한 판단을 하기 위해 
즉, 수치를 반영할 때의 장치이다.

결국 뉴런 네트워크에서 가장 핵심은 
수 많은 데이터들을 판단할 '선'을 결정하는 것이다.

편향은 이런 값을 반영해 선의 위치를 결정하는 역할을 한다.

내가 참고한 오버스텍플로우의 스레드에서 
이에 대한 애니메이션을 누군가 공유했는데 
이를 살펴본다면 궁금증에 대한 해결에 가까워 질 것이라 기대한다.

차례대로 ReLU에서 편향이 없을때와 있을 때를 보여준다.



위에 애니메이션에서 나타나듯이 
편향이 없다면 (0,0)에서 벗어 날 수 없다.

즉, 편향이 없다면 
데이터들을 나누는 '선'을 결정할 때 
(0,0)에 벗어날 수 없기 때문에 
자유롭게 선을 결정할 수 없으므로
그 만큼 뉴런 네트워크의 퍼포먼스는 떨어질 수 밖에 없다.

따라서 편향을 사용하게 된다면
'선'을 더욱 다양하게, 더욱 복잡한 상황에서도 
그릴 수 있기 때문에 사용하지 않는 것 보다
편향을 사용하는 것이 퍼포먼스에 있어서 중요하다는 
결론을 내려볼 수 있다.

결론


결론적으로 
뉴런 네트워크에서 편향(bias)은 필요하다.

물론 필수는 아니지만,
더 좋은 것이 있고, 더 퍼포먼스가 뛰어난 것이 있는데 
굳이 사용하지 않는다는 것은 이해하기가 힘들다.

그렇지 않은가?

올바른 비유일지는 모르겠으나

밥을 먹을 때, 앞에 숟가락이 놓여져 있는데
굳이 손으로 집어먹을 이유는 없다.

서양으로 비유하자면
내 앞에 나이프가 놓여져 있는데
굳이 사용하지 않고 스테이크를 먹을 이유는 특별히 없다는 것이다.

뉴런 네트워크에 대한 이해가 깊어졌기를 바란다.






2021.09.04 초안 작성 및 개행 완료 




이 블로그의 인기 게시물

[ Web ] 웹 애플리케이션 아키텍처 (Web Application Architecture)

[ Web ] 서버 사이드(Sever Side) ? 클라이언트 사이드(Client Side)? 1 [서론, 클라이언트 사이드(Client Side)]

[ Web ] 웹 애플리케이션 서버 아키텍처의 정의 및 유형 ( Define and Types of Web Application Server Architecture )