[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해 : 개발자의 미래에 대해

이미지
벌써 올해도 반쯤 지나 뜨거운 여름이 다가왔다. 굉장히 빠르게 지나간듯한 느낌이 드는데  아마 의미있는 시간을 보냈다는 이야기이기 때문에  그렇게 나쁜 신호는 아닐 것 이다. 괴로운 시간이였다면, 1초가 1년 같이 느껴졌을테니 말이다. 더위에 매우 약한 나에게 있어서는 지옥과 같은 시기이기도 하지만 늘 그렇던 것 처럼 에어컨 덕분에 어찌저찌 버틸 수 있을 것 같다. 어쨋든, 이번에는 저번의 에세이 주제, Chat GTP시대의 도래와 생각하는 방식에 대한 이야기에 이어서  과연 개발자의 미래는 어떻게 될 것인가에 대해 이야기를 나누어보려고 한다. 어쩌면 모두가 인식하고 있듯이 지금 2025년 현재,  꽤나 중요한 시기에 직면하고 있는지도 모른다. 왜냐하면, 생성AI의 발전 속도가 생각보다 빠르게 발전하고 있고,  그에 따라 실제 업무에서도 빠르게 사용되어지고 있기 때문이다. 이러한 상황에서 개발자에게 있어서 가장 두려운 점은  당연히 생성AI에 의해 개발자가 대체될 것 이라는 두려움일 것 이다. 이는 개발자에게만 한정된 이야기는 아니지만 말이다. 아마 필드에서 나와 같이 일하고 있거나  개발자로서 직업을 가지려는 생각이 있는 사람이라면  한번쯤은 생각해볼법한 주제라 생각 한다. 물론 미래가 정확히 어떻게 될 지는 알 수 없으나  이런 생각을 함으로써 몇 가지 힌트는 얻게 될지도 모르니  만약 얻게 된다면 미래에 대한 방향성을 조금이나마 올바른 쪽으로 돌릴 수 있을 것 이다. 이 글을 끝맽을 때는 조금이라도 힌트에 도달하기를 바란다. 과거의 역사 이러한 의문에 대한 해결책으로서 일반적으로 자주 사용하는 방법이 있다. 바로 역사를 보는 것 이다. 물론 이러한 역사를 해결책을 찾는거에 대한 전제조건은  우리가 '구 인류'라는 전제조건이 있었을 때 의미가 있다. 그러니깐 현대인도 기원전 8세기의 고대 로마인도  본질적으로 다르지 않다는 것을 인정해야만 한다. 예컨데...

[ Math, Computer Science, Machine Learning, NN ]교차 엔트로피(Cross Entropy)에 대해 : 뉴런 네트워크와 교차 엔트로피


이전 포스팅에서 엔트로피와 교차 엔트로피에 대한 이야기를 마무리지었고,

예측된 확률 분포와 실제 확률 분포가 같을 때
교차 엔트로피와 엔트로피의 값이 같아진다는 결론을 내렸다.

그렇다면, 실제로 뉴런 네트워크에서 사용하는 교차 엔트로피와
이전 포스팅에서 이야기했던 엔트로피에 대한 이야기를 해보자.

뉴런 네트워크의 교차 엔트로피


그렇다면 뉴런 네트워크의 교차 엔트로피는 무엇일까?

왜냐하면 이전 포스팅에서 다룬 교차 엔트로피는
엄밀히 말하면 정보통신쪽의 교차 엔트로피이기 때문이다.

물론 결론적으로 교차 엔트로피는 
손실 함수에서 사용되고 있기 때문에 
따로 논하지 않아도 비슷하다는 것은 추측이 가능하다.

재미있게도 정보 통신의 교차 엔트로피와 
뉴런 네트워크의 교차 엔트로피가 차이 점은 
일반적으로 로그 밑의 상수가 다르다.

통신은 비트로 이루어지기 때문에 0과1이며 이에 따라 
밑 상수가 2가 되지만, 뉴런 네트워크는 일반적으로 그렇지 않다.

뉴런 네트워크에서는 비트를 나타내는 2가 아닌 
밑 상수가 오일러 상수인 자연 로그를 사용 한다.

따라서 일반적인 뉴런 네트워크에서의 교차 엔트로피 방정식은 
아래와 같은 수식으로 나타낼 수 있을 것이다.

뉴런 네트워크의 교차 엔트로피 방정식

그렇다면, 여기서 더 나아간다면 
한 가지 의문점이 들 수 있을 것 이다.

왜 굳이 자연 로그를 사용하는 의문이다.

왜냐하면, 자연 로그를 사용하던, 밑이 2인 로그를 사용하던 
계산은 문제 없이 산출 가능하고, 산출된 값이 틀린 것도 아니기 때문이다.

이에 대해 정확한 정보를 찾을 수는 없었기 때문에
확실하지는 않지만 아래와 같은 정보는 찾을 수 있었다.[1] 

① 단위의 차이일 뿐이며, 
경우에 따라서 밑 상수가 2인 로그가 빠를 수 있다.
(km/h와m/s의 차이 정도)

② 비용이 많이 부분은 교차 엔트로피의 계산이
아니기 때문에 크게 신경 쓸 부분은 아니다.

물론 일반적인 경우에는 
오일러 상수 쪽이 미세하게 빠를 수 있다고 한다.

또한 밑 수를 2나 오일러 상수 가 아니더라도 
어떻게 하던 크게 상관 없다고 한다.

내가 생각하기에는 아마 해당 학계의 관습인 것 같으므로
이에 대해서는 이 이상 파고들 필요가 없을 것이라 생각된다.

특별히 이유 없이 사용되는 것이 있다면,
대부분 학계 관습이 였기 때문이다.

뉴런 네트워크의 교차 엔트로피에 대한 이해


그렇다면, 어째서 뉴런 네트워크에서
이 교차 엔트로피를 그대로 사용할 수 있게 되었을까?

왜냐하면 해당 패턴의 데이터가 무엇을 가르키는지는 
가지고 있는 데이터에서 이미 알고 있기 때문이다.

이전 포스팅의 수식을 본다면 조금 이해가 빠를 것이라 생각 된다.

뉴런 네트워크의 교차 엔트로피 방정식


즉, 위의 방정식으로 설명하자면 
순 방향 전파를 통해 각 노드에 대한 예측 값을 산출하는 것이 q이며,
가지고 있는 확실한 데이터는 p의 값이 되기 때문이다.

따라서 주어진 조건이 같기 때문에 
뉴런 네트워크에서 사용 할 수 있게 되었다고 생각 한다.

우연은 아니리라 생각 된다.

교차 엔트로피에서 필요한 입력 값은 확률 분포로 된 예측 값과 실제 값이다.

예측된 값은 순방향 전파에서 산출되며,
실제 값은 현실의 수 많은 데이터가 제공해주기 때문에
교차 엔트로피를 뉴런 네트워크에서 사용할 수 있다고 생각하고 있다.

뉴런 네트워크 아키텍처의 예


위의 화면과 같이 고양이 사진을 
뉴런 네트워크에 입력 층으로서 넣었다고 가정해보자.

또한 이 뉴런 네트워크는 활성화 함수로 
정규화를 통해 각 확률 분포의 합이 1이 되게 하는 소프트 맥스를 사용하고 있다고 해보자.

그렇다고 했을 때, 
출력 층에 합이 0.5 0.2 0.2 0.1 값이 산출될 수 있을 것이며
아니더라도 합이 1인 값들이 확률 분포로 나타날 것이다.

그 경우 아래와 같이 표현할 수 있을 것이다.


입력 레이어와 히든 레이어로부터 나온 출력 층의 분포는 
방정식의 예측된 분포 p가 되고

훈련 데이터로부터 얻은 실제 분포는
방정식의 실제 분포 q가 된다.

결국 뉴런 네트워크는 예측된 분포와 실제 분포를 가지고 있기 때문에
정보통신의 엔트로피에 대한 개념을 가져다 쓸 수 있는 것이다.

마치며

몇 개의 포스팅에 거쳐 
엔트로피와 교차 엔트로피에 대해 살펴봤다.

조금은 직감을 얻었길 바란다.

생각하면 생각할 수록 교차 엔트로피는 
뉴런 네트워크를 위한 개념인 것 처럼 보인다.

물론 정보통신의 개념이지만, 
뉴런 네트워크에 활용할 수 있다는 사실이 흥미 롭다.

이제 정말로 2가지의 손실 함수를 구현해 보자.











이 블로그의 인기 게시물

[ Web ] 웹 애플리케이션 아키텍처 (Web Application Architecture)

[ Web ] 서버 사이드(Sever Side) ? 클라이언트 사이드(Client Side)? 1 [서론, 클라이언트 사이드(Client Side)]

[ Web ] 웹 애플리케이션 서버 아키텍처의 정의 및 유형 ( Define and Types of Web Application Server Architecture )