라벨이 Python인 게시물 표시

[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해

이미지
올해도 드디어 끝이 보이는 듯 싶다. 최근에 회사의 망년회를 끝내고 이래저래 회식이 늘어나는 듯 하다. 지금 시점에서는 개인적인 스케쥴도 마무리 되었기 때문에 이제는 여유롭게 연말을 즐기며 올해를 마무리 하려고 한다. 비교적 최근에 이사한 곳 근처의 스타벅스가 대학 병원 안에 있고 근처에 공원이 있어서 그런지 개를 대리고 산책하는 노인이나  아이를 동반한 가족이 눈에 띄게 보인다. 꽤나 좋은 곳으로 이사한듯 하다. 개인적으로는 올해 드디어 미루고 미루었던 이직을 하였고  그 이후에 비약적인 성장을 이루었으니  분명 안좋은 일도 있었지만 만족할 수 있는 해를 보내지 않았나 싶다. 내가 도달하려고 하는 곳으로 가려면 아직 갈길이 멀지만  궤도에 오른 것만으로도 큰 성과라면 큰 성과 일 것 이다. 어쨋든 이직하고 많은 일들을 맡게 되었는데 그 과정에서 나는 의도적으로 Chat GTP를 활용하고자 하였고 몇 가지 직감을 얻게 되었는데  이 중 한 가지를 글로 작성하려고 한다. 따라서 올해의 마무리 글은 Chat GTP에 대한 이야기로 마무리 하려고 한다. 서론 불과 약 10년전 IT업계는 원하던 원치 않던간에  한번의 큰 패러다임의 변화를 맞이해야만 했다 바로 아이폰의 등장에 따른 스마트폰의 시대의 도래와  이에 따른 IT업계의 패러다임 변화가 그것이다. 내 기억으로는 아주 격변의 시대였던 걸로 기억하는데 왜냐하면 게임은 물론이고 웹과 백신을 비롯한 모든 솔루션의 변화가 이루어졌다. 이 뿐만 아니라 가볍고 한손의 들어오는 이 디바이스는  그 당시에는 조금 비싸다는 인식이 있었지만  감추려고 해도 감출 수 없는 뛰어난 유용성으로 회의론을 금세 종식시켰고 이에 대한 결과로 어린아이 부터 노인 까지 작은 컴퓨터를 가지게 되었고 이는 당연하게도 IT업계의 전체적인 호황을 가져다주었다.  그리고 질서는 다시 한번 재정렬되었다. 이러한 패러다임의 변화의 증거로 언어 또한 변하게 되었는데...

[ Neural Network, Python] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 뉴럴 네트워크의 모듈(객체)화

이미지
이전 포스팅에서 오류률을 최소화하기 위해서 역전파를 구현해 수직, 나선 분포 데이터의 테스트 까지 완료하였다. 물론 여기서 끊을 수도 있겠지만, 좀 더 욕심을 내서 모듈화(객체화)까지 완성해보자. 현재 코드의 가장 큰 문제점은  하드 코딩으로 레이어와 활성화 함수를 고정 시켰다는 점에 있다. 좋은 코드가 되기 위해서는 레이어의 선택과 활성화 함수 선택까지 할 수 있어야 하며 코드 또한 간결할 필요가 있다. 이번에는 코드의 최적화를 하여, 레이어 생성 부터 시작해 최적화(역전파)를 비롯한 전체 과정을 객체로 불러올 수 있게 최적화 해보자. 이것으로 꽤 나 길었던 포스팅이 끝이 날 것이다. 레이어의 모듈화 이번 모듈화는 따로 소스 파일 까지 분리 하였다. 먼저 레이어에 관련된 소스 코드의 모듈화다. 1 2 3 4 5 6 7 8 9 10 #layer.py class  Layer:      def  __init__( self ):          pass        def  forward( self ):          pass        def  backward( self ):          pass cs 이 파일은 단순히 상속하기 위한 코드이다. 대부분 파일에서 사용한다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 #layer_dense.py from  layer  import  Layer import  numpy...

[ Neural Network, Python, Back Propagation ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 역전파의 구현, 테스트(수직, 나선 분포 데이터)

이미지
손실 함수의 구현으로 활성화 함수 계산을 추가한 예측 값이 얼마 만큼의 오류를 가지고 있는 지에 대한 평균 값을 얻을 수 있었다. 그 다음은 역전파를 구현할 차례이다. 이번 포스팅의 코드들은 모듈화 되지 않은  날것에 가까운 코드 이기 때문에 정렬되어 있지 않다. 이 포스팅 다음에 모듈화를 진행할 예정이다. 역전파에 대해  앞서 이야기 했듯이  손실을 구했다면, 당연히 예측 값을 조절해  최대한 손실이 없게 끔 만들어야 한다. 어떻게 해야될까? 가장 일반적인 방법은 가중치를 미세하게 조절하면서 손실 함수가 최소화 될 때 까지 반복하는 것이다.  즉, 상수 값인 기울기(가중치)를 조절하는 것이다. 역전파 프로세스는  활성화 함수에서의 역전파(backward) 단계에서는  순방향 전파에서 계산한 값을 가지고  가중치와 편향을 미세 조절 하기 위한 가중치(gradient)를 결정 한다. 레이어의 역전파(backward) 단계에서 이 가중치를 레이어에서 넘겨 받아 이 값을 가지고 레이어가 가지고 있는 가중치와 편향을 업데이트 한다. 역전파는 말 그대로 역으로 값을 전달하며  진행되기 때문에 연쇄 법칙(Chain Rule)이라고도 한다. 다만 이전 과정에서 구현했던 활성화 함수, 손실 함수를 포함해  레이어의  역전파를 구현해야 하기 때문에  수식에 대한 더 많은 이해와  이전 보다 더 많은 코드 추가가 필요할 것 이다.  그렇기에 구현 하는데 있어서 예상보다 시간이 소모되었기에  역전파의 구현은 활성화 함수는 ReLu, Softmax를 그리고 손실 함수는 범주형 교차 엔트로피(Categorical Cross Entropy,CCE)만을  포스팅 할 예정이다. 차후에 이진 교차 엔트로피와 다른 활성화 함수에 대한  역전파 구현은 차후에 수학적인 내용에 들어갈때 같이 구현하기로 하겠다. 그렇다면 역전파라는 말대로, 반대로 타...