라벨이 Loss Function인 게시물 표시

[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해 : 개발자의 미래에 대해

이미지
벌써 올해도 반쯤 지나 뜨거운 여름이 다가왔다. 굉장히 빠르게 지나간듯한 느낌이 드는데  아마 의미있는 시간을 보냈다는 이야기이기 때문에  그렇게 나쁜 신호는 아닐 것 이다. 괴로운 시간이였다면, 1초가 1년 같이 느껴졌을테니 말이다. 더위에 매우 약한 나에게 있어서는 지옥과 같은 시기이기도 하지만 늘 그렇던 것 처럼 에어컨 덕분에 어찌저찌 버틸 수 있을 것 같다. 어쨋든, 이번에는 저번의 에세이 주제, Chat GTP시대의 도래와 생각하는 방식에 대한 이야기에 이어서  과연 개발자의 미래는 어떻게 될 것인가에 대해 이야기를 나누어보려고 한다. 어쩌면 모두가 인식하고 있듯이 지금 2025년 현재,  꽤나 중요한 시기에 직면하고 있는지도 모른다. 왜냐하면, 생성AI의 발전 속도가 생각보다 빠르게 발전하고 있고,  그에 따라 실제 업무에서도 빠르게 사용되어지고 있기 때문이다. 이러한 상황에서 개발자에게 있어서 가장 두려운 점은  당연히 생성AI에 의해 개발자가 대체될 것 이라는 두려움일 것 이다. 이는 개발자에게만 한정된 이야기는 아니지만 말이다. 아마 필드에서 나와 같이 일하고 있거나  개발자로서 직업을 가지려는 생각이 있는 사람이라면  한번쯤은 생각해볼법한 주제라 생각 한다. 물론 미래가 정확히 어떻게 될 지는 알 수 없으나  이런 생각을 함으로써 몇 가지 힌트는 얻게 될지도 모르니  만약 얻게 된다면 미래에 대한 방향성을 조금이나마 올바른 쪽으로 돌릴 수 있을 것 이다. 이 글을 끝맽을 때는 조금이라도 힌트에 도달하기를 바란다. 과거의 역사 이러한 의문에 대한 해결책으로서 일반적으로 자주 사용하는 방법이 있다. 바로 역사를 보는 것 이다. 물론 이러한 역사를 해결책을 찾는거에 대한 전제조건은  우리가 '구 인류'라는 전제조건이 있었을 때 의미가 있다. 그러니깐 현대인도 기원전 8세기의 고대 로마인도  본질적으로 다르지 않다는 것을 인정해야만 한다. 예컨데...

[ Neural Network, Python, Loss Function ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 손실 함수의 구현

이미지
이전 포스트에서 손실 함수와 역전파에 대해 왜 필요한지에 대한 솔루션 관점에서 이야기를 해 봤다. 어느 정도 뉴런 네트워크에 대한 이미지가 잡히는듯 하다. 이제 본격적으로 손실 함수와 구현에 대한 이야기를 해보자. 손실 함수의 구현 먼저 손실 함수의 구현을 해보자. 손실 함수를 구현할 수 있다면, 앞서 구현했던 예측 값들이 잘 계산되어졌는지를  이 손실 함수에서 보여줄 것이다. 여기서 구현한 코드가 정말로 잘 구현되었는지는  같은 input으로 구글의 tensorflow의 Keras에서 제공하는 모듈로 이진 교차 엔트로피와 범주형 교차 엔트로피의 결과물과 다른지를 확인해 구현이 올바른지를 증명하려고 한다. 또한 샘플 데이터로 사용하고 있는 실제 확률 분포가 일반적인 행렬로 되어있지 않고, 10진수로 표현되어 있는다. 예컨데, 아래와 같이 분류가 되어 있다고 가정해보자. 1은 고양이, 2는 개, 3은 새, 4는 소와 같이 분류하였다. 이를 ont hot encoding화 하면 아래와 같다. 즉, one hot encoding은 분류를 이진화 하는 것이라 말할 수 있다.   내가 이용하는 데이터는 이 처럼 이진화 되어있지 않아 정확히 수식 그대로 사용할 수 없기 때문에 이 계산하기 위한  convertY_true 클래스를 추가해 one hot encoding 처리를 하는 함수를 추가 했다. 이항 교차 엔트로피의 구현 기존 구현에서 추가된 코드는 아래와 같다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 class  Loss:      def  BCE_calculate( self , output, y):          #상속 받은 이진 교차 엔트로피를 ...

[ Neural Network, Python, Loss Function, Back Propagation ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 손실 함수와 역전파에 대해

이미지
다음으로 손실 함수와  역전파 알고리즘에 대해 이야기를 나누어보자. 이전 포스트에서 이야기한바와 같이  손실 함수는 비용 함수는 사실상 같은 의미로 사용되어지고 있다. 나는 처음에 비용 함수를 선호했으나, 한국어에서는 손실 함수 쪽이 좀 더 의미가 정확하게 전달되기 때문에  이 후 비용 함수를 손실 함수 쪽으로 부르기로 하겠다. 이런 예측한 순전파에 대한 오류률을 나타내는  손실 함수 그리고 역전파까지 구현까지 가능하다면, 이제 기본적인 뉴런 네트워크 아키텍처를 구축했다고 볼 수 있을 것이다. 순(방향)전파를 진행해 예측 값을 얻어내고  손실 함수와 역전파를 이용해 오류률이 최소화된  값으로 각 노드를 최적화 해준다면  더 높은 정확도를 가지게 될 것이며 이로서 정말로 우리가 알고 싶은 판단을  머신 러닝이라는 의미대로 0과 1로 이루어진 기계가 내려주게 될 것이다. 이런 과정을 통해 최종적으로는  이 사진이 고양이인지 사람인지 등의 판단이 가능해지는 것 이다. 다만, 여기서 이야기하고 다루고자하는 내용은  자세한 수학적인 내용까지는 하지 않고, 이 솔루션이 왜 필요하게 되었는지를 중심으로 이야기할 것 이다. 수학적인 내용 과거 나의  Machine Learning by Andrew Ng 라벨을  의 포스트들을 참고하거나 나의 포스트 보다 훌륭한  다른 사람들이 작성한 포스트를 참고하기를 바란다.   그렇다면 이제 본격적으로 이야기를 시작해보자. 순전파를 통해 예측값을 구했지만.. 앞서 우리는 입력 데이터로 예측 값을 구하고,  여기에 활성화 함수까지 더해  순전파를 통해 최적화된 값을 구할 수 있었다. 하지만,  이 값이 정말로 잘 계산된 값이라고 할 수 있을까? 이를 검증하지 않는다면, 그리고 이 검증 값을 기반으로 개선이 이루어지지 않는다면 이 뉴런 네트워크라는 것은 결국  신뢰성이 떨어질...