라벨이 Computer Science인 게시물 표시

[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해

이미지
올해도 드디어 끝이 보이는 듯 싶다. 최근에 회사의 망년회를 끝내고 이래저래 회식이 늘어나는 듯 하다. 지금 시점에서는 개인적인 스케쥴도 마무리 되었기 때문에 이제는 여유롭게 연말을 즐기며 올해를 마무리 하려고 한다. 비교적 최근에 이사한 곳 근처의 스타벅스가 대학 병원 안에 있고 근처에 공원이 있어서 그런지 개를 대리고 산책하는 노인이나  아이를 동반한 가족이 눈에 띄게 보인다. 꽤나 좋은 곳으로 이사한듯 하다. 개인적으로는 올해 드디어 미루고 미루었던 이직을 하였고  그 이후에 비약적인 성장을 이루었으니  분명 안좋은 일도 있었지만 만족할 수 있는 해를 보내지 않았나 싶다. 내가 도달하려고 하는 곳으로 가려면 아직 갈길이 멀지만  궤도에 오른 것만으로도 큰 성과라면 큰 성과 일 것 이다. 어쨋든 이직하고 많은 일들을 맡게 되었는데 그 과정에서 나는 의도적으로 Chat GTP를 활용하고자 하였고 몇 가지 직감을 얻게 되었는데  이 중 한 가지를 글로 작성하려고 한다. 따라서 올해의 마무리 글은 Chat GTP에 대한 이야기로 마무리 하려고 한다. 서론 불과 약 10년전 IT업계는 원하던 원치 않던간에  한번의 큰 패러다임의 변화를 맞이해야만 했다 바로 아이폰의 등장에 따른 스마트폰의 시대의 도래와  이에 따른 IT업계의 패러다임 변화가 그것이다. 내 기억으로는 아주 격변의 시대였던 걸로 기억하는데 왜냐하면 게임은 물론이고 웹과 백신을 비롯한 모든 솔루션의 변화가 이루어졌다. 이 뿐만 아니라 가볍고 한손의 들어오는 이 디바이스는  그 당시에는 조금 비싸다는 인식이 있었지만  감추려고 해도 감출 수 없는 뛰어난 유용성으로 회의론을 금세 종식시켰고 이에 대한 결과로 어린아이 부터 노인 까지 작은 컴퓨터를 가지게 되었고 이는 당연하게도 IT업계의 전체적인 호황을 가져다주었다.  그리고 질서는 다시 한번 재정렬되었다. 이러한 패러다임의 변화의 증거로 언어 또한 변하게 되었는데...

[ Math, Computer Science, Machine Learning, NN ]교차 엔트로피(Cross Entropy)에 대해 : 뉴런 네트워크와 교차 엔트로피

이미지
이전 포스팅에서 엔트로피와 교차 엔트로피에 대한 이야기를 마무리지었고, 예측된 확률 분포와 실제 확률 분포가 같을 때 교차 엔트로피와 엔트로피의 값이 같아진다는 결론을 내렸다. 그렇다면, 실제로 뉴런 네트워크에서 사용하는 교차 엔트로피와 이전 포스팅에서 이야기했던 엔트로피에 대한 이야기를 해보자. 뉴런 네트워크의 교차 엔트로피 그렇다면 뉴런 네트워크의 교차 엔트로피는 무엇일까? 왜냐하면 이전 포스팅에서 다룬 교차 엔트로피는 엄밀히 말하면 정보통신쪽의 교차 엔트로피이기 때문이다. 물론 결론적으로 교차 엔트로피는  손실 함수에서 사용되고 있기 때문에  따로 논하지 않아도 비슷하다는 것은 추측이 가능하다. 재미있게도 정보 통신의 교차 엔트로피와  뉴런 네트워크의 교차 엔트로피가 차이 점은  일반적으로 로그 밑의 상수가 다르다. 통신은 비트로 이루어지기 때문에 0과1이며 이에 따라  밑 상수가 2가 되지만, 뉴런 네트워크는 일반적으로 그렇지 않다. 뉴런 네트워크에서는 비트를 나타내는 2가 아닌  밑 상수가 오일러 상수인 자연 로그를 사용 한다. 따라서 일반적인 뉴런 네트워크에서의 교차 엔트로피 방정식은  아래와 같은 수식으로 나타낼 수 있을 것이다. 뉴런 네트워크의 교차 엔트로피 방정식 그렇다면, 여기서 더 나아간다면  한 가지 의문점이 들 수 있을 것 이다. 왜 굳이 자연 로그를 사용하는 의문이다. 왜냐하면, 자연 로그를 사용하던, 밑이 2인 로그를 사용하던  계산은 문제 없이 산출 가능하고, 산출된 값이 틀린 것도 아니기 때문이다. 이에 대해 정확한 정보를 찾을 수는 없었기 때문에 확실하지는 않지만 아래와 같은 정보는 찾을 수 있었다. [1]   ① 단위의 차이일 뿐이며,  경우에 따라서 밑 상수가 2인 로그가 빠를 수 있다. (km/h와m/s의 차이 정도) ② 비용이 많이 부분은 교차 엔트로피의 계산이 아니기 때문에 크게 신경 쓸 부분은 아니다. 물론 일반적인 경우에...

[ Math, Computer Science, Machine Learning, NN ]교차 엔트로피(Cross Entropy)에 대해 : 기본 개념, 교차 엔트로피에 대한 이해

이미지
이전 까지 해서 엔트로피가 무엇이고, 이에 대한 이해를 위해 이야기를 나누어봤다. 이제는 본격적으로 이번 주제의 목표이기도 한  교차 엔트로피에 대한 이야기를 해보자. 교차 엔트로피에 대해 이전 포스트로 부터 엔트로피란, 정보량이기도 하지만 컴퓨터의 근본을 이루고 있는 단위인 비트이기도 하고 원문이 있고 이를 예와 아니요를 통해 원문을 알아내야 할때 이 원문을 하나 씩 보낸다고 했을 때의  원문 속의 하나를 얻어내기 위해 필요한 질문의 갯수  즉,  비트의 갯수 이기도 하다. 이에 랠프 하틀리는 이 값을 구할 수 있는 방정식을 제시 했고, 아래와 같은 방정식으로 이 비트의 갯수를 H로 했을때 이에 대한 값을 구할 수 있다. 하지만, 이는 어떤 사건에 대해 나올 수 있는 확률이 모두 동일 할 때 성립하는 방정식으로 이 때 최대의 엔트로피를 얻어낼 수 있다. 예컨데, 동전 던지기를 할 경우  앞면, 뒷면의 각각 50%일 경우에 성립 한다. 그렇기 때문에 어떤 사건에 대해 나올 수 있는 확률들이  상이한 현실 세계에서 이를 이용하기에는 무리가 있다. 이에 대해 클로드 섀넌은  정보의 불확실성에 대해 포인트를 잡고 해당 사건에 대한 평균 불확실성(엔트로피)를 구하는 방정식을  아래와 같이 제시 했다. 여기 까지가 이전 포스팅에서 다루었던 내용이다. 그렇다면 교차 엔트로피란 무엇일까? 사실 꽤 나 간단한 개념이다. 교차 엔트로피는 메세지의 길이에 대한 엔트로피를 의미 한다. 교차 엔트로피에 대한 이해 이전 엔트로피에서 사용한 예를 조금 바꿔서 산출 값을 간단하게 하기 위해 눈의 수가 6개가 아닌 눈의 수가 8개인 주사위를 던진다고 가정하고, 확률들도 정수 값들이 나오게끔 최대한 수정하겠다. 엘리스는 자신이 던진 주사위의 결과를 보내려한다. 정보 하나 당, 평균 몇 만큼의 비트를 보내야할까? 경우의 수가 8개 되니, 아래와 같이 꽉찬 3비트가 될 것이다. 1(000), 2(001), 3(010), 4(...

[ Math, Computer Science, Machine Learning, NN ]엔트로피(Entropy)에 대해 : 기본 개념, 엔트로피에 대한 이해

이미지
나는 손실 함수의 구현에 앞서  자료를 찾아보던 도중 손실 함수에는  교차 엔트로피라는 용어가 붙어 있는 경우가 많았다. 이에 대해 알아보려 했으나, 교차 엔트로피가 무엇 인지에 대해 찾아보기 힘들었기에 교차 엔트로피에 대한 것을 정리함과 동시에 이를 공유하려 한다. 교차 엔트로피에 대해 이야기를 나누어보기 전에 먼저 엔트로피에 대한 이해가 필요할 것이다. 그 후 교차 엔트로피에 대한 이야기를 하고, 이를 머신 러닝에서 어떻게 이용하고 있는지를 마지막으로 이번 주제에 대한 내용을 마무리 하려고 한다. 엔트로피의 기본 개념 나는 머신 러닝과 관련 없는 글을 작성할 때 엔트로피라는 말을 자주 사용 한다. 여기서 엔트로피는 해소되지 않기 때문에 쌓이고  최대로 팽창되었을 때 빅뱅과 같은 폭팔을 야기하는 어떤 음의 물체 즉, 리프킨 세계관의 엔트로피를 말한다. 이 손실 함수에서 사용하는 엔트로피는 조금 다르다. 이 엔트로피는 정보 통신 쪽의 개념으로 지금 사용되고 있는 엔트로피는  Claude Shannon 에 의해 제시된 개념이다. 재미있게도 새넌의 엔트로피는 열역학의 엔트로피와 동일한 면이 있다고 한다. 열역학의 엔트로피에서 파생된 것이  리프킨의 엔트로피 세계관이기도 하기 때문에 조금은 놀라웠다. 어쨋든 정보 통신에서의 엔트로피는  전달된 메시지의 가치는 메시지의 내용이  얼마나 놀라운지에 달려 있다는 것이다. 그렇기에 어떤 사건(이벤트)이 발생할 가능성이 낮은 경우  해당 이벤트가 발생 했거나 발생할 것임을 아는 것이 더 중요하다. 발생 확률이 1에 가깝다면, 가치(놀라움)는 낮아질 것이고 발생 확률이 0에 가깝다면, 가치(놀라움)는 높아 진다. 이는 당연하다고 한다면 당연할 것이다. 왜냐하면 내가 내일 저녁밥을 먹는다는 확률은 1에 가깝다. 하지만, 내가 내일 저녁밥을 먹지 않는다는 확률은  0에 가깝기 때문에  내가 내일 저녁밥을 먹지 않는다는 정보는 주위 사람들에게는 ...