라벨이 Neural Network인 게시물 표시

[ Essay - Technology ] 바이브 코딩의 허와 실

이미지
지금 우리는 가히 AI 시대라는 패러다임의 전환에 시대에 살고 있다고 해도 과언이 아니다. 특히, IT 업계에서 대다수의 작업량을 차지하는 프로그래밍의 영역에서 생성 AI를 이용한 생산성 향상의 가능성이 보이면서 어느 분야보다 가장 빠르게 괄목적인 성과를 이루고 있는듯 하다. 고작 몇 년전에는 커서에 의해 프로그래밍을 AI에게 프로그래밍을 위임하는 것이 더 나을 수 있다는 것이 어느정도 증명되면서, 작년에는 Claude Code의 영향으로 인해 이러한 이슈가 좀 더 가속화되지 않았나 싶다. 이러한 굉장히 빠르게 이루어지고 있는 생성형 AI 솔루션의 발달은 개발자의 종말론을 더더욱 부각시키면서 업계 전반이 큰 변화를 겪고 있는 것으로 보인다. 특히 이러한 변화 속에서 “프로그래밍을 몰라도 생성형 AI만 있으면 제품을 만들 수 있다”는  주장도 자연스럽게 힘을 얻고 있다. 최근에는 Saas 솔루션은 종말할 것이라는 다소 파격적인 이야기도 들리는 것으로 보면 소프트웨어 업계가 큰 격변의 시기가 온것임에는 틀림 없어 보인다. 허(虛): 빠르게 만들 수 있다는 환상 이런 상황에서 가장 주목받는 주장들은 서론에서 언급했다시피 ‘프로그래밍을 알지 못한다고 하더라도  생성형AI를 이용하면 빠르게 제품을 개발이 가능하다’라는 주장이고, 실제로 이는 어느 정도 타당성이 있어 보인다. 정말로 움직이는 결과물을 단 몇초 만에 보여주기 때문이다. 하지만, 이러한 ‘빠르게 제품 개발 가능하다’는 주장의 가장 큰 맹점이 있는데 개발자의 존재 이유가 단순한 제품이나 기능개발에 있지 않다는 점이다. 만약, AI를 통해 그럴듯 한 솔루션을 만들었다고 치자. 이것에 얼마만큼의 비지니스성과 지속가능성이 있을까? 더 나아가 당신이 이 솔루션을 이용하려고 하는 유저라면, 이 솔루션에 어떠한 가치를 내리고 얼마 만큼의 돈을 지불할 수 있을까? 당신이 금세 만들 수 있는 제품을 상대방이라고 못 만들 이유가 없지 않을까? 그러니깐, 앞서서 이런 것들을 생각하지 못 한 솔루션들은 상대적으로...

[ Neural Network, Python] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 뉴럴 네트워크의 모듈(객체)화

이미지
이전 포스팅에서 오류률을 최소화하기 위해서 역전파를 구현해 수직, 나선 분포 데이터의 테스트 까지 완료하였다. 물론 여기서 끊을 수도 있겠지만, 좀 더 욕심을 내서 모듈화(객체화)까지 완성해보자. 현재 코드의 가장 큰 문제점은  하드 코딩으로 레이어와 활성화 함수를 고정 시켰다는 점에 있다. 좋은 코드가 되기 위해서는 레이어의 선택과 활성화 함수 선택까지 할 수 있어야 하며 코드 또한 간결할 필요가 있다. 이번에는 코드의 최적화를 하여, 레이어 생성 부터 시작해 최적화(역전파)를 비롯한 전체 과정을 객체로 불러올 수 있게 최적화 해보자. 이것으로 꽤 나 길었던 포스팅이 끝이 날 것이다. 레이어의 모듈화 이번 모듈화는 따로 소스 파일 까지 분리 하였다. 먼저 레이어에 관련된 소스 코드의 모듈화다. 1 2 3 4 5 6 7 8 9 10 #layer.py class  Layer:      def  __init__( self ):          pass        def  forward( self ):          pass        def  backward( self ):          pass cs 이 파일은 단순히 상속하기 위한 코드이다. 대부분 파일에서 사용한다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 #layer_dense.py from  layer  import  Layer import  numpy...

[ Neural Network, Python, Back Propagation ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 역전파의 구현, 테스트(수직, 나선 분포 데이터)

이미지
손실 함수의 구현으로 활성화 함수 계산을 추가한 예측 값이 얼마 만큼의 오류를 가지고 있는 지에 대한 평균 값을 얻을 수 있었다. 그 다음은 역전파를 구현할 차례이다. 이번 포스팅의 코드들은 모듈화 되지 않은  날것에 가까운 코드 이기 때문에 정렬되어 있지 않다. 이 포스팅 다음에 모듈화를 진행할 예정이다. 역전파에 대해  앞서 이야기 했듯이  손실을 구했다면, 당연히 예측 값을 조절해  최대한 손실이 없게 끔 만들어야 한다. 어떻게 해야될까? 가장 일반적인 방법은 가중치를 미세하게 조절하면서 손실 함수가 최소화 될 때 까지 반복하는 것이다.  즉, 상수 값인 기울기(가중치)를 조절하는 것이다. 역전파 프로세스는  활성화 함수에서의 역전파(backward) 단계에서는  순방향 전파에서 계산한 값을 가지고  가중치와 편향을 미세 조절 하기 위한 가중치(gradient)를 결정 한다. 레이어의 역전파(backward) 단계에서 이 가중치를 레이어에서 넘겨 받아 이 값을 가지고 레이어가 가지고 있는 가중치와 편향을 업데이트 한다. 역전파는 말 그대로 역으로 값을 전달하며  진행되기 때문에 연쇄 법칙(Chain Rule)이라고도 한다. 다만 이전 과정에서 구현했던 활성화 함수, 손실 함수를 포함해  레이어의  역전파를 구현해야 하기 때문에  수식에 대한 더 많은 이해와  이전 보다 더 많은 코드 추가가 필요할 것 이다.  그렇기에 구현 하는데 있어서 예상보다 시간이 소모되었기에  역전파의 구현은 활성화 함수는 ReLu, Softmax를 그리고 손실 함수는 범주형 교차 엔트로피(Categorical Cross Entropy,CCE)만을  포스팅 할 예정이다. 차후에 이진 교차 엔트로피와 다른 활성화 함수에 대한  역전파 구현은 차후에 수학적인 내용에 들어갈때 같이 구현하기로 하겠다. 그렇다면 역전파라는 말대로, 반대로 타...