[ Essay - Technology, Essay - Intuition ] Chat GTP시대의 도래와 생각하는 방식에 대해 : 개발자의 미래에 대해

이미지
벌써 올해도 반쯤 지나 뜨거운 여름이 다가왔다. 굉장히 빠르게 지나간듯한 느낌이 드는데  아마 의미있는 시간을 보냈다는 이야기이기 때문에  그렇게 나쁜 신호는 아닐 것 이다. 괴로운 시간이였다면, 1초가 1년 같이 느껴졌을테니 말이다. 더위에 매우 약한 나에게 있어서는 지옥과 같은 시기이기도 하지만 늘 그렇던 것 처럼 에어컨 덕분에 어찌저찌 버틸 수 있을 것 같다. 어쨋든, 이번에는 저번의 에세이 주제, Chat GTP시대의 도래와 생각하는 방식에 대한 이야기에 이어서  과연 개발자의 미래는 어떻게 될 것인가에 대해 이야기를 나누어보려고 한다. 어쩌면 모두가 인식하고 있듯이 지금 2025년 현재,  꽤나 중요한 시기에 직면하고 있는지도 모른다. 왜냐하면, 생성AI의 발전 속도가 생각보다 빠르게 발전하고 있고,  그에 따라 실제 업무에서도 빠르게 사용되어지고 있기 때문이다. 이러한 상황에서 개발자에게 있어서 가장 두려운 점은  당연히 생성AI에 의해 개발자가 대체될 것 이라는 두려움일 것 이다. 이는 개발자에게만 한정된 이야기는 아니지만 말이다. 아마 필드에서 나와 같이 일하고 있거나  개발자로서 직업을 가지려는 생각이 있는 사람이라면  한번쯤은 생각해볼법한 주제라 생각 한다. 물론 미래가 정확히 어떻게 될 지는 알 수 없으나  이런 생각을 함으로써 몇 가지 힌트는 얻게 될지도 모르니  만약 얻게 된다면 미래에 대한 방향성을 조금이나마 올바른 쪽으로 돌릴 수 있을 것 이다. 이 글을 끝맽을 때는 조금이라도 힌트에 도달하기를 바란다. 과거의 역사 이러한 의문에 대한 해결책으로서 일반적으로 자주 사용하는 방법이 있다. 바로 역사를 보는 것 이다. 물론 이러한 역사를 해결책을 찾는거에 대한 전제조건은  우리가 '구 인류'라는 전제조건이 있었을 때 의미가 있다. 그러니깐 현대인도 기원전 8세기의 고대 로마인도  본질적으로 다르지 않다는 것을 인정해야만 한다. 예컨데...

[ Neural Network, Python, Active Function ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 활성화 함수 구현


뉴런 네트워크가 다른 기술들과 다르게 훌륭한 점은
매우 수학적으로 잘 정의되어 있기 때문에 
명쾌하고 명확하다는 점이다.

물론 이런 기술을 읽기 위해
다소 수학적 지식이 필요하고 
뿐만 아니라 이를 이해할 수 있어야만 하지만 말이다.

그렇기 때문에 어쩌면
개발자가 배우기 까다로운 기술일지도 모른다는 생각을 한다.

어쨋든 앞서 순 방향 전파 중 하나를 구현해봤다

이것만으로는 완성된 순방향 전파라고는 
하기 힘들다.


이제 활성화 함수 구현에 대한 이야기를 해보자

활성화 함수에 대해


활성화 함수란 계산한 해당 노드를 훈련 데이터로서
사용할 것인지 아닌지에 대한 판단을 해주는 함수이다.

인간으로 비유하자면,
중요한 정보와 덜 중요한 정보를 판단하는 해주는 
장치라고 생각하면 편할지도 모른다.

다만, 활성화 함수에 대한 자세한 이야기는 
이전에 포스팅했기 때문에 해당 포스트를 참고하기 바란다.

활성화 함수의 구현


서론에서도 이야기 했듯이 
뉴런 네트워크는 다른 기술들과 다르게 
수학적으로 잘 정의된 기술이기 때문에 코드가 굉장히 짧다.

이를 잘 나타내주는 것이 
바로 활성화 함수라고 나는 생각하고 있다.

놀라울 정도로 간단하기 때문이다.

몇 가지 활성화 함수들을 구현해 보자.

① Sigmoid 

가장 간단한 시그모이드 부터 구현해보자.

1
2
3
class Active_Function:
    def sigmoid(self, inputs):
        self.sig_output = (1/(1 + np.exp(-inputs)))
cs

코드는 위와 같으며,
앞서 언급했듯이 뉴런 네트워크는 수학적으로 매우 잘 정의되어진
기술이기 때문에 코드는 매우 간결하다.

② Leakly ReUL

다음은 Leakly ReUL이다.

1
2
3
class Active_Function:
    def leakly_ReLU(self, inputs):
        self.lReLU_output = np.where(inputs>0, inputs, inputs*0.01)
cs



③ Swish

다음은 Google팀에서 개발했다는 Swish다 

1
2
3
4
class Active_Function:
    def swish(self, inputs):
        sig_output = (1/(1 + np.exp(-inputs)))
        self.swish_output = inputs * sig_output
cs

이후 코드가 바뀔 가능성이 높지만
일단 나는 이 세 개의 활성화 함수를 
하나의 클래스로 묶고 싶기 때문에 실제 코드는 아래와 같다.

1
2
3
4
5
6
7
8
9
10
class Active_Function:
    def sigmoid(self, inputs):
        self.sig_output = (1/(1 + np.exp(-inputs)))
 
    def leakly_ReLU(self, inputs):
        self.lReLU_output = np.where(inputs>0, inputs, inputs * 0.01)
 
    def swish(self, inputs):
        sig_output = (1/(1 + np.exp(-inputs)))
        self.swish_output = inputs * sig_output
cs

뉴런 네트워크에 추가


그렇다면 위의 구현했던 활성화 함수를 
이전에 만들었던 뉴런 네트워크에 추가해 
실제로 실행해보자.

뉴런 네트워크에 활성화 함수를 추가한 코드는 아래와 같다.


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
##blog
import numpy as np
 
#랜덤 값 시드 생성
np.random.seed(0)
 
input_data = [315.5]
 
class Layer_Dense:
    def __init__(self, n_inputs, n_neurons):
        #randn : 0으로 중심으로한 가우스 분포를 무작위 생성
        #실제 randn 함수는 1을 초과한 값을 출력하기 때문에 0.10을 곱함
        self.weights = 0.10 * np.random.randn(n_inputs, n_neurons)
        #뉴런 수만 큼 0값을 가지는 편향 생성
        self.biases = np.zeros((1, n_neurons))
    def forward(self, inputs):
        #순방향 전파 수식을 표현
        self.output = np.dot(inputs, self.weights) + self.biases
 
class Active_Function:
    def sigmoid(self, inputs):
        self.sig_output = (1/(1 + np.exp(-inputs)))
 
    def leakly_ReLU(self, inputs):
        self.lReLU_output = np.where(inputs>0, inputs, inputs * 0.01)
 
    def swish(self, inputs):
        sig_output = (1/(1 + np.exp(-inputs)))
        self.swish_output = inputs * sig_output
 
hidden_act_obj = Active_Function();
 
#입력이 3개, 출력 노드가 4개인 레이어 객체 생성
hidden_layer = Layer_Dense(3,4)
 
#입력이 4개, 출력 노드가 2개인 레이어 객체 생성
output_layer = Layer_Dense(4,2)
 
 
# 입력 레이어를 매개변수로 해 히든 레이어의 노드(순방향 전파)값 계산
hidden_layer.forward(input_data)
 
# 히든 레이어의 순방향 전파 값을 각 활성화 함수에 넣어 활성화 판단
hidden_act_obj.sigmoid(hidden_layer.output)
hidden_act_obj.leakly_ReLU(hidden_layer.output)
hidden_act_obj.swish(hidden_layer.output)
 
#활성화 판단된 히든 레이어의 값을 매개 변수로 출력 레이어의 노드(순방향 전파)값 계산
output_layer.forward(hidden_act_obj.sig_output)
output_layer.forward(hidden_act_obj.lReLU_output)
output_layer.forward(hidden_act_obj.swish_output)
 
print(output_layer.output)
 
cs



① Sigmoid 실행 결과




② Leakly ReUL 결과



③ Swish 결과





마치며


지금까지 해서 활성화 구현과 실제 뉴런 네트워크의 
히든 레이어에 활성화 함수를 사용하는 것 까지 해보았다.

물론 여기서 끝은 아니다.

아직 역전파 처리가 남았다.
그리고 이 순방향과 역전파를 여러번 반복해야만 
정말로 의미 있는 뉴런 네트워크를 만들었다고 할 수 있을 것이다.

또한 실제 구현한 코드로 옳은 값을 계산했는지에 대한 
검증도 필요하다.

검증은 이번 주제의 글을 마무리 한 후에 할 생각이다.

다음으로는 역전파에 대한 이야기를 해보려고 한다.





2021.10.09 초안 작성 및 개행 완료






이 블로그의 인기 게시물

[ Web ] 웹 애플리케이션 아키텍처 (Web Application Architecture)

[ Web ] 서버 사이드(Sever Side) ? 클라이언트 사이드(Client Side)? 1 [서론, 클라이언트 사이드(Client Side)]

[ Web ] 웹 애플리케이션 서버 아키텍처의 정의 및 유형 ( Define and Types of Web Application Server Architecture )