글

2021의 게시물 표시

[ Architecture, Technology ,Web ] SSO(Single Sign On) 그리고 SAML에 대해

-
이미지
이번 프로젝트 내부에서 어쩌다보니  유저 인증 관련 업무를 담당하게 되었고, 해야하는 업무는 내부에 사용했던 적이 없던  새로운 개발 플랫폼에서  SSO의 프로토콜 중  SAML을 이용해 앱의 인증을 구현해야만 했다. SSO를 생각해본적 조차 없는 상황에 이를 새로운 개발 플랫폼에 도입해야 했기 때문에 많은 시행착오를 겪었으나 구현에 성공하였으며 덕분에 SSO에 대한 전반적인 지식을 쌓을 수 있었다. 이번에는 그러한 과정에서 나온 지식들과 경험을  공유하고자 한다. SSO에 대한 정의 먼저 사전적 정의 부터 살펴보자. 다만, 기술적인 용어다보니 자주 사용하는 옥스포드 사전에 정의를 찾을 수 없기 때문에  검색으로 찾을 수 있는 정의를 몇 가지 살펴보고 교차 검증을 해보자. 첫 번째 정의를 살펴보자. Single sign-on (SSO) is an identification method that enables users to log in to multiple applications and websites with one set of credentials.  SSO는 웹사이트에서 한 번의 인증(one set of credentials)으로 복수의 어플리케이션에 로그인 할 수 있는 인증(identification) 방법(method) 이다. 두 번째는 위키피디아의 정의이다. Single sign-on (SSO) is an authentication scheme that allows a user to log in with a single ID to any of several related, yet independent, software systems. SSO는 독립적이지만 연관되어있는 몇몇 소프트웨어에 대해 하나의 ID로 로그인을 할 수 있도록 하는 인증 구조(scheme) 세부 설명에 조금 차이가 있어 보이지만 전체적인 틀은 매우 비슷해 보인다.  몇 가지 포인트가 되는 단어를 추출해 이를 연결해보자면 아래와 같은 의미를 산출 할 수 있다. 독립적이지만 연관되어 있
자세한 내용 보기

[ Neural Network, Python, Loss Function ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 손실 함수의 구현

-
이미지
이전 포스트에서 손실 함수와 역전파에 대해 왜 필요한지에 대한 솔루션 관점에서 이야기를 해 봤다. 어느 정도 뉴런 네트워크에 대한 이미지가 잡히는듯 하다. 이제 본격적으로 손실 함수와 구현에 대한 이야기를 해보자. 손실 함수의 구현 먼저 손실 함수의 구현을 해보자. 손실 함수를 구현할 수 있다면, 앞서 구현했던 예측 값들이 잘 계산되어졌는지를  이 손실 함수에서 보여줄 것이다. 여기서 구현한 코드가 정말로 잘 구현되었는지는  같은 input으로 구글의 tensorflow의 Keras에서 제공하는 모듈로 이진 교차 엔트로피와 범주형 교차 엔트로피의 결과물과 다른지를 확인해 구현이 올바른지를 증명하려고 한다. 또한 샘플 데이터로 사용하고 있는 실제 확률 분포가 일반적인 행렬로 되어있지 않고, 10진수로 표현되어 있는다. 예컨데, 아래와 같이 분류가 되어 있다고 가정해보자. 1은 고양이, 2는 개, 3은 새, 4는 소와 같이 분류하였다. 이를 ont hot encoding화 하면 아래와 같다. 즉, one hot encoding은 분류를 이진화 하는 것이라 말할 수 있다.   내가 이용하는 데이터는 이 처럼 이진화 되어있지 않아 정확히 수식 그대로 사용할 수 없기 때문에 이 계산하기 위한  convertY_true 클래스를 추가해 one hot encoding 처리를 하는 함수를 추가 했다. 이항 교차 엔트로피의 구현 기존 구현에서 추가된 코드는 아래와 같다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 class  Loss:      def  BCE_calculate( self , output, y):          #상속 받은 이진 교차 엔트로피를 계산         bce_matrix  =   self .BCE_forward(output,y)         loss_bce  =  np.mean(bce_matrix)          return  loss_bce  
자세한 내용 보기

[ Math, Computer Science, Machine Learning, NN ]교차 엔트로피(Cross Entropy)에 대해 : 뉴런 네트워크와 교차 엔트로피

-
이미지
이전 포스팅에서 엔트로피와 교차 엔트로피에 대한 이야기를 마무리지었고, 예측된 확률 분포와 실제 확률 분포가 같을 때 교차 엔트로피와 엔트로피의 값이 같아진다는 결론을 내렸다. 그렇다면, 실제로 뉴런 네트워크에서 사용하는 교차 엔트로피와 이전 포스팅에서 이야기했던 엔트로피에 대한 이야기를 해보자. 뉴런 네트워크의 교차 엔트로피 그렇다면 뉴런 네트워크의 교차 엔트로피는 무엇일까? 왜냐하면 이전 포스팅에서 다룬 교차 엔트로피는 엄밀히 말하면 정보통신쪽의 교차 엔트로피이기 때문이다. 물론 결론적으로 교차 엔트로피는  손실 함수에서 사용되고 있기 때문에  따로 논하지 않아도 비슷하다는 것은 추측이 가능하다. 재미있게도 정보 통신의 교차 엔트로피와  뉴런 네트워크의 교차 엔트로피가 차이 점은  일반적으로 로그 밑의 상수가 다르다. 통신은 비트로 이루어지기 때문에 0과1이며 이에 따라  밑 상수가 2가 되지만, 뉴런 네트워크는 일반적으로 그렇지 않다. 뉴런 네트워크에서는 비트를 나타내는 2가 아닌  밑 상수가 오일러 상수인 자연 로그를 사용 한다. 따라서 일반적인 뉴런 네트워크에서의 교차 엔트로피 방정식은  아래와 같은 수식으로 나타낼 수 있을 것이다. 뉴런 네트워크의 교차 엔트로피 방정식 그렇다면, 여기서 더 나아간다면  한 가지 의문점이 들 수 있을 것 이다. 왜 굳이 자연 로그를 사용하는 의문이다. 왜냐하면, 자연 로그를 사용하던, 밑이 2인 로그를 사용하던  계산은 문제 없이 산출 가능하고, 산출된 값이 틀린 것도 아니기 때문이다. 이에 대해 정확한 정보를 찾을 수는 없었기 때문에 확실하지는 않지만 아래와 같은 정보는 찾을 수 있었다. [1]   ① 단위의 차이일 뿐이며,  경우에 따라서 밑 상수가 2인 로그가 빠를 수 있다. (km/h와m/s의 차이 정도) ② 비용이 많이 부분은 교차 엔트로피의 계산이 아니기 때문에 크게 신경 쓸 부분은 아니다. 물론 일반적인 경우에는  오일러 상수 쪽이 미세하게 빠를 수 있다고 한다. 또한 밑 수를 2나 오일러 상수 가 아니더
자세한 내용 보기

[ Math, Computer Science, Machine Learning, NN ]교차 엔트로피(Cross Entropy)에 대해 : 기본 개념, 교차 엔트로피에 대한 이해

-
이미지
이전 까지 해서 엔트로피가 무엇이고, 이에 대한 이해를 위해 이야기를 나누어봤다. 이제는 본격적으로 이번 주제의 목표이기도 한  교차 엔트로피에 대한 이야기를 해보자. 교차 엔트로피에 대해 이전 포스트로 부터 엔트로피란, 정보량이기도 하지만 컴퓨터의 근본을 이루고 있는 단위인 비트이기도 하고 원문이 있고 이를 예와 아니요를 통해 원문을 알아내야 할때 이 원문을 하나 씩 보낸다고 했을 때의  원문 속의 하나를 얻어내기 위해 필요한 질문의 갯수  즉,  비트의 갯수 이기도 하다. 이에 랠프 하틀리는 이 값을 구할 수 있는 방정식을 제시 했고, 아래와 같은 방정식으로 이 비트의 갯수를 H로 했을때 이에 대한 값을 구할 수 있다. 하지만, 이는 어떤 사건에 대해 나올 수 있는 확률이 모두 동일 할 때 성립하는 방정식으로 이 때 최대의 엔트로피를 얻어낼 수 있다. 예컨데, 동전 던지기를 할 경우  앞면, 뒷면의 각각 50%일 경우에 성립 한다. 그렇기 때문에 어떤 사건에 대해 나올 수 있는 확률들이  상이한 현실 세계에서 이를 이용하기에는 무리가 있다. 이에 대해 클로드 섀넌은  정보의 불확실성에 대해 포인트를 잡고 해당 사건에 대한 평균 불확실성(엔트로피)를 구하는 방정식을  아래와 같이 제시 했다. 여기 까지가 이전 포스팅에서 다루었던 내용이다. 그렇다면 교차 엔트로피란 무엇일까? 사실 꽤 나 간단한 개념이다. 교차 엔트로피는 메세지의 길이에 대한 엔트로피를 의미 한다. 교차 엔트로피에 대한 이해 이전 엔트로피에서 사용한 예를 조금 바꿔서 산출 값을 간단하게 하기 위해 눈의 수가 6개가 아닌 눈의 수가 8개인 주사위를 던진다고 가정하고, 확률들도 정수 값들이 나오게끔 최대한 수정하겠다. 엘리스는 자신이 던진 주사위의 결과를 보내려한다. 정보 하나 당, 평균 몇 만큼의 비트를 보내야할까? 경우의 수가 8개 되니, 아래와 같이 꽉찬 3비트가 될 것이다. 1(000), 2(001), 3(010), 4(011), 5(100), 6(101), 7(110), 8(111) 이에
자세한 내용 보기

[ Math, Computer Science, Machine Learning, NN ]엔트로피(Entropy)에 대해 : 기본 개념, 엔트로피에 대한 이해

-
이미지
나는 손실 함수의 구현에 앞서  자료를 찾아보던 도중 손실 함수에는  교차 엔트로피라는 용어가 붙어 있는 경우가 많았다. 이에 대해 알아보려 했으나, 교차 엔트로피가 무엇 인지에 대해 찾아보기 힘들었기에 교차 엔트로피에 대한 것을 정리함과 동시에 이를 공유하려 한다. 교차 엔트로피에 대해 이야기를 나누어보기 전에 먼저 엔트로피에 대한 이해가 필요할 것이다. 그 후 교차 엔트로피에 대한 이야기를 하고, 이를 머신 러닝에서 어떻게 이용하고 있는지를 마지막으로 이번 주제에 대한 내용을 마무리 하려고 한다. 엔트로피의 기본 개념 나는 머신 러닝과 관련 없는 글을 작성할 때 엔트로피라는 말을 자주 사용 한다. 여기서 엔트로피는 해소되지 않기 때문에 쌓이고  최대로 팽창되었을 때 빅뱅과 같은 폭팔을 야기하는 어떤 음의 물체 즉, 리프킨 세계관의 엔트로피를 말한다. 이 손실 함수에서 사용하는 엔트로피는 조금 다르다. 이 엔트로피는 정보 통신 쪽의 개념으로 지금 사용되고 있는 엔트로피는  Claude Shannon 에 의해 제시된 개념이다. 재미있게도 새넌의 엔트로피는 열역학의 엔트로피와 동일한 면이 있다고 한다. 열역학의 엔트로피에서 파생된 것이  리프킨의 엔트로피 세계관이기도 하기 때문에 조금은 놀라웠다. 어쨋든 정보 통신에서의 엔트로피는  전달된 메시지의 가치는 메시지의 내용이  얼마나 놀라운지에 달려 있다는 것이다. 그렇기에 어떤 사건(이벤트)이 발생할 가능성이 낮은 경우  해당 이벤트가 발생 했거나 발생할 것임을 아는 것이 더 중요하다. 발생 확률이 1에 가깝다면, 가치(놀라움)는 낮아질 것이고 발생 확률이 0에 가깝다면, 가치(놀라움)는 높아 진다. 이는 당연하다고 한다면 당연할 것이다. 왜냐하면 내가 내일 저녁밥을 먹는다는 확률은 1에 가깝다. 하지만, 내가 내일 저녁밥을 먹지 않는다는 확률은  0에 가깝기 때문에  내가 내일 저녁밥을 먹지 않는다는 정보는 주위 사람들에게는 대단히 놀라운 정보이다. 한국 내에서 북한이 미사일을 날린다는 소식은 늘 있던 일이기 때
자세한 내용 보기

[ Neural Network, Python, Loss Function, Back Propagation ] Python에서 뉴럴 네트워크는 어떻게 표현되는가? : 손실 함수와 역전파에 대해

-
이미지
다음으로 손실 함수와  역전파 알고리즘에 대해 이야기를 나누어보자. 이전 포스트에서 이야기한바와 같이  손실 함수는 비용 함수는 사실상 같은 의미로 사용되어지고 있다. 나는 처음에 비용 함수를 선호했으나, 한국어에서는 손실 함수 쪽이 좀 더 의미가 정확하게 전달되기 때문에  이 후 비용 함수를 손실 함수 쪽으로 부르기로 하겠다. 이런 예측한 순전파에 대한 오류률을 나타내는  손실 함수 그리고 역전파까지 구현까지 가능하다면, 이제 기본적인 뉴런 네트워크 아키텍처를 구축했다고 볼 수 있을 것이다. 순(방향)전파를 진행해 예측 값을 얻어내고  손실 함수와 역전파를 이용해 오류률이 최소화된  값으로 각 노드를 최적화 해준다면  더 높은 정확도를 가지게 될 것이며 이로서 정말로 우리가 알고 싶은 판단을  머신 러닝이라는 의미대로 0과 1로 이루어진 기계가 내려주게 될 것이다. 이런 과정을 통해 최종적으로는  이 사진이 고양이인지 사람인지 등의 판단이 가능해지는 것 이다. 다만, 여기서 이야기하고 다루고자하는 내용은  자세한 수학적인 내용까지는 하지 않고, 이 솔루션이 왜 필요하게 되었는지를 중심으로 이야기할 것 이다. 수학적인 내용 과거 나의  Machine Learning by Andrew Ng 라벨을  의 포스트들을 참고하거나 나의 포스트 보다 훌륭한  다른 사람들이 작성한 포스트를 참고하기를 바란다.   그렇다면 이제 본격적으로 이야기를 시작해보자. 순전파를 통해 예측값을 구했지만.. 앞서 우리는 입력 데이터로 예측 값을 구하고,  여기에 활성화 함수까지 더해  순전파를 통해 최적화된 값을 구할 수 있었다. 하지만,  이 값이 정말로 잘 계산된 값이라고 할 수 있을까? 이를 검증하지 않는다면, 그리고 이 검증 값을 기반으로 개선이 이루어지지 않는다면 이 뉴런 네트워크라는 것은 결국  신뢰성이 떨어질 수 밖에 없고, 유용성은 더더욱 떨어지게 될 것이다. 이런 검증 방법은 손실 함수(Loss Function) 혹은  비용 함수(Cost Function)라는 장치에서
자세한 내용 보기