Thinking

글

[ Essay - Technology, Neural Network, IT, Math] 왜 뉴런 네트워크에서 편향(bias)이 필요한가?

- 9월 04, 2021

일반적으로 Input으로 부터 시작해 히든 레이어를 거쳐, Output의 값을 추출해 내는 것이 뉴런 네트워크이다. 새로운 토이 프로젝트에 진행하기 앞서 나는 우선 Python에서 뉴런 네트워크가 어떻게 표현되는지에 대해 알아야 할 필요가 있었고, 이에 대한 튜토리얼을 포함해 과거에 배웠던 이론들과 연결시키는 작업을 하고 있었다. 그런 도중, 나는 갑자기 편향(Bias)값에 대해 의문점이 들었다. 왜 편향 값이 필요할까에 대한 의문이다. 물론 그런 것은 그냥 넘어 갈 수도 있다. 엄밀히 말하면 이런 의문들은 단순한 개발자로서는 필요 없다. 하지만 이는 탐구하는 것을 좋아하는 나의 입장에서는 무척이나 중요한 일이다. 그렇기에 이번에는 좀 더 나아가기에 앞서 이 편향(Bias)이라는 것이 왜 필요한지에 대해 이야기를 해보자. 편향에 대한 정의 한 가지 알아야할 것은 편향은 뉴런 네트워크에서 나온 용어가 아니라는 점일 것이다. 정확히 말하면, 이 편향이라는 개념은 뉴런 네트워크 이론이 대수학(Generic Algebra)에서 차용해온 용어(T erm )로서 뉴런 네트워크만의 개념은 아니다. 위키피디아 영문판에 따르면 통계에서 사용하는 편향에 대해 아래와 같이 설명한다. Statistical bias is a feature of a statistical technique or of its results 통계적 편향은 통계적 기법 또는 통계의 결과에 대한 특징(feature)로서 where by the expected value of the results differs 실제 정량적인 매개변수와 다르게 from the true underlying quantitative parameter being estimated 결과의 예상 값이 추정하는 것을 말한다. 즉, 명확히 정략적으로 표현되는 것이 아닌 추정 값이라는 이야기 이다. 뉴런 네트워크에서 편향은 왜 필요한가? 뉴런 네트워크에서 편향이 필요한 이유는 비교적 간단하다. 뉴런 네트워크는 학습해야

자세한 내용 보기

[ Essay - Intuition ] 직감 카테고리를 만들면서：사유와 직감 그리고 자유에 대해

- 8월 01, 2021

오늘 이후로 블로그에는 새로운 에세이 카테고리인 직감이라는 에세이 카테고리를 만들고 글을 작성해보려고 한다. 왜냐하면 최근 과거 작성했던 에세이들을 보게 되었는데 etc에 있는 목록들은 따지고 보면 어떤 개념에 대한 나의 직감에 대한 이야기였기 때문이다. 또한 etc 목록에 있던 것들은 당시 내가 에세이를 작성했을 당시에 명확히 분류를 내릴 수 없었기 때문에 etc로 남겨 놨었다. 과거 etc 카테고리로 있던 것들이 아마 이런 직감이라는 카테고리에 들어갈 것 이다. 따라서 이런 목록들을 앞으로는 직감(intuition)으로 묶도록 하겠다. 이 직감이라는 에세이에서는 어떠한 것들에 대한 정의, 뜻, 개념과 같은 것들을 이야기하고, 파헤쳐가면서 내 스스로 재정의 내리려고 한다. 왜냐하면, 나를 포함한 현대인들은 과학을 통해 발달한 문명을 누릴 수 있었고, 이에 따라 사회는 계속해서 빠르게 변화하고 있지만 나를 포함한 현대인들은 이에 따라 변화하고 있지 않아 보이기 때문이다. 이 처럼 문명은 계속해서 발달하고 진보를 넘어서 혁명을 이루고 있으며, 점점 기술적 혁명이 그러니깐 패러다임의 변화가 일어나는 주기가 짧아지고 있지만 인간 자체가 그 만큼 빠르게 진보하고 있는지, 그리고 이를 이루고 있는 사회가 진보하고 있는지에 대해 나는 의구심이 들기 때문이며, 시간이 지나면 지날 수록 다양한 사람들을 만나고, 경험을 쌓아가면서 이런 의구심은 점점 확신으로 바뀌고 있는 것 처럼 느껴진다. 만약에 그렇지 않다면, 사회가 어긋나고 비틀어지는 것은 당연할 것이다. 그렇다면 많은 사람이 외치는 것 처럼 문제는 사회에 있는 것이 아닌 인간 자체에 있는 것이고 사회라는 틀에 포커스를 맞추기 보다는 인간 성장(진보)에 포커스를 맞추어야 하는 것이 옳지 않나 싶다. 물론 인간의 한계라며 지금 처럼 애써 무시할 수도 있겠지만, 무시한다고 해서 문제 자체가 해결되는 것은 아니며, 곪아 터지는 순간 그보다 더 큰 문제가 될 것이다. 어쨋든 이 에세이에서 내가 이야

자세한 내용 보기

[ Toy Project - Machine Learning, IT, Neural Network] Active Function 그리고 Cost Function과 Loss Function에 대해

- 7월 31, 2021

앞선 글에서 나는 뉴런 네트워크를 설계하고, 프로세스를 정했다. 하지만, 곧 문제에 직면했는데, 내가 코세라에서 배운 이론들은 꽤 예전에 이론들이며 시간이 된다면 완수하고 싶지만 나는 그 강의를 아직 완수하지 않았기 때문에 현재 Python에서 사용하고 있는 라이브러리 들은 내가 알던 것들과는 조금 다른 용어들을 사용하고 있었으며, 그에 따른 수식들 또한 달랐다. 물론 이에 대해 다시 강의로 되돌아가 이에 대해 배우는 것이 어쩌면 빠를 수 도 있지만, 나는 먼저 강의를 다 듣는 것 보다는 하나의 토이 프로젝트를 해보는 것이 더 이득이라 판단 했다. 왜냐하면 나는 기본을 바닥에 올려놔야할 때는 바텀 업을 선호하지만, 어느 정도 기본이 쌓였다면 탑 다운 방식을 선호하기 때문이다. 따라서 프로젝트를 진행하기 앞서서 내가 배웠던 것들과 실제 라이브러리에서 사용하는 수식들이 어떻게 다른지 그러니깐 어떻게 발전했는지에 대한 비교가 필요하다고 판단했다. 이에 대한 첫 장으로 먼저 Cost Function과 Active Function에 대한 이야기를 해보려한다. Active Function? Cost Function? Loss Fuction? NN관련에 대해 검색하다보면 익히 나타나는 용어는 Cost Function, Active Function, Loss Function이 3가지 용어가 자주 보이는 듯 하다. 여기서 Cost Function에 대해서는 학습을 했었고, 과거 포스팅에도 개재한 바 있다. 과거 포스팅에서 Cost Function에 대해 내가 정의 내린 것은 아래와 같다. ( https://nitro04.blogspot.com/2020/01/machine-learning-by-andrew-ng_10.html ) 데이터들의 집합인 가설 함수(Hypothesis Function)와 해당 데이터들의 값과 가장 오차가 작은 즉, 최소값인 θ0, θ1를 구하는 것이 비용 함수(Cost Function)이다. 비용 함수를 이용하는 이유는 수 많은

자세한 내용 보기

이 블로그 검색

Thinking

글

[ Architecture, Technology ,Web ] SSO(Single Sign On) 그리고 SAML에 대해

[ Essay - Technology, Neural Network, IT, Math] 왜 뉴런 네트워크에서 편향(bias)이 필요한가?

[ Essay - Intuition ] 직감 카테고리를 만들면서：사유와 직감 그리고 자유에 대해

[ Toy Project - Machine Learning, IT, Neural Network] Active Function 그리고 Cost Function과 Loss Function에 대해