오구의코딩모험

저번 포스팅에서는 합격/불합격과 같은 이진 분류 문제를 푸는 로지스틱 회귀에 대해 알아보았다. 오늘은 이진 분류를 넘어서 3개 이상의 선택지 중에서 하나를 고르는 다중 클래스 분류 문제를 위한 소프트맥스 회귀(Softmax regression)에 대해 알아보자! 다중 클래스 분류(Multi-class Classification) 로지스틱 회귀에서는 시그모이드 함수를 사용하여 입력값에 대한 출력을 0과 1사이의 값으로 출력해준다. 따라서 "0.5가 넘으면 합격, 넘지 못하면 불합격" 과 같이 판단 또한 해줄 수 있었다. 하지만 합/불이 아닌 A,B,C 학점으로 나누어 준다고 할 때 시그모이드 함수를 사용한다면, A 학점을 받을 확률, B 학점을 받을 확률, C 학점을 받을 확률을 각각 출력해줄 것이며 그 ..

오늘은 선형 회귀에 이어 로지스틱 회귀(Logistic Regression)에 대해 공부하자! 앞서 공부했던 한 개 이상의 독립 변수 x와 y의 선형 관계를 모델링하는 선형 회귀와 달리 로지스틱 회귀는 시험의 합/불 여부, 메일이 스팸인지 아닌지 와 같이 두 개의 선택지 중 정답을 고르는 이진 분류(Binary Classification) 문제를 풀기 위한 알고리즘이다. 예를 들어보자 60점 이상을 받으면 합격(=1)인 시험이 있다. 그럼 자연스럽게 60점 미만은 불합격(=0)일 것이다! 그래프로 표현하니 알파벳 S 형태로 표현되어 있다. 만약 y=wx+b의 직선을 사용할 경우, y값이 음의 무한대부터 양의 무한대와 같은 큰 수들도 가질 수 있어 0과 1값만 있는 분류에는 적합하지 않다. 하지만 우리가 ..

딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식이다. 인공 신경망이 뭔데? 초기의 인공 신경망인 퍼셉트론를 예시로 천천히 알아보자 퍼셉트론(Perceptron) [좌측 그림] 실제 뇌를 구성하는 뉴런의 동작은 신호를 받고 이 신호가 일정치 이상의 크기가 되면 신호를 전달해주는 구조라고 한다. [우측 그림] x는 입력값(Input), w는 가중치(Weight), y는 출력값(Output) 퍼셉트론은 뉴런과 유사하게 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면y에 1을 출력, 그렇지 않으면 0을 출력한다. 위의 구조는 값을 ..

오늘은 비용 함수를 최소화하는 매개 변수인 w와 b을 찾기 위한 작업, 옵티마이저(Optimizer) (=최적화 알고리즘)에 대해 알아보도록 하자! 우선 지난 포스팅에서 공부했던 선형 회귀에 적합한 옵티마이저인 경사하강법부터 살펴보자 경사하강법(Gradient Descent) 지난 포스팅에서 함께 공부한 비용 함수는 평균 제곱 오차(MSE)였다. [좌측 그림] 오차를 제곱했기 때문에 오차와 가중치 w에 대한 그래프는 위와 같이 그려질 것이다. 편향을 나타내는 b는 제외하고 생각하였다. [우측 그림] 임의의 w값을 하나 설정하고 우리는 w값을 수정해나가며 cost가 최소값이 될 때를 찾는다. 그게 바로 비용 함수의 최소가 될 것이며 곧, 오차의 최소 [좌측 그림] 언제 최소가 되느냐 바로 접선의 기울기가 ..

딥러닝 공부에 앞서 머신러닝부터 공부해보자 오늘은 머신러닝의 기초인 선형 회귀에 대해 알아보겠다. 선형 회귀(Linear Regression) 선형 회귀는 한 개 이상의 독립 변수 x와 y의 선형 관계를 모델링 하는 것 이라고 하는데, 이게 무슨 뜻일까? 예를 들어보자 좌측의 사진은 어떤 학생의 공부 시간에 따른 점수를 나타낸 데이터다. 현재는 5시간 했을 때가 최대인데, 그럼 6시간을 공부했다면 점수는 몇 점일지 궁금하다. 정확하진 않겠지만 우측 사진과 같이 선을 그어 5시간을 초과했을 때의 점수도 예측해볼 수 있을 것이다. 이렇게 선을 그어 예측을 해보기 위해 수학적으로 수식을 세우게 되는데 머신러닝에서는 이러한 식을 가설(Hypothesis)이라 한다. 즉, 선형회귀는 주어진 데이터로 부터 y와 x..

PCA(Principal Component Analysis), 주성분 분석은 데이터들을 정사영 시켜 차원을 낮추는 차원 축소 역할을 한다고만 알고 있었다. 정의는 아는데.. 정확하게 이해를 하지 못하여 누구에게 설명할 수가 없다! 그러므로 오늘은 주성분 분석에 대해서 자세히 알아보자! 주성분 분석은 그림과 같이 데이터(파란점)의 분포를 잘 설명해주는 방향(노란색 직선)을 나타내는 방법이다. 그림에서 2차원 좌표에 있던 데이터들을 1차원인 직선으로 표현했다. 즉, 차원이 2 → 1 로 줄었다. (차원축소) 그럼 여기서 분포를 잘 설명해준다는 건 뭐고, 방향은 무엇을 기준으로 설정하는 걸까? 분포를 잘 설명해준다. → 데이터의 구조를 잘 설명해준다. 특히 특징 쌍(feature pairs)들의 변동이 얼마나..