오구의코딩모험

획기적이고 새로운 개방형 모델인 google의 Gemma 2를금융 데이터를 통한 모델 학습을 시키고학습 시킨 모델을 huggingface에 배포하여 streamlit을 통한 Web app을 구동시켜보았습니다! 학습 환경은 Colab 환경(GPU : A100)에서 진행하였으며,학습 데이터는 huggingface의 아래의 링크 데이터를 학습하였다. https://huggingface.co/datasets/nayohan/finance-alpaca-ko nayohan/finance-alpaca-ko · Datasets at Hugging Face경제 상황과 최근 졸업생들의 가까운 미래가 험난할 가능성을 고려할 때, 인생이 혼란스러운 동안에는 대규모 구매를 보류하는 것이 좋습니다. 여기에는 새 차와 주택 구입이 ..

저번 포스팅에서는 합격/불합격과 같은 이진 분류 문제를 푸는 로지스틱 회귀에 대해 알아보았다. 오늘은 이진 분류를 넘어서 3개 이상의 선택지 중에서 하나를 고르는 다중 클래스 분류 문제를 위한 소프트맥스 회귀(Softmax regression)에 대해 알아보자! 다중 클래스 분류(Multi-class Classification) 로지스틱 회귀에서는 시그모이드 함수를 사용하여 입력값에 대한 출력을 0과 1사이의 값으로 출력해준다. 따라서 "0.5가 넘으면 합격, 넘지 못하면 불합격" 과 같이 판단 또한 해줄 수 있었다. 하지만 합/불이 아닌 A,B,C 학점으로 나누어 준다고 할 때 시그모이드 함수를 사용한다면, A 학점을 받을 확률, B 학점을 받을 확률, C 학점을 받을 확률을 각각 출력해줄 것이며 그 ..

오늘은 선형 회귀에 이어 로지스틱 회귀(Logistic Regression)에 대해 공부하자! 앞서 공부했던 한 개 이상의 독립 변수 x와 y의 선형 관계를 모델링하는 선형 회귀와 달리 로지스틱 회귀는 시험의 합/불 여부, 메일이 스팸인지 아닌지 와 같이 두 개의 선택지 중 정답을 고르는 이진 분류(Binary Classification) 문제를 풀기 위한 알고리즘이다. 예를 들어보자 60점 이상을 받으면 합격(=1)인 시험이 있다. 그럼 자연스럽게 60점 미만은 불합격(=0)일 것이다! 그래프로 표현하니 알파벳 S 형태로 표현되어 있다. 만약 y=wx+b의 직선을 사용할 경우, y값이 음의 무한대부터 양의 무한대와 같은 큰 수들도 가질 수 있어 0과 1값만 있는 분류에는 적합하지 않다. 하지만 우리가 ..

딥 러닝(Deep Learning)은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아올려 데이터를 학습하는 방식이다. 인공 신경망이 뭔데? 초기의 인공 신경망인 퍼셉트론를 예시로 천천히 알아보자 퍼셉트론(Perceptron) [좌측 그림] 실제 뇌를 구성하는 뉴런의 동작은 신호를 받고 이 신호가 일정치 이상의 크기가 되면 신호를 전달해주는 구조라고 한다. [우측 그림] x는 입력값(Input), w는 가중치(Weight), y는 출력값(Output) 퍼셉트론은 뉴런과 유사하게 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면y에 1을 출력, 그렇지 않으면 0을 출력한다. 위의 구조는 값을 ..

오늘은 비용 함수를 최소화하는 매개 변수인 w와 b을 찾기 위한 작업, 옵티마이저(Optimizer) (=최적화 알고리즘)에 대해 알아보도록 하자! 우선 지난 포스팅에서 공부했던 선형 회귀에 적합한 옵티마이저인 경사하강법부터 살펴보자 경사하강법(Gradient Descent) 지난 포스팅에서 함께 공부한 비용 함수는 평균 제곱 오차(MSE)였다. [좌측 그림] 오차를 제곱했기 때문에 오차와 가중치 w에 대한 그래프는 위와 같이 그려질 것이다. 편향을 나타내는 b는 제외하고 생각하였다. [우측 그림] 임의의 w값을 하나 설정하고 우리는 w값을 수정해나가며 cost가 최소값이 될 때를 찾는다. 그게 바로 비용 함수의 최소가 될 것이며 곧, 오차의 최소 [좌측 그림] 언제 최소가 되느냐 바로 접선의 기울기가 ..

딥러닝 공부에 앞서 머신러닝부터 공부해보자 오늘은 머신러닝의 기초인 선형 회귀에 대해 알아보겠다. 선형 회귀(Linear Regression) 선형 회귀는 한 개 이상의 독립 변수 x와 y의 선형 관계를 모델링 하는 것 이라고 하는데, 이게 무슨 뜻일까? 예를 들어보자 좌측의 사진은 어떤 학생의 공부 시간에 따른 점수를 나타낸 데이터다. 현재는 5시간 했을 때가 최대인데, 그럼 6시간을 공부했다면 점수는 몇 점일지 궁금하다. 정확하진 않겠지만 우측 사진과 같이 선을 그어 5시간을 초과했을 때의 점수도 예측해볼 수 있을 것이다. 이렇게 선을 그어 예측을 해보기 위해 수학적으로 수식을 세우게 되는데 머신러닝에서는 이러한 식을 가설(Hypothesis)이라 한다. 즉, 선형회귀는 주어진 데이터로 부터 y와 x..

PCA(Principal Component Analysis), 주성분 분석은 데이터들을 정사영 시켜 차원을 낮추는 차원 축소 역할을 한다고만 알고 있었다. 정의는 아는데.. 정확하게 이해를 하지 못하여 누구에게 설명할 수가 없다! 그러므로 오늘은 주성분 분석에 대해서 자세히 알아보자! 주성분 분석은 그림과 같이 데이터(파란점)의 분포를 잘 설명해주는 방향(노란색 직선)을 나타내는 방법이다. 그림에서 2차원 좌표에 있던 데이터들을 1차원인 직선으로 표현했다. 즉, 차원이 2 → 1 로 줄었다. (차원축소) 그럼 여기서 분포를 잘 설명해준다는 건 뭐고, 방향은 무엇을 기준으로 설정하는 걸까? 분포를 잘 설명해준다. → 데이터의 구조를 잘 설명해준다. 특히 특징 쌍(feature pairs)들의 변동이 얼마나..

요즘 내가 자주 사용하고 있는 Streamlit! 빠르게 데이터 어플리케이션을 만들 수 있는 Streamlit 프레임워크에서 로그인 기능(user authentication)을 넣어보도록 하자! 만약 Streamlit 을 처음 사용해본다면? https://yeomss.tistory.com/301 [Streamlit] 설치 및 시작하기 + 배포 개요 공식 사이트 https://streamlit.io/ Streamlit • The fastest way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in ..