본문 바로가기
728x90
반응형

AI17

sounddevice ) VSCode에서 소리 재생하기 + 녹음 conda install -c conda-forge python-sounddevice 또는 pip install sounddevice 위의 명령어를 통해서 sounddevice를 설치한다. import sounddevice as sd sd.play(arr, sample_rate) # 재생시작 백엔드에서 작동한다. # 재생을 즉시 종료하려면 sd.stop() # 재생이 끝날 때까지 기다리려면 sd.wait() # 원하는 구간만 재생할 때 sd.play(arr[시작시간*sample_rate:종료시간*sample_rate], sample_rate) 녹음파일 생성 sd.query_devices() # 사운드 장치 정보를 모두 불러온다. # 실행 결과 0 Microsoft Sound Mapper - Input, .. 2022. 6. 12.
NLP ) Task & Trends NLP Task Low-level parsing tokenization, stemming word and phrase level Named entity recognition(NER) part-of-speech(POS) tagging noun-phrase chunking dependency parsing coreference resolution Sentence level Sentiment analysis machine translation Multi-sentence ans paragraph level Entailment prediction question answering dialog systems summarization Text mining Extract useful information and ins.. 2022. 5. 23.
고급 경사 하강법 ; optimizer 딥러닝을 제대로 학습시키기 위해서는 많은 데이터를 필요로 한다. 또한, 그만큼 일반적인 경사하강법(GD ; Gradient Descent 또는 Batch GD)을 사용할 경우 한 번 업데이트할 때마다 모든 데이터를 미분해야 하므로 계산량이 매우 많아 시간이 무척 오래 걸린다. 또, 최적의 해를 찾기위해 충분히 반복하여야하며, local minima나 saddle point에 걸려 잘못된 해를 찾을 수도 있으므로 여러 곳에서부터 최적의 해를 찾아봐야하므로 더욱더 많은 시간을 걸린다. 이러한 점을 보완하기 위해 개선된 경사 하강법이 등장하였다. 확률적 경사 하강법 ; Mini-batch Stochastic GD 모든 데이터를 사용하는 것이 아니라, 랜덤하게 추출한 일부 데이터를 사용하여 더 빨리 그리고 자주.. 2022. 4. 18.
인과성, 연관성, 상관계수 인과성 어떤 상태(원인)에서 다른 상태(결과)가 필연적으로 일어나는 경우의 법칙성 회귀분석모델을 통해 결과를 예측할 수 있다. ex) 수학을 공부한 시간과 수학점수 연관성 사물이나 현상이 일정한 관계를 맺는 특성이나 성질.(제 3의 힘이 존재함) ex) 영어점수와 국어점수 상관계수 두 변수간의 관계의 강도 $$ Corr(x,y) = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{Var(x)} \cdot \sqrt{Var(y)}} $$ $ -1 < Corr < 1 $의 범위를 갖는다. 분모가 없으면 무한히 늘어날 수 있다. 평균을 기준으로 같은 방향으로 빈번하게 움직일수록 양의 상관관계가 커지고, (x가 평균에서 -방향에 있을 때, y도 평균에서 -방향에 있고, x가.. 2022. 4. 18.
목적함수, 손실함수, 비용 함수, 오차 함수 목적함수 Objective function 우리가 최적화하고 싶어하는 함수 함수를 최소화할 때 비용함수, 손실 함수, 오류 함수 함수를 최대화할 때 MLE, 클래스 간의 다이버전스 손실함수 Loss function 어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지 측정하는 기준 샘플 하나에 대한 손실을 구하는 데, 즉 파라미터 추정에 쓰인다. 한 트레이닝에만 영향을 미친다. 제곱 손실 - 선형 회귀에 사용(릿지) 힌지 손실 - SVM(서포터 벡터 머신)에서 사용 0/1 손실 - 이론 분석 및 정확도 정의에 사용 log 손실 - 로지스틱 회귀에서 사용 비용함수 cost function 훈련 세트에 있는 모든 샘플에 대한 손실 함수의 합 전체 트레이닝 셋에 걸쳐있으므로 최적화 문제에 쓰인다. 평균 제곱 오.. 2022. 4. 15.
오차 역전파 back propagation 와 기울기 소실 vanishing gradient 문제 오차 역전파 back propagation 미분의 연쇄법칙(chain rule)과 경사하강법(GD)을 이용하여 임의의 가중치를 선언하고 결괏값의 오차를 구한 뒤 이를 토대로 하나 앞선 가중치를 차례로 거슬러 올라가며 조정해 나가는 다층 퍼셉트론에서의 최적화 과정 위 그림에서 입력층의 첫 노드에서 히든 층의 첫 노드를 거쳐 출력층의 첫 노드로 나오는 과정만을 따로 떼어내면 $$ x \rightarrow P1=x1w1 \rightarrow 활성화함수(시그모이드) \rightarrow y=\frac{1}{1+e^{-P1}} $$ $$ \rightarrow P2=yw2 \rightarrow 활성화함수(시그모이드) \rightarrow z=\frac{1}{1+e^{-P2}} $$ 이 되고 손실함수를 $L$이라고 .. 2022. 4. 15.
퍼셉트론 perceptron과 신경망 Neural Network 퍼셉트론 perceptron 신경망(Neural Network)을 이루는 기본 단위 용어정리 가중치(weight) 선형모델에서의 기울기 $ w_1, w_2, ..., w_M $ 바이어스(bias ; 편향) 선형모델에서의 절편 $b$ 가중합(weighted sum) 입력값($x$)와 가중치($w$)의 곱을 모두 더한 다음 거기에 바이어스($b$)를 더한 값 활성화 함수(actiivation function) 가중합의 결과를 놓고 1 또는 0을 출력해서 다음으로 보낼 때, 0과 1을 판단하는 함수 ex) 시그모이드(sigmoid) 함수, 렐루(ReLU) 함수 XOR 문제 다음과 같이 두 입력 값 $x_1$과 $x_2$가 있을 때, 출력 값 $y$를 가지는 모델을 찾는 것을 말한다. $x_1$ $x_2$ $y.. 2022. 4. 15.
시그모이드(로지스틱) 함수와 소프트맥스 함수 시그모이드 함수 $$ p(x) = \frac{1}{1+e^{-z}} $$ 시그모이드 함수의 성질(속성) $ z $가 $ \infty $로 갈 때, $ e^{-z} $는 0으로 수렴하므로 $ p(x) $는 1로 수렴한다. $ z $가 0일 때, $ e^{-z} $는 1이므로 $ p(x) $는 0.5가 된다. $ z $가 $ -\infty $로 갈 때, $ e^{-z} $는 $ \infty $로 발산하므로 $ p(x) $는 0으로 수렴한다. 시그모이드 함수의 유용성 시그모이드 함수는 0~1 사이의 값을 가진다. 이것은 확률로 표현하기 좋으므로 0과 1, 두 개의 값 중 하나를 고를 때 유용하게 쓰인다. ex) 이진 분류, 어떤 한 가지 사건이 일어날 확률 시그모이드 함수를 이용해 로지스틱 회귀를 풀어나가는 .. 2022. 4. 14.
뉴럴 네트워크(Neural Network)의 구조 1,2,3,4,5,6 -> $ \beta $ 바이어스 -> $ \varepsilon $​ 딥러닝의 구조 보통 바이어스와 활성화함수는 그려넣지 않는다. 2022. 4. 14.
선형회귀모델로 보는 가중치(기울기,절편) 찾기 ; 경사하강법(GD) 경사하강법 ( Gradient Descent ) 손실함수가 최소가 되는 파라미터(모델의 가중치)의 값(기울기가 0인 곳)을 찾기위한 방법 어느 한 점 $ \theta_j^{(n)} $에서의 순간기울기를 구해본다. $ \theta_j^{(n)} $에서의 순간기울기의 반대 방향($ -\frac{\partial}{\partial \theta_j} J(\theta^{(n)}) $)으로 조금 이동($\gamma$)시킨다. 위의 과정을 순간기울기가 0으로 수렴될 때까지 반복한다. 위의 과정을 공식으로 나타낸다면 아래와 같다. $$ \theta_j^{(n+1)} = \theta_j^{(n)} - \gamma \frac{\partial}{\partial \theta_j} J(\theta^{(n)}) $$ 여기서 $ \.. 2022. 4. 14.
선형회귀모델로 보는 가중치(기울기,절편) 찾기 ; 최소제곱법(OLS)과 손실함수(Loss function) 실제 $i$번째 데이터 $x_i$, $y_i$ 일반적인 선형 회귀 모델 $$ y = \omega_0 + \omega_1 x_1 + \omega_2 x_2 + ... $$ 특징이 1개이고 1차항인 선형 회귀 모델 $$ y = \omega_0 + \omega_1 x_1 $$ 예측하는 선형 회귀 모델 $ \hat{y} = y$의 추정치, 예측값 $$ \hat{y} = \hat{\theta}_0 + \hat{\theta}_1 x_1 + \hat{\theta}_2 x_2 + ... $$ 특징이 1 개이고 1차항인 선형 회귀 모델 $$ \hat{y} = \hat{\theta}_0 + \hat{\theta}_1 x $$ 오차 $$e = y - \hat{y}$$ 손실함수 Loss function $J$ $$ J = \.. 2022. 4. 14.
데이터 표준화, 정규화 일반적으로 표준화와 정규화는 거희 같은 뜻으로 사용된다. 데이터 표준화 Data Standardization 보통 데이터를 수집하면 세계 곳곳에서 자료를 수집하기 때문에 단위 선택, 대소문자 구분, 약칭 활용 등 여러 가지 원인에 의해 다양한 형태로 표현되어 있다. 따라서 동일한 대상을 표현하는 방법을 일관성있게 데이터를 포맷하는 과정을 말한다. 1. 단위 환산 같은 데이터셋 안에서 서로 다른 측정 단위를 사용한다면, 전체 데이터의 일관성 측면에서 문제가 발생한다. 따라서, 측정 단위를 동일하게 맞출 필요가 있다. 흔히, 영미권에서는 주로 마일, 야드, 온스 등을 사용하고 있는데, 한국에서 사용하는 미터 평, 그램 등으로 변환하는 것이 좋다. 2. 자료형 변환 보통 파이썬에서 CVS, 엑셀, JSON, .. 2022. 4. 13.
728x90
반응형

티스토리툴바