본문 바로가기

DataScience

(9)

[Natural Language Processing with Deep Learning] 01. Intro & Word Vectors 본 포스팅은 스탠포드 Christopher Manning 교수님의 [Stanford CS224N: Natural Language Processing with Deep Learning]수업을 바탕으로 제작되었습니다. 이외에도 추가 설명이 필요한 개념 등 참고한 자료는 링크와 출처를 남겨두었습니다. 강의 영상 : https://www.youtube.com/watch?feature=shared&v=rmVRLeJRkl4 강의 자료 : https://web.stanford.edu/class/cs224n/slides/ 개요 2023년을 강타한 openAI의 ChatGPT를 이어 구글의 Bard, 마이크로소프트의 Bing이 연달아 출시되며 온 사회가 생성형 AI 기반 언어 모델을 주목하고 있다. 자연스럽게 NLP(N..

Multivariable linear regression 지난 시간까지 Linear regression에서 input variable의 개수가 하나일 때의 Hypothesis, Cost 함수, Gradient descent algorithm까지 다루어봤다. 사실 현실 세계에서 변수 하나로 종속 변수를 예측하는 경우는 많지 않다. 주로 여러 개의 변수를 통해 종속 변수를 예측해내곤 한다. Multivariable Linear Regression Input variable이 여러 개가 될 때, 우리는 가설을 바꾸어주어야 한다. 이 경우, 우리는 수식을 간결하게 표현하기 위해 행렬 (matrix) 를 사용한다. x1 x2 x3 Y 73 80 75 152 93 88 93 185 89 91 90 180 96 98 100 196 73 66 70 142 이러한 x1, x2..

Linear Regression Cost Function & Gradient Descent Algorithm Linear Regression 의 관심 지난 시간에 알아봤던 Linear Regression 의 Cost 함수는 다음과 같다. 우리의 관심은 , 우리가 조작 가능한 W 값(x 의 기울기)과 b 값(y 절편)을 조정하여 Cost 함수 값이 가장 적게 나오는 모델을 결정하는 것이다. Gradient Descent Algorithm 우선 지난 번 예시로 살펴보았던 데이터를 보자 X Y 1 1 2 2 3 3 또한 가설 함수 H(x) = Wx 라고 하면, (b 값을 0이라고 하자) 다음과 같은 Cost 함수가 표현된다. 이 함수(Cost 함수)의 모형을 그려보면 다음과 같다. W 값에 따라 Cost 함수값이 달라지는 것을 확인할 수 있다. W가 0일 때는 Cost 값이 0.4667이고, 1로 갈수록 점점 줄어들..

Tensorflow Linear Regression Implementation Linear Regression의 원리에 대해 가볍게 알아봤으니, tensorflow를 통해 간단한 Linear Regression을 구현해보고자 한다. 지난 번에 사용했던 값을 사용하고자 한다. import tensorflow as tf x_train = [1,2,3] #학습할 x값 y_train = [1,2,3] #학습할 y값 #Tensorflow 가 사용하는 Variable : Tensorflow가 자체적으로 변화시키는 변수 _ 학습하는 과정에서 변경시킴 W = tf.Variable(tf.random.normal([1]), name = 'weight') # Weight #값이 하나인 array를 주게 됨 b = tf.Variable(tf.random.normal([1]), name = 'bias')..

Linear Regression Linear Regression 기초 Linear Regression은 연속적인 데이터의 추이를 바탕으로 레이블(결과값)을 예측하는 Supervised Learning 의 일종이다. 만약 다음과 같은 데이터가 있다고 할 때, X Y 1 1 2 2 3 3 우리는 다음과 같은 2차원 상의 그래프를 그릴 수 있다. 우리가 하고자 하는 작업은 위의 선 중에 어떤 선이 가장 Data의 추이를 잘 설명하는지 가설을 세우고 선택하는 것이다. 즉, 우리가 가장 먼저 할 일은 Hypothesis (가설)을 세우는 작업이다. 그 가설은 "Linear 한 Model이 우리의 Data에 맞을 것이다. " 는 가설이다. 우리는 이제부터 Linear한 선을 찾는 작업에 들어간다. 위에 있는 그래프 그림에서 그려진 선들은 각각이 ..

Tensorflow 기본 Operation Tensorflow의 기본적인 Operation에 대해 알아보았다. Tensorflow는 data flow graphs를 사용해 numerical 한 계산을 하는 Library이다. Edge 에 돌아다니는 Data들을 Tense라고 하는데, 그들의 돌아다님, 즉 흐름을 Flow라고 하고, 그곳에서 나온 이름이 Tensorflow이다. 본격적으로 Tensorflow 코드를 실행해보려고 하는데, 또 다시 버전 이유의 문제가 생겼다. "AttributeError : module 'tensorflow' has no attribute 'Session'" tensorflow version 1로 작성된 코드이기 때문에 Session 함수를 사용했고, version 2에서부터는 Session이 적용되지 않기 때문에 다..

Tensorflow in Pycharm 그리고 Google Colab 인터프리터 활용을 위해 Pycharm을 설치했다. Pycharm은 구글에서 Pycharm 을 검색한 후, 무료 버전을 설치하면 된다. 설치 후 , Create Project를 하면, 인터프리터를 설정하는 부분이 나오는데, Conda 에 설치되어 있는 Python tensorflow 버전으로 설정해주면 된다. Project 를 만들고, 'File -> New -> Python File' 을 입력해서 새로운 파일을 만든 후, tensorflow 가 잘 실행되는지 확인해보았다. prompt에서 입력했던 내용을 똑같이 입력해보았는데, import tensorflow as tf node1 = tf.constant(3.0, dtype = tf.float32) node2 = tf.constant(5.0) tf.pri..

Tensorflow 와 머신러닝 머신러닝이란 ? 머신러닝은 일종의 Software이다. 프로그래머가 규칙을 일일히 코드로 작성하지 않아도, 데이터 속에서 규칙을 찾아내고, 알고리즘을 컴퓨터가 만들어 낸다. 즉 컴퓨터가 직접 데이터를 보고 학습을 하는 것이다. 머신러닝은 크게 두 가지로 분류할 수 있는데, 학습해야 하는 데이터가 정해지고, 레이블 (결과값)이 있는 데이터로 학습하는 Supervised Learning (지도학습) 과 레이블이 없고 컴퓨터가 데이터를 보고 스스로 학습해야 하는 Unsupervised Learning(비지도학습)이 있다. 그 중에 우선 지도학습에 대해서 알아보고자 한다. 지도학습은 위에서 언급했듯이 결과값이라 할 수 있는 레이블이 정해져있다. 예를 들어, 사람의 키를 예측한다면 0부터 2m 등 연속적인 숫자를..

이전 1 2 다음

티스토리툴바