Multivariable linear regression

지난 시간까지 Linear regression에서 input variable의 개수가 하나일 때의 Hypothesis, Cost 함수, Gradient descent algorithm까지 다루어봤다. 사실 현실 세계에서 변수 하나로 종속 변수를 예측하는 경우는 많지 않다. 주로 여러 개의 변수를 통해 종속 변수를 예측해내곤 한다. 

Multivariable Linear Regression

Input variable이 여러 개가 될 때, 우리는 가설을 바꾸어주어야 한다.

input 변수가 3개일 때의 hypothesis와 cost 함수

n 개의 input variable을 가진 경우의 hypothesis

이 경우, 우리는 수식을 간결하게 표현하기 위해 행렬 (matrix) 를 사용한다.

행렬의 곱셈을 통해 나타낸 Hypothesis

x1	x2	x3	Y
73	80	75	152
93	88	93	185
89	91	90	180
96	98	100	196
73	66	70	142

이러한 x1, x2, x3라는 입력변수에 따른 Y값을 가진 데이터가 있다고 할 때, 우리는 하나의 행을 Instance 라고 표현한

다.

Matrix 의 장점은 여러 개의 Instance 에 대한 연산을 한꺼번에 할 수 있다는 점이다.

matrix를 사용하지 않을 경우, 우리는 각각의 instance에 대해서 instance 수만큼의 연산을 진행해야 한다. instance가 10000개인 데이터의 경우, 10000번의 연산을 실행해야 하는 것이다. 

하지만 matrix를 사용할 경우, 우리가 실행할 연산은 1번이면 족하다. (물론 컴퓨터는 똑같은 연산을 진행하기는 하겠지만, 코드의 복잡도, 컴퓨터의 계산 방식이 달라지게 된다. )

행렬을 이용한 연산

 우리가 Matrix를 사용할 때는, 가중치의 크기를 결정해주어야 한다.

가설 함수

H(x) 의 크기가 (a,b) , X의 크기가 (c,d), W의 크기가 (n,m)이라고 해보자

X는 데이터이므로 크기가 결정되어 있다. 데이터가 몇 행 몇 열인지에 따라 c와 d값은 결정된다. 

c는 instance, 즉 행의 크기이고 d는 variable, 즉 열의 크기(y값을 제외한)이다. 

H(x) 역시 우리가 보고자 하는 Y값을 담고 있기 때문에 크기가 정해져 있다. Linear Regression의 경우 결과값이 하나만 나오기 때문에 b 값은 1로 정해져 있다. 또한, 하나의 행별로 Y 값이 나오기 때문에 a값은 c와 같이 instance의 개수이다. 

우리는 가중치인 W 의 크기를 결정해 주어야 한다. 

W의 크기의 결정은 행렬의 곱셈의 원리를 생각해보면 쉬운데, 결국

행렬의 곱셈을 생각해보자

d와 n이 같아야 하고, c와 a, m과 b가 같아야 한다. 

결국 W의 크기 중 n은 variable의 개수, m은 ouput의 수가 된다.