Cov(x,y)는 다음과 같이 정리되고, 여기서 linearity 때문에 다음과 같은 property가 나온다.
독립과 covariance관계를 명확하게 생각해보자면
X,Y가 independent 하면, E(X)E(Y) = 0이니까 ( 2D LOTUS — happy8825 ) , Cov(X, Y) = 0 이다.
그치만 역은 성립하지 않는다.
반례) \( Z \sim N(0, 1) \), \( X = Z \), \( Y = Z^2 \) 이라 할 때,
\[ \text{Cov}(X, Y) = E(XY) - E(X)E(Y) \]
\[ = E(Z^3) - E(Z)E(Z^2) = 0 \]
여기서 covariance는 0이지만, X랑 Y는 independent하지 않다. 아주 dependent 한 function이다. covariance는 두 변수간의 선형적 관계를 측정하는것. 때문에 비선형적 관계는 covariance에서 capture 하지 못하기에, covariance 가 0이라고 꼭 independent 한건 아니다.
Correlation은 Covariance를 normalize한 형태이며, 다음과 같이 정의된다.
왜 -1에서 1사이인지는 proof에 정리되어있다.
Ex ) Covariance in multinomial - lumping property를 활용한 풀이이다 - lumping property는 여기 정리되어있음 ( Multinomial and Cauchy — happy8825)
Ex) X~Bin(n,p)인 경우 Var(x)를 구하는 과정이다.
Var(Xj)가 p(1-p)이니까 Var(x)는 \( np(1-p) + 2\sum_{i<j} \text{cov}(x_i, x_j) \) 이지만
cov(xj,xj)가 0 이니까 Var(x) = np(1-p)이다
Ex) X~Hgeom(w,b,n) 인 경우에 varaince는 어떻게 될까? 다음과 같이 구할 수 있다.
구하고 나서 보니까, np(1-p)는 Bin(n,p)의 varaiance이다. 그럼 앞에 \( \frac{N-n}{N-1} \) 이거는 비복원 추출에 따른 조정값이라고 생각하면 된다.
직관적으로, 극단적인 예시를 생각해봤을때, 만약 n이 1이면 \( \frac{N-n}{N-1} \) 가 1이된다. 복원추출이나 비복원추출이나 같으니까 Bin(n,p)의 variance랑 같아지는걸 볼수 있다.
또 만약 N(모집단이 어엄청 크고) n (표본)은 작은 경우, \( \frac{N-n}{N-1} \) 가 1에 가까워지는데, 생각해보면, 모집단이 엄청 크고 표본이 작으면 어차피 같은거를 뽑을 확률도 적어지는거니까 Bin(n,p)를 하는거랑 비슷해지기 떄문이라고 해석할수있다.