1. Cauchy-Schwarz Inequality\[ |\mathbb{E}[XY]| \leq \sqrt{\mathbb{E}[X^2] \mathbb{E}[Y^2]} \] (\(X\)와 \(Y\)가 uncorrelated이라면 굳이 이런 inequality 쓸 필요없이 바로 구해주면 됨.)\[ \mathbb{E}[XY] = \mathbb{E}[X] \mathbb{E}[Y] \]이 부등식은 사실 correlation이 -1에서 1사이다 랑 같은 부등식임. X,Y의 mean = 0이라고 가정하고 식을 유도해보면 코시 슈바르츠 부등식과 똑같은 식이 나온다.2. Jensen's Inequality\(f(x)\)가 convex라면 다음 부등식이 성립한다.\[ f(\mathbb{E}[X]) \leq \mathbb{E..

Conditional ExpectationDiscrete하고 Continuous한 경우 다음과 같은 식으로 써줄 수 있다. 예시를 몇개 보자 X, Y가 iid이고 포아송 분포를 따를경우linearity에 의해 다음과 같이 써줄 수 있다.그럼 E(X|X+Y)는 어떻게 구할까X+Y를 T라고 놓고 식을 쭉 전개해보자그러면 X|T가 binary 분포를 따름을 확인할 수 있기에, E(X|T)도 쉽게 구할 수 있다. 이거를 symmetric 한 성질을 이용해서 더 쉽게 구할 수 있다. 밑에 식 참고:)Properties(1) E(h(X)Y | X) = h(X)E(Y | X) h(X)가 이미 X에 대해 알려진 값이기 때문에 밖으로 뺴낼 수 잇음(2) E(Y | X) = E(Y) 만약 X와 Y가 독립이라면, 조건부 기..

슬슬 머리가 아파지는 시점이다.. Beta distribution Gamma distribution,, 점점 저번학기 볼최입의 악몽이 떠오른다.. Beta-Gamma Connection기호로만 봤을때는 이게 뭘 구하라는거지 싶을 수 있겠지만, 이 책 저자가 아주 이해하기 좋은 예시와 함께 설명해주었다. 은행을 갈떄 보통 우체국도 같이가니까 이 상황을 생각해보자. a는 은행을 갔을때 대기해야하는 시간이고, b는 우체국에서 대기해야하는 시간이다. 그럼 T는 은행을 갔을때 대기해야하는 시간 + 우체국에서 대기해야하는시간이니까 T는 Gamma(a+b, 람다)를 따르게 될것이다. 이랬을때 과연 우리는 은행+우체국 에서 기다리는 시간 중에 은행에서 대기하는 시간을 알 수 있을까? T의 분포는 알았으니까, W의 분포..

Gamma Function\[ \Gamma(a) = \int_0^\infty x^{a-1} e^{-x} \, dx, \quad (a > 0) \]\(\Gamma(n) = (n-1)!\)\(\Gamma(x+1) = x \Gamma(x)\)\(\Gamma\left(\frac{1}{2}\right) = \sqrt{\pi}\)Recursive한 식의 특성상 1/2 인 경우를 통해 다른 감마(분수)꼴의 값도 쭉쭉 구할수 있음. 예를 들면:)\[ \Gamma\left(\frac{3}{2}\right) = \frac{1}{2} \Gamma\left(\frac{1}{2}\right) = \frac{\sqrt{\pi}}{2} \]Gamma Distribution감마 분포의 PDF는 다음과 같다. \[ f_X(x) = \..

베타 분포 (Beta Distribution)베타 분포는 \(0\)과 \(1\) 사이의 값에 대해 정의되는 연속 확률 분포이다. 두 개의 양수 모수 \(a\)와 \(b\)를 통해 분포의 모양이 결정된다.베타 분포의 확률 밀도 함수는 다음과 같이 정의된다.\[ f(x; a, b) = \frac{\Gamma(a + b)}{\Gamma(a) \Gamma(b)} x^{a-1} (1-x)^{b-1}, \quad 0  아주 유연한 함수라서 a랑 b를 뭐로 뒀냐에 따라 여러 형태의 함수를 표현할 수 있다.예를 들어) Laplace Rule of SuccessionLaplace Rule of Succession은 사실 베타 분포를 Prior Distribution로 사용하는 경우에 해당하는데, 다음과 같은 식으로 p|..

Change of Variables확률변수 \( X \)가 PDF \( f_X \)를 따르고, \( Y = g(X) \)일 때, (g는 미분 가능하고 strictly increasing 함수) \[ f_Y(y) = f_X(x) \left| \frac{dx}{dy} \right| \quad (y = g(x) \Leftrightarrow x = g^{-1}(y)) \] 증명은 다음과 같다. Ex ) Lognormal Distribution  \( Y = e^Z \) 이고   \( Z \sim N(0, 1) \)즉 log를 취하면 normal distribution을 따르는 분포이다. 이거의 PDF를 구해보자.  위에서 볼 수 있듯이  \( Y \)가 log normal 분포를 따르는 경우, 그 PDF를 \(..

Cov(x,y)는 다음과 같이 정리되고, 여기서 linearity 때문에 다음과 같은 property가 나온다.  독립과 covariance관계를 명확하게 생각해보자면X,Y가 independent 하면,  E(X)E(Y) = 0이니까 ( 2D LOTUS — happy8825 ) , Cov(X, Y) = 0 이다.그치만 역은 성립하지 않는다. 반례) \( Z \sim N(0, 1) \), \( X = Z \), \( Y = Z^2 \) 이라 할 때,\[ \text{Cov}(X, Y) = E(XY) - E(X)E(Y) \]\[ = E(Z^3) - E(Z)E(Z^2) = 0 \] 여기서 covariance는 0이지만, X랑 Y는 independent하지 않다. 아주 dependent 한 function이다. ..

우선 두 표준정규본포를 더했을떄, 다음과 같은 분포를 따른다 (밑에 ex 풀때 쓰이는 theorem - MGF로 증명도 가능하다.) Ex ) 두 확률변수 \( Z_1 \)과 \( Z_2 \)가 서로 독립적으로 표준정규분포 \( N(0,1) \)을 따른다고 했을떄  \( Z_1 \)과 \( Z_2 \) 사이의 거리 \( |Z_1 - Z_2| \)의 기대값 구하기   Multinomial DistributionMultinomizal Distribution이란, 여러 개의 범주가 있는 경우에 특정 횟수의 실험에서 각 범주에 속하는 사건의 개수를 나타내는 분포이다. Binomial 의 generalize 된 형태라고 생각하면 된다.  기본 assumption\( \mathbf{X} = (X_1, X_2, \do..

2차원 로터스(2D LOTUS)는 두 개의 랜덤 변수 \(X\)와 \(Y\)가 있을 때, 이들의 결합 분포를 이용하여 \(X\)와 \(Y\)의 함수의 기댓값을 계산하는 방법이다.2D LOTUS함수 \(g\)가 \(\mathbb{R}^2 \to \mathbb{R}\)일 때, \(X\)와 \(Y\)가 discrete라면$$ E(g(X, Y)) = \sum_x \sum_y g(x, y) P(X = x, Y = y) $$만약 \(X\)와 \(Y\)가 continuous이고, joint pdf \(f_{X,Y}\)를 가지고 있다면,$$ E(g(X, Y)) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f_{X,Y}(x, y) \, dx \, dy $$그럼 ..

균등 분포로부터 logistic 분포를 생성할 수 있음  증명 : 즉 CDF의 역함수를 사용해 uniform 분포에서 logistic 분포를 생성할 수 있다.