[확률론, Probability] 기대값, expectation

1. Expectation

1.1. Expectation of discrete random variable (랜덤 변수의 기대값)

Discrete random variable의 기대 혹은 평균이라 불리는 예상되는 가치의 정의

$$
E(X)=\sum_x x P(X=x)
$$

Infinite form의 경우에는

$$
E(X)=\sum_{j=1}^{\infty} x_j P\left(X=x_j\right)
$$

 

1.2. Linearity of expectation (기대값의 선형성)

 $$
\begin{gathered}
E(X+Y)=E(X)+E(Y) \\
E(c X)=c E(X)
\end{gathered}
$$

 

1.2.1. 예제

For $X \sim \operatorname{Bin}(n, p)$

$$
\begin{aligned}
E(X) & =\sum_{k=0}^n k P(X=k)=\sum_{k=0}^n k\binom{n}{k} p^k q^{n-k} \\
& =n \sum_{k=0}^n\binom{n-1}{k-1} p^k q^{n-k} \quad\left(\because k\binom{n}{k}=n\binom{n-1}{k-1}\right) \\
& =n p \sum_{k=1}^n\binom{n-1}{k-1} p^{k-1} q^{n-k}=n p \sum_{j=0}^{n-1}\binom{n-1}{j} p^j q^{n-1-j} \\
& =n p \quad\left(\because\binom{n-1}{j} p^j q^{n-1-j}=(p+q)^{n-1}=1\right)
\end{aligned}
$$

For $X=I_1+\cdots+I_n, I_k \sim \operatorname{Berp}(p), E(X)=E\left(I_1\right)+\cdots+E\left(I_n\right)=n p$

이항 분포의 Expectation은 n번의 Bernoill 분포의 덧셈과 같다.

 

1.3. Geometric distribution (기하 분포)

기하 분포는 성공할 때까지의 확률이다.

예를 들어, 주사위 6이 나오는 기하 분포에서 10번 던져서 6이 처음 나왔다면, 0.1의 확률을 가진다.

$$
X \sim \operatorname{Geom}(p)
$$

 

1.4. Geometric distribution's PMF (기하 분포의 확률질량함수)

$$
P(X=k)=q^k p
$$

확률의 합은 1이 되어야 한다.

$$
\sum_{k=0}^{\infty} q^k p=p \sum_{k=0}^{\infty} q^k=p \cdot \frac{1}{1-q}=1
$$

 

1.4. Geometric distribution's expectation (기하 분포의 기댓값)

$$
E(X)=\sum_{k=0}^{\infty} k q^k p=\frac{q}{p}
$$

 

증명:

$$
\begin{gathered}
\sum_{k=0}^{\infty} q^k=\frac{1}{1-q} \\
\sum_{k=0}^{\infty} k q^{k-1}=\frac{1}{(1-q)^2} \quad \text { (derivative both sides) } \\
\therefore E(X)=\sum_{k=0}^{\infty} k q^k p=p q \sum_{k=0}^{\infty} k q^{k-1}=p q \frac{1}{(1-q)^2}=\frac{q}{p}
\end{gathered}
$$

 

1.5. Negative Binomial distribution (음의 이항 분포)

n번째 성공까지 걸린 실패 횟수에 대한 분포

$r$: 목표 성공 횟수 $p$: 성공 확률

$$
P(X=n)=\binom{n+r-1}{r-1} p^r q^n
$$

 

k=1인 음의 이항 분포는 기하 분포이다.

 

1.6. Indicator Random Variable $I(A)$ (지시 함수)

$$
I_A= \begin{cases}1 & \text { if } A \text { occurs } \\ 0 & \text { otherwise }\end{cases}
$$

어떤 사건이 발생하면 1, 발생하지 않으면 0인 랜덤 변수

 

기본적으로, $I_A \sim \operatorname{Bern}(p)$를 따른다.

 

1. $\left(I_A\right)^k=I_A$ (for any positive integer $k$ )

• $I_A \in\{0,1\}$ 이므로:
  •  $0^k=0,1^k=1 \rightarrow$ 항상 $I_A$
• 아무리 거듭제곱해도 값은 변하지 않음

2. $I_{A^c}=1-I_A$

• $A^c$ : 사건 $A$ 의 여사건 (A가 안 일어남)
• A가 일어나면 $\rightarrow I_A=1, I_{A^c}=0$
• A 가 안 일어나면 $\rightarrow I_A=0, I_{A^c}=1$
• 그래서: $I_{A^c}=1-I_A$

3. $I_{A \cap B}=I_A \cdot I_B$

• 두 사건 $\mathrm{A}, \mathrm{B}$ 가 모두 일어날 때만 $A \cap B$ 가 일어남
• $I_A=1, I_B=1 \rightarrow I_A I_B=1$
• 그 외엔 둘 중 하나가 $0 \rightarrow$ 곱하면 0
• 그래서:$I_{A \cap B}=I_A I_B$

4. $I_{A \cup B}=I_A+I_B-I_A I_B$

• $A \cup B$ 는 A 또는 B 가 일어나는 경우
• 단순히 $I_A+I_B$ 하면, 둘 다 일어난 경우가 중복됨
• 그래서 그 부분을 $I_A I_B$ 만큼 한 번 빼줌
• 수식: $I_{A \cup B}=I_A+I_B-I_A I_B$

 

1.7. Fundamental bridge between probability and expectation (확률과 기댓값의 연결 다리)

어떤 사건 A에 대해, 그 사건이 일어날 확률 $\mathbb{P}$는
그 사건에 대한 지시 변수 $I_A$​의 기댓값과 같다.

$$
\mathbb{P}(A)=\mathbb{E}\left[I_A\right]
$$

 

1.8. Survival Function

Let $X$ be a nonnegative integer-valued r.v. Let $F$ be the $C D F$ of $X$, and $G(x)=1-F(x)=P(X>x)$. The function $G$ is called the survival function of $X$. Then

$$
E(X)=\sum_{k=0}^{\infty} G(n)
$$

That is, we can obtain the expectation of $X$ by summing up the survival function (or tail probability of the distribution)

 

 

1.9. Law of the unconscious statistician (LOTUS)

$$
\begin{aligned}
&E[g(X)]=\sum_x g(x) P(X=x)
\end{aligned}
$$

어떤 함수의 expectation은 위의 수식과 같다.

예제:

$$
\begin{aligned}
E(X) & =\sum_{n=0}^{\infty} n p_n \\
E\left(X^3\right) & =\sum_{n=0}^{\infty} n^3 p_n
\end{aligned}
$$

 

1.10. Variance and Standard deviation

$$
\operatorname{Var}(X)=E(X-E (X))^2
$$

$$
S D(X)=\sqrt{\operatorname{Var}(X)}
$$