https://process-mining.tistory.com/93 Maximum Likelihood란? (MLE란?)이번 포스팅에서는 Maximum Likelihood가 무엇인지에 대해 알아보겠다. 이 포스팅은 정규 분포에 대한 이해가 있다고 가정한다. Likekihood Likelihood란, 데이터가 특정 분포로부터 만들어졌을(generate) 확process-mining.tistory.com

KL Divergence 이해를 위해 이전 글의 개념이 필요합니다.2025.04.04 - [MachineLearning & DeepLearning/유용한 개념] - Cross-Entropy (크로스 엔트로피) Cross-Entropy (크로스 엔트로피)Entropy$$H(x)=-\sum_{i=1}^n p\left(x_i\right) \log p\left(x_i\right)$$엔트로피는 불확실성의 척도로 정보이론에서의 엔트로피는 불확실성을 나타내며 엔트로피가 높다는 것은 정보가 많고 확률이 낮다는 것occident.tistory.com KL Divergence 정의쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 ..

Entropy$$H(x)=-\sum_{i=1}^n p\left(x_i\right) \log p\left(x_i\right)$$엔트로피는 불확실성의 척도로 정보이론에서의 엔트로피는 불확실성을 나타내며 엔트로피가 높다는 것은 정보가 많고 확률이 낮다는 것을 의미한다. 이것은 특정 확률 분포내에서의 정보량의 기댓값을 의미합니다. 확률이 균등할수록 엔트로피가 크다. 엔트로피가 높을 수록 데이터를 예측하기 어렵다는 것입니다. 단위는 비트(bits)입니다. 위의 그림은 (위)분포와 (아래)엔트로피를 나타낸다. 즉, 정보가 많거나 균등한 분포일 수록 엔트로피가 커지고 한가지 특정한 값이 잘 나올 것이라는 예측이 무의미해진다.반면, 100%의 확률로 예측이 가능한 분포는 엔트로피가 0이다. Cross Entropy$$..

Random Variable (확률 변수)Random Variable(확률 변수)는 무작위적인 실험의 결과를 수치로 표현한 것이다. 쉽게 말해, 어떤 확률적인 현상이 일어났을 때 그 결과를 숫자로 나타내는 함수라고 보면 된다. 즉, 확률 변수는 표본공간(sample space)에서 실수(real number)로 가는 함수이다. 가장 간단한 예시로는, 동전 던지기를 하여 앞면이 나오면 1, 뒷면이 나오면 0이라고 약속하는 과정 자체를 확률 변수를 설정하는 것과 같다. Probability distribution function (확률 분포 함수)확률 분포는 확률 변수가 특정한 값을 가질 확률을 나타내는 함수를 의미한다. 예를 들어, 주사위를 던졌을 때 나오는 눈에 대한 확률변수가 있을 때, 그 변수의 확률..

1. Expectation1.1. Expectation of discrete random variable (랜덤 변수의 기대값)Discrete random variable의 기대 혹은 평균이라 불리는 예상되는 가치의 정의$$ E(X)=\sum_x x P(X=x) $$Infinite form의 경우에는$$ E(X)=\sum_{j=1}^{\infty} x_j P\left(X=x_j\right) $$ 1.2. Linearity of expectation (기대값의 선형성) $$ \begin{gathered} E(X+Y)=E(X)+E(Y) \\ E(c X)=c E(X) \end{gathered} $$ 1.2.1. 예제For $X \sim \operatorname{Bin}(n, p)$ $$ \begin{align..

1. Conditional Probability1.1.Definition: Conditional Probability, 조건부 확률$$ P(A \mid B)=\frac{P(A \cap B)}{P(B)} $$$P(A)$는 A의 prior probability(사전 확률)라 불리며, $P(A \cap B)$는 A의 posterior probability(사후 확률)라 부른다. 1.2. Theorem$$ P(A \cap B)=P(B) P(A \mid B)=P(A) P(B \mid A) $$ 1.3. Theroem: Probability of the intersection of $n$ events, n개의 교차하는 확률$$ \begin{aligned} &\text { For any events } A_1, \l..