Bayesian Network 1 - 확률 개념 및 키워드 정리

Probability

일반적으로 사건 A가 일어날 확률은 $$P(A)$$로 표현하며, 이를 unconditional probability 또는 marginal probability라고 부릅니다.

---

Marginalize의 의미

Marginalize란 어떤 변수에 대해 확률을 구할 때, 다른 변수들을 합산(또는 적분)하여 그 변수만 남기는 과정을 말합니다.

예를 들어, 사건 A의 확률을 B를 기준으로 marginalize 하면: $$ P(A) = \sum_{b} P(A, b) $$ 연속 변수의 경우: $$ P(A) = \int P(A, b) \, db $$ 이렇게 다른 변수들을 "없애고" A만 남기는 것을 marginalization이라고 합니다.

---

Conditional Probability

B라는 사건이 일어난 경우 A 사건이 일어날 확률은 다음과 같이 씁니다.

$$P(A \mid B)$$

이를 conditional probability(조건부 확률)이라고 합니다.

---

Joint Probability

조건부 확률의 정의를 이용하면 두 사건이 동시에 일어날 확률은

$$ P(A, B) = P(A) \cdot P(B \mid A) $$

또는

$$ P(A, B) = P(B) \cdot P(A \mid B) $$

로 쓸 수 있습니다.

---

Independence와 Dependence

• 독립(Independent): $$P(A, B) = P(A)P(B)$$ 또는 $$P(A \mid B) = P(A)$$
• 종속(Dependent): 위 독립 조건이 성립하지 않는 경우

---

Bayes’ Theorem

위 두 식을 같다고 두고 $P(A \mid B)$에 대해 정리하면:

$$ P(A)P(B \mid A) = P(B)P(A \mid B) $$

양변을 $$P(B)$$로 나누면:

$$ P(A \mid B) = \frac{P(B \mid A) \cdot P(A)}{P(B)} $$

이것이 바로 베이즈 정리입니다.

---

Markov Assumption

Markov Assumption은 "어떤 변수의 확률은 그 변수의 직전(또는 부모) 변수들에만 의존한다"는 가정입니다. 베이지안 네트워크에서는 이를 이용해 전체 joint probability를 효율적으로 factorization 할 수 있습니다.

일반적인 형태: $$ P(X_1, X_2, \dots, X_n) = \prod_{i=1}^n P(X_i \mid \text{Parents}(X_i)) $$

---

Mediator 구조와 Bayesian Network Factorization

Mediator 구조는 변수 X가 M을 거쳐 Y에 영향을 주는 구조입니다:

X → M → Y

이 경우 joint probability factorization은 다음과 같습니다.

$$ P(X, M, Y) = P(X) \cdot P(M \mid X) \cdot P(Y \mid M) $$

여기서 M은 X와 Y 사이의 매개 역할을 하며, M이 주어지면 X와 Y는 조건부 독립입니다: $$ P(Y \mid X, M) = P(Y \mid M) $$

---

정리

• Marginal Probability: $$P(A)$$
• Conditional Probability: $$P(A \mid B)$$ — B가 일어난 경우 A의 확률
• Joint Probability: $$P(A, B) = P(A)P(B \mid A) = P(B)P(A \mid B)$$
• Independence: $$P(A, B) = P(A)P(B)$$
• Bayes’ Theorem: $$P(A \mid B) = \frac{P(B \mid A) \cdot P(A)}{P(B)}$$
• Markov Assumption: 각 변수는 오직 부모 변수에만 의존
• Mediator 구조 Factorization: $$P(X, M, Y) = P(X)P(M \mid X)P(Y \mid M)$$