2.1.4 Prawdopodobieństwo całkowite, wzór Bayesa

Jeżeli zdarzenia B₁, B₂, ..., B_n wykluczają się parami i mają prawdopodobieństwa dodatnie, to dla każdego zdarzenia A zawartego w sumie zdarzeń B₁ ∪ B₂ ∪ ... ∪ B_n:
P(A) = P(A|B₁) · P(B₁) + P(A|B₂) · P(B₂) + ... + P(A|B_n) · P(B_n)
Powyższy wzór nazywamy wzorem na prawdopodobieństwo całkowite i pozwala nam na obliczanie prawdopodobieństw wielu zdarzeń nie tylko w doświadczeniach dwuetapowych. W doświadczeniach o większej liczbie etapów stosujemy ten wzór wielokrotnie. Zdarzenia B_i nazywamy często hipotezami.
Twierdzenie o prawdopodobieństwie całkowitym można zilustrować za pomocą tzw. drzewa stochastycznego.

Wzór na prawdopodobieństwo całkowite to suma iloczynów po wszystkich drogach, które kończą się w A. Drzewo stochastyczne zaczyna się początkiem, w węzłach drzewa umieszczamy wyniki kolejnych etapów doświadczenia. Węzły łączymy krawędziami . Obok każdej krawędzi dopisujemy prawdopodobieństwo otrzymania wyniku danego etapu. Suma prawdopodobieństw przyporządkowanych krawędziom wychodzącym z jednego węzła jest równa 1. Dowolny ciąg krawędzi łączący początek drzewa z jednym z końcowych węzłów nazywamy gałęzią drzewa. Każdej gałęzi odpowiada jeden wynik doświadczenia wieloetapowego. Prawdopodobieństwo wyniku odpowiadającego danej gałęzi drzewa równa się iloczynowi prawdopodobieństw przypisanych krawędziom, z których jest złożona gałąĽ (jest to tzw. reguła mnożenia dla drzew).

Twierdzenie Bayesa
Jeżeli zdarzenia B₁, B₂, ..., B_n wykluczają się parami i mają prawdopodobieństwa dodatnie, to dla każdego zdarzenia A zawartego w sumie zdarzeń B₁ ∪ B₂ ∪ ... ∪ B_n:
$P\left(B_k\right|A)=\frac{P\left(A\right|B_k\left)P\right(B_k)}{P\left(A\right|B_1\left)P\right(B_1)+P(A\left|B_2\right)P\left(B_2\right)+...+P\left(A\right|B_n\left)P\right(B_n)}$
Powyższy wzór nazywamy wzorem Bayesa. Twierdzenie Bayesa stosujemy głównie wtedy, gdy znamy wynik doświadczenia i pytamy o jego przebieg.