最大似然估計 Maximum likelihood - I

學習筆記：ML，max likelihood 最大似然律

看到幾乎要爛的 XD

============================================
大致上來說, 會先用離散的機率說明, 從樣本猜猜主體是誰
如果有黑白棋各兩桶, A桶白子機率 1/5, B桶白子機率 4/5, 
對某桶拿了九子, W W B W W B B W W, 猜最可能是哪一桶？ 

第一次遇上這類比喻, 只想把抽樣結果, 統計一下. 但 L(x) 不這樣玩，


L(x=A) = 可能是 A 的機率 = 1/5 * 1/5 * .... = 4^3 / 5^9
L(x=B) = 可能是 B 的機率 = 1/4 * 4/5 * .... = 4^6 / 5^9

可能是 A 的機率比較大, 所以是 A. 

老實說第一次在 wiki 上看到這個範例時，
很疑惑為何不能統計一下樣本呢? 比如白子出現機率是 6/9, 比較接近 4/5 之類的？

原因是，我們沒辦法說樣本的結果就是母體結果，只能從一次次的樣本累積，
判定是 A 還是 B 的可能性較大。

============================================

再繼續進入連續的機率函數 
如果知道身高是高斯分布, 但不知道 mean 和 sigma 
只有樣本, 要怎麼找出 mean 和 sigma 呢?

theta = { mean, sigma)
theta = max L(h; theta)
L(h; theta) = p(h1|theta) p(h2|theta) p(hk|theta)

未知數是 theta 
要找 theta, 能使 Likelihood 最大
而 L = 在 theta 下的連乘

通常轉個方法, 用 log 變成連加, 因為 p < 1, 就算連乘最大也只是小於 1, log P < 0
負的最大, 不如 -logP 最小. 

l = log L

而極值問題, 就可以用微分解決

∂l/∂ mean = 0 => ... 
∂l/∂ sigma = 0 => ...