Maximum Likelihood Estimation (MLE) Example

QUESTION 3 (Q3):

Suppose that X = {x1, x2, …, x10} are the i.i.d random samples of the penalty kick taken by a football player.

Furthermore, suppose that the samples form a binary distribution, parameterized by p, where p is unknown.

X = {0, 0, 1, 1, 1, 0, 1, 0, 1, 1} Note: xi = 1 means the football player successfully makes a score on the kick and xi = 0, otherwise (1 <= i <= 10).

Find the MLE parameter of p !

ANSWER 3 (A3):

• Di sini bisa kita lihat bahwa Binary Distribution yang dimaksud adalah bisa disama artikan dengan Binomial Distribution karena memenuhi beberapa syarat berikut.
• Terdiri dari n percobaan
• Memiliki peluang yang sama setiap percobaan
• Hasil dari sebuah percobaan hanya terdiri dari 2 hasil yaitu sukses(1) atau gagal(0) atau yang dapat diartikan sama
• Setiap percobaan adalah saling bebas atau independen
• X = {0, 0, 1, 1, 1, 0, 1, 0, 1, 1} berarti kita tahu bahwa 6 sukses dan 4 gagal. X = 6
• Jumlah percobaan (n) adalah 10 (kali)

Maximum Likelihood Estimation (MLE) of p ?

Pertama yang kita perlu lihat adalah kita akan menggunakan likelihood function yang sesuai dengan distribusi yang diberikan. Dalam Q3 menggunakan Binomial sehingga kita bisa menggunakan likelihood function sebagai berikut.

Kemudian kita ubah ke bentuk Log karena di dalam bentuk Log pun value dari p akan tetap maksimum karena slope akan 0. Dan juga nantinya ketika kita turunkan akan jauh lebih mudah ketika dalam bentuk Log. Untuk pembuktiannya bisa kita lihat pada curve di bawah ini.

Jadi seperti berikut

Kemudian perkalian (multiplication) akan berubah menjadi penambahan (addition) seperti berikut.

Sehingga kemudian kita dapat mengubah eksponensial menjadi perkalian seperti berikut.

Selanjutnya kita mendapat turunan(derivative) terhadap p sebagai berikut. Di sini kita juga menerapkan chain rule untuk mempermudah dalam proses mendapatkan derivative/turunannya.

Selanjutnya kita akan set turunannya menjadi 0 karena kita tahu bahwa untuk mencapai MLE harus berada di titik (slope) 0.

#machinelearning #mle #maximumlikelihood #telkomdeveloper #maths #statistics #telkomdigital