Bajesovski pristup u ocjenjivanju parametara

---

Do sada smo parametar \(\theta\) posmatrali kao fiksiran broj čija je vrijednost nepoznata i koristili podatke da ocijenimo njegovu vrijednost. Tačnije, tretirali smo uzorak kao realizaciju nekih slučajnih veličina, a parametar kao konstantu. Bajesovski pristup u ocjenjivanju parametara opisuje neodređenost parametra \(\theta\) raspodjelom vjerovatnoća na nekom prostoru dopustivih parametara \(\Theta\). Ovaj pristup se sastoji u tome da se za \(\theta\) pretpostavi neka raspodjela koju nazivamo apriornom raspodjelom, a \(p(x|\theta)\) bi bila raspodjela uzorka pri datom \(\theta\) (ta raspodjela može biti diskretna ili apsolutno neprekidna, pa u zavisnosti od toga \(p(x|\theta)\) je funkcija gustine ili vjerovatnoća iz zakona raspodjele).
Neka su \(X=(X_1,X_2,\dots,X_n)\) slučajne veličine sa zajedničkom raspodjelom \(p(x|\theta)\), gdje je \(\theta\) realan parametar iz skupa \(\Theta\). \(q(\theta)\) je apriorna raspodjela za \(\theta\). Tada se aposteriorna raspodjela, \(q(\theta|x)\), računa po formuli: \[ q(\theta|x)=\frac{p(x|\theta)q(\theta)}{\int\limits_{\Theta}p(x|\theta)q(\theta)d\theta} \] Uporedite ovu formulu sa Bajesovom formulom koju znate od ranije.

---

Zadaci

---

1. Neka je \(X\) iz familije Bernulijevih raspodjela sa parametrom \(\theta\) i neka je apriorna raspodjela za \(\theta\) \(\beta(2,3)\). Naći aposteriornu ocjenu za \(\theta\).
   Rešenje: \[ \theta | x \sim \beta(\small\sum\limits_{k=1}^n x_k+2,\small\sum\limits_{k=1}^n x_k+3)\]

gf <- function(theta, a, b, n) {
x1 <- sample(c(0, 1),
n,
replace = T,
prob = c(1 - theta, theta))
# apriorna gustina (plavo)
curve (
dbeta (x , a , b) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)
# aposteriorna gustina (crveno)
curve (
dbeta (x, sum(x1) + a , n - sum(x1) + b) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)
}
gf(0.5,2,3,100) # primjer za theta=0.5

gf(0.1,2,3,100) # primjer za theta=0.1

Uticaj različitog izbora apriorne raspodjele

Često se dešava da ako imamo veliki broj podataka, izbor apriorne ocjene ne utiče mnogo da zaključak o raspodjeli parametra.
Za prethodni primjer, uzećemo tri apriorne raspodjele:
1. \(\beta(3,4)\)
2. \(\beta(2.5,3.5)\)
3. \(\beta(103,104)\)

# Neka je theta=0.4, n=10000
gf(0.4, 3, 4, 1000)
par(new=T)

gf(0.4, 2.5, 3.5, 1000)
par(new=T)

gf(0.4,103,104,1000)

2. Neka \(X\) ima familiju binomnih \(B(3,p)\) raspodjela. Apriorna raspodjela za \(p\) je: \[ X: \left( \begin{array}{cc} 0.4 & 0.5 \\ 0.7 & 0.3 \end{array} \right) \]

Naći aposteriornu raspodjelu za \(p\) ako je uzorak(obima 1) \(x=2\).

x<-2
q<-0.7*choose(3,2)*0.4^2*(1-0.4)/(0.7*choose(3,2)*0.4^2*(1-0.4)+0.3*choose(3,2)*0.5^2*(1-0.5))
q

[1] 0.6418338

1-q

[1] 0.3581662

Dakle, \[ p|x: \left( \begin{array}{cc} 0.4 & 0.5 \\ 0.642 & 0.358 \end{array} \right) \]

3. Neka \(X\) ima familiju \(\mathcal{N}(\theta,\sigma^2)\), a apriorna raspodjela za je normalna \(\mathcal{N}(\mu,\tau^2)\). Naći aposteriornu raspodjelu za \(\theta\) ako je obim uzorka \(n=1\). Rešenje: \[ \theta|x \sim \mathcal{N}(\frac{1}{\rho}(\frac{x}{\sigma^2}+\frac{\mu}{\tau^2}),\frac{1}{\rho}), \quad \text{ gdje je } \rho=\frac{1}{\sigma^2}+\frac{1}{\tau^2} \] Opštije, za uzorak obima \(n\): \[ \theta|x \sim \mathcal{N}(\frac{1}{\rho}(\frac{n\overline{x}}{\sigma^2}+\frac{\mu}{\tau^2}),\frac{1}{\rho}), \quad \text{ gdje je } \rho=\frac{n}{\sigma^2}+\frac{1}{\tau^2} \] Primjer:

# uzorak je iz N(1,2), a apriorna je N(0,1) 
n<-50
mu<-0
sigma2<-2
tau2<-1
rho<-n/sigma2+1/tau2
x1<-rnorm(n,1,2)
curve (
dnorm (x) ,
-5,
5,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)

# aposteriorna gustina (crveno)
curve (
dnorm (x,1/rho*(n*mean(x1)/sigma2+mu/tau2), 1/rho) ,
-5,
5,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)

---

Bajesova tačkasta ocjena

---

Ako znamo da je aposteriorna raspodjela za parametar \(\theta\) \(q(\theta|x)\), tačkasta ocjena za \(\theta\) je ona vrijednost \(\widehat{{\theta}}\) za koju je očekivanje (u odnosu na aposteriornu raspodjelu) funkcije gubitaka \(L(\theta,\widehat{\theta})\) minimalno. Funkcija gubitaka koju ćemo mi razmatrati je \[ L(\theta,\widehat{\theta})=(\theta-\widehat{\theta})^2 \] 4. Pokazati da je tačkasta ocjena pri ovoj funkciji gubitaka \(\widehat{\theta}=E\theta\).
5. Iz serije sa nepoznatim udjelom defektnih proizvoda \(p\) izvučen je uzorak obima \(n\). Nema nikakvih prethodnih informacija o tom udjelu (pa se za apriornu ocjenu uzima \(\mathcal{U}[0,1]\)). Naći Bajesovu ocjenu udjela \(p\).
Rešenje: \[ p|x \sim \beta(\small\sum\limits_{k=1}^{n}x_k+1,n-\small\sum\limits_{k=1}^{n}x_k+1) \\ \widehat{p}=E(p|x)=\frac{\small\sum\limits_{k=1}^{n}x_k+1}{n+2} \]

# Uzmimo p=1/2
n<-50
x1 <- sample(c(0, 1),
n,
replace = T)
# apriorna gustina (plavo)
curve (
dunif (x) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)

# aposteriorna gustina (crveno)
curve (
dbeta (x, sum(x1) + 1 , n - sum(x1) + 1) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)
p.hat<-(sum(x1)+1)/(n+2)
p.hat

[1] 0.4807692

abline(v=p.hat, col="pink")

6. Neka su \(X_1,X_2,\dots,X_n\) iid iz geometrijske \(\mathcal{G}(\theta)\) raspodjele. Naći aposteriornu ocjenu za \(\theta\) ako je apriorna \(\beta(a,b)\).
   Rešenje: \[ \theta | x \sim \beta(n+a,\small\sum\limits_{k=1}^n x_k -n+b)\]

n<-50
a<-2
b<-3
x1<-rgeom(n,0.8)+1
curve (
dbeta (x , a , b) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)

# aposteriorna gustina (crveno)
curve (
dbeta (x,n + a ,sum(x1) -n + b) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)
theta.hat<-(n+a)/(sum(x1)+a+b)
abline(v=theta.hat,col="pink")

7. [Domaći] Nađite tačkaste ocjene nepoznatih parametara u prva 3 primjera.

8. Neka \(X\) ima familiju pomjerenih eksponencijalnih raspodjela \(\mathcal{E}(1,\theta)\). Apriorna gustina za \(\theta\) je \(q(\theta)=\frac{1}{2}e^{-|\theta|}\). Naći Bajesovu ocjenu parametra \(\theta\).