Do sada smo parametar \(\theta\) posmatrali kao fiksiran broj čija je vrijednost nepoznata i koristili podatke da ocijenimo njegovu vrijednost. Tačnije, tretirali smo uzorak kao realizaciju nekih slučajnih veličina, a parametar kao konstantu. Bajesovski pristup u ocjenjivanju parametara opisuje neodređenost parametra \(\theta\) raspodjelom vjerovatnoća na nekom prostoru dopustivih parametara \(\Theta\). Ovaj pristup se sastoji u tome da se za \(\theta\) pretpostavi neka raspodjela koju nazivamo apriornom raspodjelom, a \(p(x|\theta)\) bi bila raspodjela uzorka pri datom \(\theta\) (ta raspodjela može biti diskretna ili apsolutno neprekidna, pa u zavisnosti od toga \(p(x|\theta)\) je funkcija gustine ili vjerovatnoća iz zakona raspodjele).
Neka su \(X=(X_1,X_2,\dots,X_n)\) slučajne veličine sa zajedničkom raspodjelom \(p(x|\theta)\), gdje je \(\theta\) realan parametar iz skupa \(\Theta\). \(q(\theta)\) je apriorna raspodjela za \(\theta\). Tada se aposteriorna raspodjela, \(q(\theta|x)\), računa po formuli: \[ q(\theta|x)=\frac{p(x|\theta)q(\theta)}{\int\limits_{\Theta}p(x|\theta)q(\theta)d\theta} \] Uporedite ovu formulu sa Bajesovom formulom koju znate od ranije.

Zadaci

  1. Neka je \(X\) iz familije Bernulijevih raspodjela sa parametrom \(\theta\) i neka je apriorna raspodjela za \(\theta\) \(\beta(2,3)\). Naći aposteriornu raspodjelu za \(\theta\).
    Rešenje: \[ \theta | x \sim \beta(\small\sum\limits_{k=1}^n x_k+2,n-\small\sum\limits_{k=1}^n x_k+3)\]
gf <- function(theta, a, b, n) {
x1 <- sample(c(0, 1),
n,
replace = T,
prob = c(1 - theta, theta))
# apriorna gustina (plavo)
curve (
dbeta (x , a , b) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)
# aposteriorna gustina (crveno)
curve (
dbeta (x, sum(x1) + a , n - sum(x1) + b) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)

}

gf(0.5,2,3,100) # primjer za theta=0.5

gf(0.1,2,3,100) # primjer za theta=0.1

Uticaj različitog izbora apriorne raspodjele

Često se dešava da ako imamo veliki broj podataka, izbor apriorne ocjene ne utiče mnogo da zaključak o raspodjeli parametra.
Za prethodni primjer, uzećemo tri apriorne raspodjele:
1. \(\beta(3,4)\)
2. \(\beta(2.5,3.5)\)
3. \(\beta(103,104)\)

# Neka je theta=0.4, n=10000

gf(0.4, 3, 4, 1000)
par(new=T)
gf(0.4, 2.5, 3.5, 1000)
par(new=T)
gf(0.4,103,104,1000)

  1. Neka \(X\) ima familiju binomnih \(B(3,p)\) raspodjela. Apriorna raspodjela za \(p\) je: \[ X: \left( \begin{array}{cc} 0.4 & 0.5 \\ 0.7 & 0.3 \end{array} \right) \]

Naći aposteriornu raspodjelu za \(p\) ako je uzorak(obima 1) \(x=2\).

x<-2
q<-0.7*choose(3,2)*0.4^2*(1-0.4)/(0.7*choose(3,2)*0.4^2*(1-0.4)+0.3*choose(3,2)*0.5^2*(1-0.5))
q
## [1] 0.6418338
1-q
## [1] 0.3581662

Dakle, \[ p|x: \left( \begin{array}{cc} 0.4 & 0.5 \\ 0.642 & 0.358 \end{array} \right) \]

  1. Neka \(X\) ima familiju \(\mathcal{N}(\theta,\sigma^2)\), a apriorna raspodjela za je normalna \(\mathcal{N}(\mu,\tau^2)\). Naći aposteriornu raspodjelu za \(\theta\) ako je obim uzorka \(n=1\). Rešenje: \[ \theta|x \sim \mathcal{N}(\frac{1}{\rho}(\frac{x}{\sigma^2}+\frac{\mu}{\tau^2}),\frac{1}{\rho}), \quad \text{ gdje je } \rho=\frac{1}{\sigma^2}+\frac{1}{\tau^2} \] Opštije, za uzorak obima \(n\): \[ \theta|x \sim \mathcal{N}(\frac{1}{\rho}(\frac{n\overline{x}}{\sigma^2}+\frac{\mu}{\tau^2}),\frac{1}{\rho}), \quad \text{ gdje je } \rho=\frac{n}{\sigma^2}+\frac{1}{\tau^2} \] Primjer:
# uzorak je iz N(1,2), a apriorna je N(0,1) 

n<-50
mu<-0
sigma2<-2
tau2<-1
rho<-n/sigma2+1/tau2

x1<-rnorm(n,1,2)

curve (
dnorm (x) ,
-5,
5,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)
# aposteriorna gustina (crveno)
curve (
dnorm (x,1/rho*(n*mean(x1)/sigma2+mu/tau2), 1/rho) ,
-5,
5,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)

Bajesova tačkasta ocjena

Ako znamo da je aposteriorna raspodjela za parametar \(\theta\) \(q(\theta|x)\), tačkasta ocjena za \(\theta\) je ona vrijednost \(\widehat{{\theta}}\) za koju je očekivanje (u odnosu na aposteriornu raspodjelu) funkcije gubitaka \(L(\theta,\widehat{\theta})\) minimalno. Funkcija gubitaka koju ćemo mi razmatrati je \[ L(\theta,\widehat{\theta})=(\theta-\widehat{\theta})^2 \] 4. Pokazati da je tačkasta ocjena pri ovoj funkciji gubitaka \(\widehat{\theta}=E\theta\).
5. Iz serije sa nepoznatim udjelom defektnih proizvoda \(p\) izvučen je uzorak obima \(n\). Nema nikakvih prethodnih informacija o tom udjelu (pa se za apriornu ocjenu uzima \(\mathcal{U}[0,1]\)). Naći Bajesovu ocjenu udjela \(p\).
Rešenje: \[ p|x \sim \beta(\small\sum\limits_{k=1}^{n}x_k+1,n-\small\sum\limits_{k=1}^{n}x_k+1) \\ \widehat{p}=E(p|x)=\frac{\small\sum\limits_{k=1}^{n}x_k+1}{n+2} \]

# Uzmimo p=1/2

n<-50
x1 <- sample(c(0, 1),
n,
replace = T)
# apriorna gustina (plavo)
curve (
dunif (x) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)
# aposteriorna gustina (crveno)
curve (
dbeta (x, sum(x1) + 1 , n - sum(x1) + 1) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)
p.hat<-(sum(x1)+1)/(n+2)
p.hat
## [1] 0.5192308
abline(v=p.hat, col="pink")

  1. Neka su \(X_1,X_2,\dots,X_n\) iid iz geometrijske \(\mathcal{G}(\theta)\) raspodjele. Naći aposteriornu ocjenu za \(\theta\) ako je apriorna \(\beta(a,b)\).
    Rešenje: \[ \theta | x \sim \beta(n+a,\small\sum\limits_{k=1}^n x_k -n+b)\]
n<-50
a<-2
b<-3
x1<-rgeom(n,0.8)+1
curve (
dbeta (x , a , b) ,
0,
1,
lwd = 2,
col = "deepskyblue",
ylab = "",
xlab = ""
)
par( new=T)
# aposteriorna gustina (crveno)
curve (
dbeta (x,n + a ,sum(x1) -n + b) ,
0,
1,
col = "firebrick1",
ylab = "",
lwd = 2,
xlab = "",
axes = FALSE 
)

theta.hat<-(n+a)/(sum(x1)+a+b)
abline(v=theta.hat,col="pink")

Intervali prekrivanja

Neka je \(X\) iz \(Ber(p)\) raspodjele. Dobijen je prost slučajan uzorak obima \(n=250\). Apriorna raspodjela za \(p\) je \(Beta(2,3)\), a za aposteriornu se dobije \(p|x \sim Beta(\sum x_k +2, n-\sum x_k +3)\). Naći je interval prekrivanja za \(p\). (\(\beta=0.9\))
Tražimo konstante \(a\) i \(b\) takve da je \(P\{a< \theta < b | x \}=\beta\).

x<-sample(c(0,1), size = 250, replace = TRUE, prob = c(0.45, 0.55))
suma = sum(x)

b <- qbeta(0.95, suma + 2, -suma + 3 + 250)
a <- qbeta(0.05, suma + 2, -suma + 3 + 250)
interval <- c(a, b)
interval
## [1] 0.4544435 0.5572686
mean(x)
## [1] 0.508

Primjena Monte Karlo integracije

Neka je dat uzorak iz Borelove raspodjele sa zakonom raspodjele \[ f(x|\theta)=\frac{e^{-\theta x}\theta^{x-1}x^{x-1}}{x!},\ x=1,2,3,...\quad \theta \in (0,1) \]

U izrazu za aposteriornu ocjenu javiće se integral \[ \int\limits_{0}^{1}e^{-\theta\sum\limits_{k=1}^nx_k}\theta^{\sum\limits_{k=1}^nx_k-n+a-1}(1-\theta)^{b-1}d\theta \] Ovaj integral nije jednostavan pa možemo da ga ocijenimo nekim metodama integracije koje smo pominjali. Neka je dat uzorak obima \(n=100\) iz Borelove raspodjele i dobijen je podatak da je \(\overline{x}_n=2\). Uzmimo za apriornu ocjenu \(Beta(2,3)\) Dakle, treba da izračunamo integral

\[ \int\limits_{0}^1 e^{-2 \theta}\theta^{2-100+2-1}(1-\theta)^{3-1}d\theta \]

Možemo da iskoristimo, na primjer, Monte Karlo integraciju. Neka je \(Y \in U(0,1)\). Posmatramo ovaj integral kao \(E(h(Y))\), gdje je \(h(Y)=e^{-2Y}Y^{-97}(1-Y)^2\).

y<-runif(1000)
h<-exp(-2*y)*y^(-97)*(1-y)^2
mean(y)
## [1] 0.5005859