2. Ders NORMAL DAĞILIM ve NORMAL DAĞILIMLI

2. Ders
NORMAL DAĞILIM ve NORMAL DAĞILIMLI RASGELE
VEKTÖRLERĐN KARESEL FORMLARININ DAĞILIMLARI
Bir X rasgele değişkenin olasılık yoğunluk fonksiyonu,
1 x −µ
− (
)2
1
2
σ
e
, −∞ < x < ∞
2 πσ
f ( x) =
biçiminde olduğunda, X rasgele değişkenine normal dağılıma sahiptir denir
ve X ∼ N ( µ , σ2 ) biçiminde gösterilir. µ ∈ R ve σ ∈ ( 0, ∞ ) sayıları, dağlılımın
parametreleri olmak üzere
1 x −µ
∞
− (
)2
1
σ
2
E( X ) = x
e
dx = µ
2
πσ
-∞
z
E( X ) =
2
∞
zx
-∞
1 x −µ
2
− (
)2
1
2
σ
e
dx = σ2 + µ2
2 πσ
ve
Var ( X ) = σ2
dır.
Normal dağılıma sahip bir X r.d. nin moment çıkaran fonksiyonu,
µ t+
M X ( t ) = E ( etx ) = e
σ2 t 2
2
dır.
µ = 0 , σ = 1 olan N ( 0 ,1) dağılımına standart normal dağılım denir.
Z ∼ N ( 0 , 1) için
x2
1 −2
φ( z ) =
e
dx , z ∈ R
π
2
−∞
z
z
fonksiyonu standart normal dağılımın dağılım fonksiyonu olmak üzere bu
fonksiyonun değerleri standart normal dağılım tablolarında mevcuttur.
X1 , X 2 ,..., X n , N ( µ , σ2 ) normal dağılımından bir örneklem olmak üzere,
dağılımın paremetrelerinin en çok olabilirlik tahmin edicileri,
n
µˆ =
∑X
i =1
n
i
=X
ve
n
σɶ 2 =
∑(X
i =1
i
− X )2
n
dır. Bu tahmin ediciler bağımsız istatistiklerdir. Aynı zamanda momentler
yöntemi ile elde edilen tahmin edicilerdir. Ayrıca, µ̂ en küçük kareler tahmin
edicisidir.
Yansız ve tutarlı bir tahmin edici olan µ̂ tahmin edicisi N ( µ , σ2 n )
dağılımlıdır.
E (σɶ 2 ) =
n −1 2
σ
n
olmak üzere σɶ 2 tahmin edicisi yansız değildir. Yansız olacak şekilde
düzeltilmiş olan tahmin edici,
n
n
σˆ 2 =
σɶ 2 =
n −1
∑(X
i =1
i
− X )2
n −1
olsun. σˆ nin dağılımı ile ilgili olarak
2
n
(n − 1)σˆ 2
σ
2
=
∑(X
i =1
i
σ
− X )2
2
∼ χ (2n −1)
olduğunu hatırlatalım.
Tanım Σ : n× n tipinde pozitif tanımlı simetrik matris, µ:n × 1 tipinde bir
vektör olmak üzere bir Y rasgele vektörün olasılık yoğunluk fonksiyonu
f ( y ) = f ( y1 , y2 ,..., yn ) =
(2π )
1
n
( y − µ )′Σ −1 ( y − µ )
2
e
−
det(Σ )
, − ∞ < yi < ∞, i = 1, 2,..., n
biçiminde ise Y rasgele vektörüne normal dağılıma (çok değişkenli
normal dağılıma) sahiptir denir.
Y rasgele vektörü normal dağılıma sahip olduğunda moment çıkaran
fonksiyonu
M Y ( t ) = E ( et ′ Y ) =
∞
∫
∞
⋯
−∞

( y−µ )′Σ−1 ( y−µ ) 

t ′ y−

2


1
∫
(2π )n det(Σ)
−∞
e
dy1...dyn
t ′Σt
t ′ µ+
2
=e
dır.
Y vektörünün i . bileşeninin moment çıkaran fonksiyonu
MYi ( ti ) = MY ( 0 ,..., 0 , ti
dır. Burada σii , Σ
fonksiyondan
n’nın
1
ti µi + σiiti2
2
, 0 ,..., 0 ) = e
i . köşegen elemanıdır. Bu moment çıkaran
Yi ∼ N (µi , σii ) , i = 1,..., n
olduğu söylenebilir. Y nin herbir bileşeni bir boyutlu normal dağılıma
sahiptir.
Yi ile Yj nin ortak marjinal dağılımını bulalım.
M Yi ,Y j ( t i , t j ) = M Y ( 0,..., 0, t i , 0,..., t j , 0,..., 0)
=e
ti µi +t j µ j +
σiiti2 +2σij tit j +σ jj t 2j
2
σ
σij  t 
 i 
t ,t   ii
 i j  σ
σ jj  t j 


µ
ij



t ,t   i +
 i j   µ j 
2
 
=e
olmak üzere (Yi , Yj ) nin ortak dağılımı iki değişkenli normal dağılımdır.
Ayrıca,
E (Yi ) = µi
Var (Yi ) = σii
E ( Yj ) = µ j
Var (Y j ) = σ jj
Cov(Yi , Y j ) = σij
dır.
vektörünün yoğunluk fonksiyonunda bulunan µ vektörü Y nin
bileşenlerinin ortalamalarının vektörü, Σ matrisi ise Y nin bileşenlerinin
varyans-kovaryans matrisidir.
Y
σ 11 σ 12 ⋯ σ 1n 
σ
i = 1, 2,..., n
σ 22 ⋯ σ 2 n 
21

Σ = Cov(Y ) =
, σ ij = Cov(Yi , Y j ) ,
 ⋮
j = 1, 2,..., n
⋮
⋮ 


σ n1 σ n 2 ⋯ σ nn 
Bir
E (Y ) = µ
Y rasgele vektörü n-değişkenli normal dağılıma sahip ve
, Cov (Y ) = Σ , rank( Σ ) = n ise bu kısaca,
Y ∼ N (µ , Σ )
biçiminde gösterilir. Burada Σ varyans-kovaryans matrisi simetrik ve pozitif
tanımlı bir matristir. Bu durumdaki çok değişkenli normal dağılımlara
singüler olmayan çok değişkenli normal dağılım denir.
Y ∼ N ( µ , Σ ) olmak üzere Y nin lineer dönüşümü olan,
U = AY + b
rasgele vektörü de normal dağılıma sahiptir. Gerçekten,
Mu ( t ) = E ( et ′ u ) = E ( et ′ ( AY + b ) ) = et ′b E ( et ′ AY )
t ′b
=e
t ′b
MY ( A′ t ) = e
1
t ′ Aµ + t ′ A Σ ( t ′ A )′
2
e
olmak üzere u rasgele vektörü,
U ∼ N ( A µ + b , A ΣA′ )
dağılımına sahiptir.
µ = 0 , Σ = I olması durumunda N ( 0, I ) dağılımına çok değişkenli
standart normal dapılım denir. Y ∼ N ( µ , Σ ) olmak üzere, Σ:n × n varyanskovaryans matrisinin Σ −1 invers matrisi kendi özdeğer ve özvektörlerinin
oluşturduğu matrisler cinsinden,
 d1
0
−1
Σ = P
⋮

0
0
d2
⋮
0
0
⋯ 0 
P′
0

⋯ dn 
⋯
olarak yazılsın ve
Σ −1/ 2
olsun.



= P



d1
0
⋯
0
d2
⋯
⋮
⋮
0
0
⋯
0 

0 
P′
0 
d n 
Z = Σ −1/ 2 ( Y − µ )
dönüşümü sonucu Z rasgele vektörü standart normal dağılıma sahiptir, yani
Z ∼ N ( 0, I )
dır.
Marjinal ve Koşullu Dağılımlar
Y n×1 ∼ N ( µ , Σ ) , rank( Σ ) = n
σ11 σ12 ⋯ σ1n 
 Y1 
 µ1 
σ
Y 
µ 
σ 22 ⋯ σ 2n 
21
2
2

 , σ ii = Var (Yi ) , σ ij = σ ji = Cov (Yi , Y j )




Y =
, µ=
, Σ=
⋮
⋮ 
 ⋮
⋮
⋮ 
σ

Yn 
 µ n 
 n1 σ n 2 ⋯ σ nn 
MY
1
t ′ µ + t ′Σ t
2
(t ) = e
olmak üzere Y1, Y2 ,..., Yk ( k < n ) rasgele değişkenlrinin ortak marjinal veya
Y1 
Y 
 2 =Y
1
⋮ 
 
Yk 
vektörünün marjinal dağılımını bulmak için Y1 'in moment çıkaran
fonksiyonunu bulalım.
k
∑
M Y 1 (t1 , t2 ,..., tk ) = M Y (t1 , t2 ,..., tk , 0,..., 0) = e
i =1
σ11 σ12 ⋯ σ1 k   t1 
σ
σ 22 ⋯ σ 2 k  t2 
1
ti µi + [t1 ,t2 ,...,tk ] 21
 ⋮
⋮
⋮  ⋮ 
2

 
σ k 1 σ k 2 ⋯ σ kk  tk 
olduğundan
 µ1  σ11 σ12 ⋯ σ1k 
 µ  σ
σ 22 ⋯ σ 2k 
)
Y 1 ∼ N (  2  ,  21
⋮
⋮ 
⋮   ⋮

 µ  σ
 k   k1 σ k 2 ⋯ σ kk 
dır. Y1, Y2 ,..., Yn ‘lerin ortak marjinal dağılımı normaldir.
Y ∼ N ( µ , Σ ) olmak üzere aşağıdaki,
 µ1 
 µ 
 2 
 ⋮ 


 µ1 
 µk 
 
µ n×1 =  ...  =  ....  k ×1


 
 µk +1 
 µ 2  (n − k ) ×1
µ 
 k +2 
 ... 
µ 
 n  n×1
 Y1 
Y 
 2 
 ⋮ 


Y 1 
 Yk 


Y n×1 = ...
=  ....  k × 1


 Yk +1 
Y 2  (n − k ) × 1
Y 
 k +2 
 ... 
Y 
 n  n×1
gösterimler altında,
Y1 ∼ N ( µ , Σ11)
1
Y 2 ∼ N ( µ , Σ 22 )
2
ve
fY ( y ) =
1
1
fY ( y ) =
2
2
1
( 2 π ) k det ( Σ11 )
1
−1
− ( y − µ )′ Σ11
(( y − µ )
1
1
1
1
2
e
1
( 2 π )n − k det ( Σ22 )
1
−1
− ( y − µ )′ Σ 22
( y −µ )
2
2
2
2
2
e
dır.
Y 2 = y verildiğinde Y1 in koşullu dağılımının yoğunluk fonksiyonu,
2
f (y ,y )
1 2 = f ( y)
f (y / y ) =
1 2
fY ( y )
fY ( y )
2
2
2
2
olmak üzere,
1
f (y / y ) =
1
2
( 2 π )n det ( Σ )
1
( 2 π )n det ( Σ 22 )
1
− ( y − µ )′ Σ −1 ( y − µ )
e 2
1
−1
− ( y − µ )′ Σ 22
( y −µ )
2
2
2
2
2
e
ve
−1
−1
Σ11.2
−Σ11.2
Σ12 Σ −221 
 Σ11 Σ12  
Σ =

 =  −1
−1
1
Σ −22.1
Σ 21 Σ 22   −Σ 22 Σ 21Σ11.2

−1
−1
−1

Σ
−Σ11 Σ12 Σ 22.1 
=  −1 11.2 −1

1
Σ −22.1
 −Σ 22.1Σ 21Σ11

−1
Σ11.2 = Σ11 − Σ12 Σ −221Σ 21
−1
Σ 22.1 = Σ 22 − Σ 21Σ11
Σ12
ve ayrıca,
−1
det( Σ ) = det( Σ11) det( Σ 22 − Σ21Σ11
Σ12 )
−1
= det( Σ22 ) det( Σ11 − Σ12 Σ 22
Σ 21)
olduğundan,
f (y / y ) =
1
2
1
( 2 π ) k det ( Σ11.2 )
1
− Q
2
e
elde edilir. Burada,
′ −1
−1
−1
Q = ( y − µ ) − Σ12 Σ22
( y − µ ) Σ11
( y − µ ) − Σ12 Σ22
(y −µ )
.2
1
1
2
2
1
1
2
2
dır.
Y2 = y
2
verildiğinde Y1 in koşullu dağılımına karşılık gelen rasgele
vektör Y1/ Y 2 = y ile gösterilirse bu rasgele vektör,
2
beklenen değeri ve
−1
E ( Y1/ Y = y ) = µ + Σ12 Σ 22
(y −µ )
1
2
2
2
2
Cov ( Y1/ Y = y ) = Σ11.2
2
2
varyans-kovaryans matrisi ile normal dağılıma sahiptir, yani
−1
Y1/ Y = y ∼ N ( µ + Σ12 Σ22
( y − µ ), Σ11.2 )
1
2
2
2
2
dır.
−1
E ( Y1/ Y = y ) = µ + Σ12 Σ 22
(y −µ )
1
2
2
2
2
denklemine regresyon denklemi denir. Y1 vektörü bir bileşenli, yani Y1 rasgele
değişkeni olduğunda,
−1
E ( Y1/ Y = y ) = µ1 + Σ12 Σ 22
(y −µ )
2
2
2
2
denklemine Y 2 vektörü üzerinde Y1 rasgele değişkeninin regresyon denklemi
denir.
Y1 
− − Y
 
, Y =   =  1  olmak üzere,
Y2  Y 2 
 
Y3 
Y1 
 µ1 
* Y = Y2  ∼ N (  µ2  , [Σ ])
 µ3 
Y3 
−1
E ( Y1/ Y = y ) = µ1 + Σ12 Σ 22
(y −µ )
2
2
2
2
−1
σ 23   y2 − µ 2 
σ
= µ1 + [σ 12 , σ 13 ]  22

 
σ 32 σ 33   y3 − µ3 
denklemi Y1 in Y2 ile Y3 üzerine regresyon denklemidir.
Σ11.2 nin elemanları Y1 in koşullu dağılımındaki Yi ile Yj , (i , j = 1, 2 ,..., k )
lerin kovaryanslarıdır. Bu kovaryanslar,
σi , j /( k +1, k + 2 ,...,n )
, i , j =1,2 ,..., k
biçiminde gösterilir.
ρi , j /( k +1, k + 2 ,...,n ) =
σij /( k +1, k + 2 ,...,n )
σii /( k +1, k + 2 ,...,n )
, i , j = 1, 2 ,..., k
değerine , Y 2 = y2 verildiğinde Yi ile Yj arasındaki kısmi korelasyon katsayısı
denir.
 Y1 
Y1 
Y 
Y 
2

Y=
vektörü, Y =  2  ve buna bağlı olarak Σ matrisi,
⋮
 ⋮ 
 
 
Y m 
Yn 
 Σ11 Σ12 ⋯ Σ1m 
Σ
Σ 22 ⋯ Σ 2 m 
Σ =  21
 ⋮
⋮
⋮ 


Σ m1 Σ m 2 ⋯ Σ mm 
biçiminde parçalansın. Cov (Y i , Y j ) = Σij , i , j = 1, 2,..., m olmak üzere, Y i ve Y j
vektörleri için Cov(Y i , Y j ) = Σij = 0 matrisi ise Y i ve Y j vektörlerine ilişkili
değildir denir.
Çok sık rasgele vektörlerin bağımsızlığı ile ilgileniriz. Rasgele
vektörler bağımsız ise ilişkili değillerdir. Đlişkili olmayan rasgele vektörlerin
bağımsız olduklarını her zaman söyleyemeyiz. Ancak rasgele vektörlerin
ortak dağılımı normal olduğunda bağımsız olmaları için gerek ve yeter şart
ilişkili olmamalarıdır.
Y ∼ N ( µ , Σ ) ve Y ile Σ aşağıdaki gibi parçalansın.
Y1 
Y 
2
Y = 
 ⋮ 
 
Y m 
,
 Σ11 Σ12 ⋯ Σ1m 
Σ
Σ 22 ⋯ Σ 2 m 
21

Σ=
 ⋮
⋮
⋮ 


Σ m1 Σ m 2 ⋯ Σ mm 
Y1, Y2 ,..., Ym vektörleri bağımsız ⇔ Σ ij = 0 i , j = 1, 2 , 3,..., n , i ≠ j
dır. Y ∼ N ( µ , Σ ) , Σ = σI ise Y1, Y2 ,..., Yn rasgele değişkenleri bağımsızdır.
 µ1  1
µ  
2
* Y ∼ N ( 2  , 
 µ3   0
  
 µ4   0
2
5
0
0
0
0
2
4
0
0 
Y3 
Y 
) ise  1  vektörü ile   vektörü ilişkili değildir.
4
Y2 
Y4 

3
Bu iki vektör üstelik bağımsızdır.
1 
1 2 0 0
2 
 2 5 0 0
 ) olmak üzere,
* Y ∼ N (  , Σ = 
0 
0 0 2 0
 


 −1
0 0 0 1
ve Y4 rasgele değişkeni bağımsızdır.
LMY1 OP vektörü, Y3 rasgele değişkeni
NY2 Q
1 
1 0 1 


* Y ∼ N ( 0  , Σ = 0 2 −1 ) ise Y1 ile Y2 bağımsızdır.
 2 
1 −1 3 
1 
1
2 
0


,Σ = 
* Y ∼ N(
0 
0
 

 −1
0
0 0 0
5 0 0 
) ise Y1, Y2 , Y3 , Y4 bağımsızdır.
0 2 0

0 0 1
Ki-Kare Dağılımı
Bir X rasgele değikenin olasılık yoğunluk fonksiyonu,
R| 1 xα −1e− x / β
f ( x ) = S Γ ( α ) αβ
|T0
, x>0
, d . y.
biçiminde olduğunda, X e Gamma dağılımına sahiptir denir ve X ∼ Γ(α , β)
biçiminde gösterilir. α ∈ ( 0, ∞ ), β ∈ ( 0, ∞ ) parametrelerine bağlı olarak,
E ( X ) = αβ
Var ( X ) = αβ2
M X ( t ) = (1 − β t ) − α
dır.
β = 2 olan Γ( α , β = 2) dağılımına r = 2α serbestlik dereceli (tam sayı
olmak kaydıyla ) ki-kare dağılımı denir ve χ( r ) biçiminde gösterilir.
X ∼ χ( r ) dağılımlı ise,
R| 1 2r −1 − x / 2
x
e
, x>0
|
f ( x ) = S Γ ( r ) 2r / 2
|| 2
, d . y.
T0
E( X ) = r
Var ( X ) = 2 r
M X ( t ) = (1 − 2 t )
−
r
2
dır.
Bağımsız X1, X 2 ,..., X n rasgele değişkenleri sırasıyla r1, r2 ,..., rn serbestlik
dereceli ki-kare dağılımına sahip ise
Y = X1 + X 2 +... + X n
rasgele değişkeni serbestlik derecesi r = r1 + r2 +... + rn olan ki-kare dağılımına
sahiptir. Gerçekten,
MY ( t ) = M X1 ( t ). M X 2 ( t )... M X n ( t )
= (1 − 2 t ) − r1/ 2 (1 − 2 t ) − r2 / 2 ...(1 − 2 t ) − rn / 2
= (1 − 2 t )
−
r1 + r2 + ...+ rn
2
olduğundan Y ∼ χ( r1 + r2 +...+ rn ) dır.
X ∼ χ2( n ) , X1 ∼ χ(2m ) , n > m , X1 ile X 2 bağımsız ve
X = X1 + X 2
2
ise X 2 ∼ χ( n − m) dır. Gerçekten, X 2 rasgele değişkenin moment çıkaran
fonksiyonu M X 2 ( t ) olmak üzere,
M X ( t ) = M X1 ( t ) M X 2 ( t )
(1− 2t )−n /2 = (1− 2t )−m /2 M X 2 (t )
n−m
M X 2 ( t ) = (1 − 2 t ) 2
X 2 ∼ χ(2n − m) dır.
−
yani,
Z ∼ N ( 0, 1) olmak üzere X = Z 2 ‘nin dağılımı χ12 dır.
rasgele değişkenleri bağımsız ve her biri N ( µ , σ2 )
dağılımlı, ya da X1, X 2 ,..., X n N ( µ , σ2 ) dağılımından örneklem olmak üzere,
X1, X 2 ,..., X n
n
∑ ( Xi − µ )
i =1
σ
n
∑ ( Xi − X )
2
2
i =1
∼ χ(2n )
σ
2
2
∼ χ(2n −1)
dır.
X1, X 2 ,..., X n rasgele değişkenleri bağımsız ve herbiri N ( 0, 1) dağılımlı
olduğunda
n
2
2
∑ X i ∼ χ( n )
i =1
dır. X1, X 2 ,..., X n rasgele değişkenleri bağımsız ve sırasıyla N ( µi ,1) , i = 1, 2,..., n
dağılımlı olduğunda,
n
2
2
∑ ( X i − µ i ) ∼ χ( n )
i =1
n
dır. Merkezileştirme yapılmaksızın ∑ Xi2 rasgele değişkeninin dağılımı nedir?
i =1
Şimdi bu problemi göz önüne alalım.
 X1 
X 
X =  2  ∼ N (µ , I )
 ⋮ 
 
Xn 
,
 µ1 
 
µ 
µ =  2 
 ⋮ 
µ 
 n
olmak üzere ∑ Xi2 = X ′ X rasgele değişkenin dağılımını bulmak istiyoruz.
n
i =1
A matrisi ilk satırı
1
µ′
a
( a = µ′ µ ) vektörü olan bir ortogonal matris
olsun.
Y = AX
dönüşümü sonucu Y ∼ N ( Aµ , I ) dağılımlıdır.
 a
 
0
Aµ =  
⋮ 
 
 0 
olmak üzere,
n
2
2
∑ Yi ∼ χ( n −1)
i =2
dır.
V = Y12
U = ∑ Yi2 = Y ′ Y − V = X ′ X − V
n
i=2
olmak üzere V ile U bağımsızdır. Amacımızın X ′ X = U + V nin dağılımını
bulmak olduğunu hatırlatalım. Đlk olarak V nin dağılımını, daha sonra V ile U
nun ortak dağılımını ve buradan U + V nin dağılımını bulmaya çalışalım.
Y1 ∼ N ( a ,1) olmak üzere
V = Y12
rasgele değişkenin olasılık yoğunluk fonksiyonu
R| 1 - 1 ( v − a ) 1 1 - 1 ( − v −
2
+
e 2
fV ( v ) = S 2 π e
2 v
2π
|T0
R| - 2a
| e v-1/ 2e- v/ 2 (e- av + e av ) , v > 0
fV ( v ) = S
||02 2 π
, d.y.
T
2
a )2
1
-2 v
, v>0
, d.y.
 - a2
j
∞
 e v -1/2 e-v/2 (av) , v >0
∑
fV (v) =  2π
j=0 (2j)!

, d.y.
0
dır.
V ile U nun ortak o.y.f.
fV ,U ( u , v ) =
RS fV (v). fU (u)
T0
, v > 0, u > 0
, d. y.
olmak üzere,
Z = U +V
U
W=
U +V
l
q
dönüşümünün ( z , w ): z > 0, < w < 1 bölgesi üzerinde ters dönüşümü
U = ZW
V = Z (1 − W )
ve Jakobiyeni,
LM
N
OP
Q
w
z
∂ ( u, v)
= det
= −z
1− w −z
∂( z , w)
dır. Buna göre Z ile W ‘nun ortak olasılık yoğunluk fonksiyonu,
f z , w ( z , w) =
RS fV ( z (1 − w)). fU ( zw ). − z
T0
, z > 0,0 < w < 1
, d.y.
ve Z ‘nin marjinal olasılık yoğunluk fonksiyonu,
R|1z f ( z (1 − w)). f ( zw ) zdw , z > 0
U
f z ( z ) = S0 V
|T0
, d.y.
dır.
1 e−1/ 2
z
0
2π
( z (1 − w )) −1/ 2 e
−
z ( 1− w )
∞
2
∑
n −1
( az (1 − w ))δ ( zw ) 2
( 2 j )!
j =0
−1 −
e
zw
2
n −1
n −1 2
Γ(
)2
zdw
2
n
e− a / 2 2 − 1 − z / 2
z
e
=
2π
n −1
n −1 2
Γ(
)2
∞ a jz j 1
z (1 − w )
∑
j = 0 ( 2 j )! 0
j − 1/ 2
n −1
w 2 dw
2
n −1
1
Γ (δ + )Γ (
) a jz j
2
2
=
∑
n −1
n
( 2 j )!
Γ( j + )
n − 1 2 j =0
2 πΓ (
)2
2
2
1
n+2 j
Γ( j + )
∞ e − a / 2a j
−1
2
z 2
e− z / 2
= ∑
n
j = 0 ( 2 j )!
π 2n / 2 Γ ( j + )
2
1
n+2 j
Γ( j + )
∞ e− a / 2a j
−1
2
z 2
e− z / 2
= ∑
n+2j
j = 0 ( 2 j )!
π 2n / 2 Γ (
)
2
n
−1
−a/ 2 2
e
z
e− z / 2
ve
∞
1
2 j −1 2 j − 3 3 1 1
Γ( j + ) (
)(
)...
Γ( )
2 =
2
2
22 2 = 1
( 2 j )! π
2 j j !1. 3. 5...( 2 j − 1) π
22 j j!
olması sebebiyle
n+2 j
R| ∞ e− a / 2 ( a / 2 ) j
−1
1
2
z
e− z / 2
∑
n+2 j
|
j
!
fZ ( z ) = S j = 0
n+2j
Γ(
)2 2
||
2
,
T 0
elde edilir.
λ=
, z>0
d . y.
′
a µ µ
=
2
2
n
olmak üzere Z = U + V = X ′ X = ∑ Xi2 rasgele değişkenin olasılık yoğunluk
i =1
fonksiyonu,
n+2 j
R| ∞ e− λλ j
−1
1
2
z
e− z / 2
∑
2
n
+
j
|
fZ ( z ) = S j = 0 j!
n+2j
Γ(
)2 2
||
2
T0
, z>0
, d . y.
olarak yazılır. Bu olasılık yoğunluk fonksiyonu λ =
µ′ µ
parametreli Poisson
2
dağılımındaki olasılıklar ile ağırlıklandırılmış n + 2 j , ( j = 0,1, 2 ,...) serbestlik
dereceli ki-kare dağılımlarının olasılık yoğunluk fonksiyonlarının ağırlıklı
toplamıdır. Böyle bir olasılık yoğunluk fonksiyonuna sahip dağılıma, n
serbestlik dereceli λ parametreli (merkezsel olmama parametreli) merkezsel
olmayan ki-kare dağılımı denir ve χ2( n ,λ ) biçiminde gösterilir. Özetlersek,
X ∼ N ( µ , In ) ⇒ X ′ X = ∑ Xi2 ∼ χ2
n
i =1
( n ,λ =
µ′ µ
2
)
dır.
χ2( n ,λ ) dağılımına sahip bir X rasgele değişkeni için,
MX
2 tλ
− n/ 2 1− 2 t
( t ) = (1 − 2 t )
e
, t<
1
2
E ( x ) = n + 2λ
Var ( x ) = 2 ( n + 4 λ )
dır.
χ2( n ,λ ) merkezsel olmayan ki-kare dağılımı λ =0 için alışılmış ki-kare
dağılımının kendisidir. Bu dağılıma merkezsel ki-kare dağılımı da denir.
Merkezsel ki-kare dağılımı yardımıyla oluşturulan t ve F dağılımlarına
benzer şekilde, merkezsel olmayan ki-kare dağılımı yardımıyla, merkezsel
olmayan t ve F dağılımları tanımlanmıştır.
t-Dağılımı
U ∼ N ( 0,1) , V ∼ χ2( r ) ve U ile V bağımsız iki rasgele değişken olmak
üzere,
X=
U
v
r
rasgele değişkenin olasılık yoğunluk fonksiyonu,
r +1
)
x 2 − r +1
2
f ( x) =
(1 + ) 2 , − ∞ < x < ∞
r
2
π r Γ( )
2
dır. Bu o.y.f. na sahip r.d. lere r serbestlik dereceli t -dağılımına sahiptir
denir ve X ∼ t( r ) biçiminde gösterilir.
Γ(
X ∼ t( r ) olmak üzere,
E ( X ) = 0 , ( r > 1) ve Var ( X ) =
r
r−2
, (r > 2)
dır.
Tr ∼ t( r ) olmak üzere,
dağılımda
r →∞
Tr   → Z
(Z ~N(0,1))
dır.
Teorem X1, X 2 ,..., X n , N ( µ , σ2 ) dağılımından bir örneklem olmak üzere,
X −µ
∑ ( Xi − X )2
( n − 1) n
∼ t( r )
dır.
Tanım
Z ∼ N ( 0,1) , U ∼ χ2( r ) ve Z ile U bağımsız olsun. δ , sabit bir sayı
olmak üzere,
X =
Z +δ
u/ r
rasgele değişkenine r serbestlik dereceli, δ merkezsel olmama parametreli
t − dağılımına sahiptir denir ve X ∼ t ( r , δ ) biçiminde gösterilir.
−
f ( x) =
δ2
∞
rr/ 2
e 2
r + j + 1 δ j 2 x2 j/ 2
Γ
(
)( )(
)
,
∑
Γ ( r / 2) ( r + x 2 )( r +1)/ 2 j = 0
2
j ! r + x2
−∞< x <∞
dır.
Teorem Y ∼ N ( µ , σ2 ) , U ∼ χ2( r ) ve Y ile U bağımsız olmak üzere,
Y
u/ r
∼ t (r ,δ =
µ
)
σ
dır.
F -Dağılımı
U ∼ χ2( r ) , V ∼ χ2r ve U ile V bağımsız iki rasgele değişken olmak üzere,
1
2
U / r1
X =
V / r2
rasgele değişkenin olasılık yoğunluk fonksiyonu,
r1
r +r r
r1 + r2
Γ ( 1 2 )( 1 ) 2 r1 − 1
r
2
r2
f ( x) =
x 2 (1 + 1 x ) 2 , 0 < x < ∞
r2
Γ ( r1 / 2 ) Γ ( r2 / 2 )
dır. Bu olasılık yoğunluk fonksiyonuna sahip rasgele değişkenlere
F − dağılımına sahiptir denir ve X ∼ F ( r1, r2 ) biçiminde gösterilir.
X ∼ F ( r1, r2 ) ise 1 / X ∼ F ( r2 , r1) dır.
T ∼ t ( r ) ise T2 ∼ F (1, r ) dır.
F ( r1, r2 ) dağılımında, Fα ( r1, r2 ) noktası sol tarafındaki alan α olacak
şekilde bir nokta olmak üzere,
Fα ( r1, r2 ) =
dır.
1
F1− α ( r2 , r1)
U1 ∼ χ2( r ,λ ) , U 2 ∼ χ(2r ) , U1 ile U 2 bağımsız olsun.
1
2
X=
U1 / r1
U 2 / r2
rasgele değişkeninin olasılık yoğunluk fonksiyonu
R| −l j 2 j + r1 + r2 r1 r +22 j
r +r +2 j
e l G(
)( )
∞
|
r1 −
2
r2
( r + 2 j − 2 )/ 2
2
x
(1 + x )
f ( x) = S ∑
r2
2 j + r1
r
j =0
2
j !G ( )G (
)
||
2
2
|T0
1
1
2
, x>0
1
, x≤0
dır. Bu olasılık yoğunluk fonksiyonuna sahip bir dağılıma λ merkezsel
olmama parametreli, r1 ve r2 sebestlik dereceli F − dağılımı denir ve
X ∼ F ( r1, r2 , λ ) biçiminde gösterilir.
r (r + 2λ )
E( X ) = 2 1
, ( r2 > 2 )
r1 ( r2 − 2 )
r
( r + 2 λ )2 + ( r1 + 4 λ )( −2 )
Var ( X ) = 2 ( 2 )2 1
, ( r2 > 4 )
r1
( r2 − 2 )2 ( r2 − 4 )
dır.
X ∼ F ( r1 , r2 , λ ) olmak üzere,
r + 2λ
k= 1
r1
( r1 + 2 λ )2
r=
r1 + 4 λ
için X / k rasgele değişkenin dağılımı yaklaşık olarak F ( r1, r2 ) dır.
Karesel Formların Dağılımları
Bu kısımda normal dağılıma sahip rasgele vektörlerin
formlarının olasılık dağılımları ele alınacaktır.
karesel
Y n×1 ∼ N ( 0, I ) olması durumunda Y ′ Y ∼ χ 2( n ) ve Y n ×1 ∼ N ( 0, σ2 I ) olması
1 ′
durumunda da
Y Y ∼ χ2 olduğunu biliyoruz.
(n)
σ2
Şimdi Y n ×1 ∼ N ( 0, Σ ) ( rank( Σ = n) ) olmak üzere,
Q = Y ′ Σ −1 Y
karesel formunun dağılımını bulmaya çalışalım. Q nun moment çıkaran
fonksiyonu
′ −1Y
M Q (t ) = E (etQ ) = E (etY Σ
=∫
∞
−∞
⋯∫
∞
1−2t ′ −1
−
yΣ y
2
e
dy1dy2 ⋯ dyn
1/2
1
−∞ (
= (1− 2t )−n/2
)
2π ) n (det Σ)
, t < 1/ 2
olduğundan,
Q ∼ χ2( n )
dır.
Y ∼ N ( 0, In ) ve A reel simetrik bir matris olmak üzere
Q = Y ′ AY
karesel formunu gözönüne alalım. Bu karesel formun moment çıkaran
fonksiyonu,
M Q( t ) = E ( etY ′ AY )
=∫
∞
−∞
⋯∫
∞
1
−∞ (
2π )
−1/2
= [ det( I − 2tA) ]
1
− y ′ ( I −2tA) y
e 2
dy1dy2 ⋯ dyn
n
, t <h
dır. Burada h sayısı, I − 2tA matrisi pozitif tanımlı olacak şekilde bir sayıdır. A
reel simetrik bir matris olmak üzere, P ortogonal matrisi vardır, öyleki
λ1 0 ⋯ 0 
0 λ 0 0 
2

′
P AP = 
⋮ ⋮
⋮


 0 0 ⋯ λn 
ve
det( I − 2 tA ) = det( P ′ ( I − 2 tA ) P )
= (1 − 2 tλ 1 )(1 − 2 tλ 2 )...(1 − 2 tλ n )
dır. rank( A ) = r olsun. 0 < r ≤ n olmak üzere A matrisinin özdeğerlerinden r
tanesi sıfırdan farklıdır, bunlar λ1, λ2 ,..., λr olsun. O zaman,
MQ ( t ) = (1 − 2tλ1)(1 − 2tλ 2 )...(1 − 2 tλ r )
−1/ 2
dır. Q = Y ′ AY karesel formunun dağılımı ki-kare olması için moment çıkaran
fonksiyonunun (1 − 2t )− k / 2 biçiminde olması gerektiğini hatırlatalım.
Đlk önce Q = Y ′ AY ∼ χ2( k ) olduğunu varsayalım. Bu durumda,
[(1− 2tλ1 )(1− 2tλ2 )...(1− 2tλr ) ]−1/2 = (1− 2t )−k /2
olacaktır. Polinomların özdeş olması için r = k ve λ1 = λ2 =... = λ r = 1 olması
gerekir. Diğer özdeğerlerin de sıfır olduğu göz önüne alınırsa A matrisi
idempotent bir matris olmalıdır.
Diğer taraftan Y ∼ N ( 0, I ) ve reel simetrik A matrisi için rank( A) = r ,
2
A = A , yani A idempotent ise,
MQ ( t ) = (1 − 2 t ) − r / 2
ve
Q = Y ′ AY ∼ χ2( r )
olacaktır.
Böylece aşağıdaki Teoremi ispatlamış olduk.
Teorem Y ∼ N ( 0, In ) ve An × n reel simetrik rankı r olan bir matris olmak üzere,
Y ′ AY ∼ χ2( r ) ⇔ A2 = A
dır.
Aşağıdakiler (teoremler) de benzer şekilde ispatlanabilir:
* Y ∼ N ( 0, Σ n × n ) ve rank( Σ ) = n, Bn × n reel simetrik bir matris olmak üzere,
Y ′ BY ∼ χ2( r ) ⇔ ( BΣ )2 = B Σ ve rank( B ) = r
dır.
* Y ∼ N ( µ , In ) için Y ′ Y ∼ χ2
1
( n ,λ = µ ′ µ )
2
* Y ∼ N ( µ , Σ n × n ) için Y ′ Σ −1Y ∼ χ2
1
( n ,λ = µ ′Σ −1 µ )
2
* Y ∼ N ( µ , In ) için A reel simetrik bir matris olmak üzere,
Y ′ AY ∼ χ2
1
( r ,λ = µ ′ A µ )
2
⇔ A2 = A ve rank( A) = r
dır.
* Y ∼ N ( µ , Σ n × n ) ve regüler C matrisi için C′ΣC = I , Z = C′Y ∼ N ( C′ µ , I ) olsun.
O zaman,
Y ′ AY = Z ′ C −1 AC ′ −1 Z ∼ χ 2
1
( r , λ = µ ′ CC −1 AC ′ −1C ′ µ )
2
olması için gerek ve yeter şart C −1 AC′−1 matrisinin idempotent ve
rank( C −1 AC′ −1) = Rank ( A) = r olmasıdır.
Yukarıda verilenler, aşağıdaki teoremin özel halleridir.
TEOREM Y ∼ N ( µ , Σ ) , rank( Σ ) = n ve
üzere,
Y ′ AY ∼ χ 2
1
( r ,λ = µ ′ Aµ )
2
dır.
A
reel simetrik bir matris olmak
⇔ A Σ idempotent ve rank( A ) = r
Karesel Formların Beklenen Değeri ve Varyansı
Teorem X n × 1 boyutlu bir rasgele vektör olmak üzere,
E ( X ′ A X ) = tr ACov ( X ) + E ( X ) ′ AE ( X )
dır.
Đspat E ( X ′ A X ) = E ( ∑ aij Xi X j )
ij
= ∑ aij E ( Xi X j ) = ∑ aij Cov ( Xi X j ) + E ( Xi ) E ( X j )
ij
ij
= ∑ aijCov ( Xi X j ) + ∑ aij E ( Xi ) E ( X j )
ij
ij
= tr ( ACov( X )) + E ( X )′ AE ( X )
Sonuç Cov ( X ) = σ2 I ve E ( X ) = 0 ise
E ( X ′ A X ) = σ2tr ( A)
dır.
Teorem X n ×1 ∼ N ( µ , Σ ) olmak üzere
LM
N
OP
Q
a) E ( X ′ A X )( X ′ B X ) = tr ( A Σ ) tr ( B Σ ) + 2tr ( AB Σ ) + µ′ Aµtr ( B Σ )
+ µ ′ Btr ( A Σ ) + µµ′ A ΣB µ + ( µ′ Aµ )′ ( µ′ B µ )
b) Cov ( X ′ A X , X ′ B X ) = 2tr ( A ΣBΣ ) + 4µ ′ A ΣB µ
c) Var ( X ′ AX ) = 2tr ( AΣ)2  + 4µ′ AΣAµ


dır.
Normal Dağılımlı Rasgele Vektörlerin Lineer ve Karesel
Formların Bağımsızlığı
Teorem Y ∼ N ( µ , Σ n × n ) , rank( Σ ) = n olmak üzere,
AY ile Y ′ BY bağumsız ⇔ A ΣB = 0
dır.
Teorem Y ∼ N ( µ , Σ n × n ) , rank( Σ ) = n olmak üzere,
Y ′ BY ile Y ′CY baðýmsýz⇔ B ΣC = 0
dır.
Cohran Teoremi
Y ∼ N ( µ , σ2 In ) A1, A2 ,..., Ak matrisleri simetrik, sırasıyla n1, n2 ,..., nk ranklı
ve A1 + A2 +... + Ak = In , yani
Y ′ Y = Y ′ A1Y + Y ′ A2 Y +... +Y ′ Ak Y
k
olsun. Eğer ∑ ni = n ise,
i =1
Y ′ A1 Y , Y ′ A2 Y ,..., Y ′ Ak Y karesel formları bağımsız
ve i = 1, 2,..., n için,
1
σ
2
Y ′ Ai Y ∼ χ2
( ni ,λi =
1
2σ
2
µ ′ Ai µ )
dır. Tersine,
1
σ
2
Y ′ Ai Y karesel formları bağımsız ve
⇓
ri = ni , i = 1, 2,..., k ve
1
σ
2
Y ′ Ai Y ∼ χ(2r ,λ ) , i = 1, 2 ,..., k
i i
k
∑ ni = n
i=1
dır.
Cochran Teoremi karesel formların parçalanmasında çok kul-lanışlı
bir
teoremdir.
Bu
teoremdeki
Ai A j = 0 , i ≠ j , i , j = 1, 2 ,..., n ya da Ai 2 = Ai ,
denktir. Yani bu üç şart birbirine denktir.
n
∑ ni = n
i =1
olması
şartı,
i = 1, 2 ,..., n olması şartlarına
Normal Dağılım ve Karesel Formlar Đle Đlgili Bazı Örnekler
Örnek Y n ×1 ∼ N ( 0, σ2 I ) olsun. Y vektörünün Y1, Y2 ,..., Yn bileşenlerine
N ( 0, σ2 ) dağılımından alınmış n birimlik bir örneklem olarak bakabiliriz.
1
1
Jn = 
⋮

1
1 ⋯ 1
1 ⋯ 1

, rank ( J n ) = n
⋮
⋮

1 ⋯ 1 n×n
ve
1/ n 1/ n ⋯ 1 / n 
1/ n 1/ n ⋯ 1 / n 
1

A = Jn = 

⋮
⋮
⋮ 
n


1/ n 1/ n ⋯ 1 / n 
olmak üzere,
2
1
nY
Q = Y ′ ( 2 A )Y = 2
σ
σ
karesel formunu göz önüne alalım. rank( A) = 1 ve
nY
σ
2
2
∼ χ 2( 1)
dır. Ayrıca A matrisi simetrik ve idempotent olduğundan bir dik izdüşüm
matrisidir. Gerçekte,
1
1
1
+
1n =  
, 1n = [1,1,...,1]
⋮ 
n

1 n×1
A = 1n1+
n
olmak üzere, A matrisi Rn ‘deki vektörleri 1n vektörünün gerdiği 1n altuzayı
üzerine dik izdüşüm matrisidir.
1/ n 1/ n ⋯ 1/ n   Y1  Y 
1/ n 1/ n ⋯ 1/ n  Y   
ˆ

  2  = Y  = Y 1n
Y = AY =
 ⋮
⋮
⋮  ⋮  ⋮

   
1/
n
1/
n
⋯
1/
n

 Yn  Y 
2
2
Yˆ = Yˆ ′Yˆ = Y ′AY = nY
ve Yˆ ile Y − Yˆ vektörleri birbirine dik olduğundan,
Y
2
2
= Yˆ + Y − Yˆ
n
2
2
n
2
2
∑ Yi = nY + ∑ (Yi − Y )
i =1
i =1
dır.
Y
2
= ∑ Yi2 = Y ′ Y de bir karesel formdur. Bu karesel formun matrisi, I
n
i =1
birim matrisidir. Bu karesel form ile ilgili,
Y′ (
1
σ
2
I ) Y ∼ χ 2( n )
olduğunu biliyoruz.
n
2
∑ (Yi − Y ) de Y nin bir karesel formudur.
i =1
n
1
Y ′ ( I − J n )Y = ∑ (Yi − Y )2
n
i=1
1
n
Bu karesel formun matrisi I n − J n olmak üzere, bu matris simetrik,
idempotent ve 1n
1
In − Jn
n
⊥
altuzayı üzerine dik izdüşüm matrisidir.
matrisi ile Y ‘nin varyans kovaryans matrisi olan σ2 I
matrisinin çarpımı olan


 

( I n − 1 J n )σ 2 I ( I n − 1 J n )σ 2 I  ≠ ( I n − 1 J n )σ 2 I 






 

n
n
n
1
n
matrisini idempotent yapmak için I n − J n yerine
1
1
(
I
−
J n ) yazılmasıyla,
n
n
σ2
1

 

 ( I n − 1 J n )σ 2 I  1 ( I n − 1 J n )σ 2 I  =  1 ( I n − 1 J n )σ 2 I 


2
2
2
 σ
 σ
  σ

n
n
n
ve
1
Y ′ ( I n − J n )Y ∼ χ(2r )
n
σ
1
2
1
n
olur. Buradaki r serbestlik derecesi, I n − J n matrisinin rankı olmak üzere
aynı zamanda bu matrisinin sütun vektörlerinin gerdiği 1n
boyutudur.
⊥
alt uzayının
1
I n − J n matrisi idempotent olduğundan,
n
1
1
1
1
rank ( I n − J n ) = tr ( I n − J n ) = tr ( I n ) − tr ( J n ) = n − n = n −1
n
n
n
n
ve buna göre,
n
Y′
dır.
1
σ
2
( In −
2
∑ ( Yi − Y )
1
J n )Y = i =1
n
σ2
∼ χ (2n − 1)
Ayrıca,
1
1
J n (In − Jn ) = 0
n
n
olduğundan,
n
2
1
1
′
′
Y J n Y = nY ile Y ( I n − J n )Y = ∑ (Yi − Y )2
n
n
i=1
karesel formları bağımsızdır.
Özetlersek:
Y1, Y2 ,..., Yn ‘ler N ( 0, σ2 ) dağılımından alınmış n birimlik bir örneklem, yani
 Y1 
 
Y 
Y n×1 =  2  ∼ N (0, σ 2 I )
⋮
Y 
 n
olsun.
n
2
n
2
2
∑ Yi = nY + ∑ (Yi − Y )
i =1
1
σ
2
i =1
n
∑ Yi2 = Y ′ ( σ 2 I )Y ∼ χ(2n)
1
i=1



σ

 bağımsız
n

2
(Yi − Y )
∑

1
1
′
2
i
=
1
Y 2 ( I n − J n )Y =
∼ χ( n−1) 
2

n
σ
σ

nY
2
2
∼ χ(1)
2
dır.
Örnek Y n ×1 ∼ N ( µ , σ2 I ) ve µ = µ1n olsun.
Y
vektörünün Y1, Y2 ,..., Yn
bileşenlerine, N ( µ , σ2 ) dağılımından alınmış n birimlik örneklem olarak
bakabiliriz.
Y1, Y2 ,..., Yn ‘ler N ( µ , σ2 ) dağılımından n birimlik örneklem olsun.
n
n
2
2
2
∑ Yi = nY + ∑ (Yi − Y )
i =1
i =1
n
∑ Yi2
i=1
σ
nY
σ
2
2
=
2
=Y′(
1
σ
2
I )Y ∼ χ 2
( n,λ=
nµ 2
2σ 2
)
1
Y ′ ( J n )Y ∼ χ 2
nµ 2
n
σ
(1,λ=
)
1
2
2σ 2
n
∑ (Yi −Y )2
i=1
σ
2
=
1
Y ′ ( I n − J n )Y ∼ χ(2n−1,λ=0)
n
σ
1
2
dır. Ayrıca,
n
2
∑ ( Yi −µ )
i =1
σ
2
n (Y − µ ) 2
σ
2
∼ χ 2( n )
∼ χ (21)
dır.
Y1, Y2 ,..., Yn ‘ler N (0, σ 2 = 25)
dağılımından alınmış n birimlik bir örneklem
nY
σ
2
2
∼ χ(1)
2
Y1, Y2 ,..., Yn ‘ler N (µ = 5, σ 2 = 25)
dağılımından alınmış n birimlik bir örneklem
nY
σ
2
2
∼ χ2
(1,λ=
nµ 2
2σ 2
)
>> veri=randn(10,100)*5;
>> hist(10*(mean(veri)).^2/25)
>> veri=randn(10,100)*5+5;
>> hist(10*(mean(veri)).^2/25)
60
25
20
40
15
10
20
5
0
0
0
2
4
6
8
0
5
10
15
20
25
30
35
n
1
2
∑ Yi2
n
∑ Yi2 ∼ χ(2n=10)
i=1
2
σ
>> hist(sum((veri).^2)/25);
σ i=1
>> hist(sum((veri).^2)/25);
20
20
15
15
10
10
5
5
0
0
5
10
15
i=1
σ
2
0
20
n
∑ (Yi − Y )2
10
∑ (Yi −Y )2
∼ χ(2n−1)
i=1
σ
20
15
15
10
10
5
5
0
0
20
30
40
n
20
0
∼ χ(2n=10,λ=5)
5
10
15
20
0
0
2
∼ χ(2n−1,λ=0)
5
10
15
20
Örnek Y ∼ N ( 0, σ2 I ) olsun. X n × p , rank( X ) = p olmak üzere,
Q=
Y′Y
, Q1 =
σ2
Y ′ X ( X ′X )−1 X ′Y
σ2
, Q2 =
Y ′ ( I − X ( X ′X ) −1 X ′ )Y
σ2
karesel formların dağılımlarını bulalım.
Q = Y′ (
X ( X ′X )
−1
1
σ
2
I)Y ∼ χ 2(n )
X ′ idempotent, rank( X ( X ′X ) −1 X ′ ) = tr ( X ′X ( X ′X ) −1 ) = tr ( I p ) = p
olduğundan
Q1 = Y ′
LM 1 X ( X ′X ) −1 X ′ OP Y ∼ χ 2
N σ2
Q ( p)
ve I − X ( X ′X ) −1 X ′ idempotent, rank( I − X ( X ′X )−1 X ′ ) = n − p olduğundan
Q2 = Y ′
dır. Ayrıca,
LM 1 ( I − X ( X ′X ) −1 X ′ ) OP Y ∼ χ 2
N σ2
Q (n− p)
X ( X ′X )−1 X ′ ( I − X ( X ′X ) −1 X ′ ) = 0
olduğundan Q1 ile Q2 karesel formları bağımsızdır ve
Q1 n − p
∼ F( p ,n − p )
Q2 p
dır.
X ( X ′X )−1 X ′ matrisi X = X 1, X 2 ,..., X p
matrisinin sütun vektörleinin
gerdiği [ X ] = span { X 1, X 2 ,..., X p } uzayı üzerine dik izdüşüm dönüşümüne
karşılık gelen matristir. Y vektörünün
Yˆ = X ( X ′X ) −1 X ′Y ile gösterilirse,
Y
2
2
= Yˆ + Y − Yˆ
X
üzerine dik izdüşümü
2
Y ′ Y = Y X ( X ′X ) −1 X ′Y + Y ′ I − X ( X ′X ) −1 X ′ Y
dır.
Örnek: Đki Değişkenli Normal Dağılım
Đki değişkenli normal dağılıma sahip X , Y rasgele değişkenlerinin ortak
olasılık yoğunluk fonksiyonu,
E ( X ) = µ X , E ( Y ) = µY , Cov ( X , X ) = σ XY ,
σ XX
∑ = σ

XY
σ XY 
σ YY 
olmak üzere,
f ( x, y ) =
1
2π ( det ∑
)
12
 1
 x − µ X 
exp  − ( x − µ X , y − µY ) ∑ −1 
 ,
 y − µY  
 2
dır.
X ile Y ‘nin marjinal dağılımları
X ∼ N ( µ X , σ XX )
Y ∼ N ( µY , σ YY )
ve koşullu dağılımları,


σ
2
Y/ X = x ∼ N µY + XY ( x − µ X ) , σYY (1− ρ XY
) 
σ XX


E (Y/ X = x ) = µY +
σ XY
( x − µX )
σ XX
Var (Y/ X =x ) = σYY (1− ρ 2XY )


σ
X /Y = y ∼ N µ X + XY ( y − µY ) , σ XX (1− ρ 2XY ) 

σYY

σ
E ( X /Y = y ) = µ X + XY ( y − µY )
σYY
2
Var ( X /Y = y ) = σ XX (1− ρ XY
)
dır.
−∞ < x < ∞
−∞ < y < ∞
Z1 , Z 2 iki değişkenli standart normal dağılıma sahip olduğunda,
f ( z1 , z2 ) =
1
 1

exp  − ( z12 + z22 )  , − ∞ < z1 < ∞, − ∞ < z2 < ∞
2π
 2

dır. Bu olasılık yoğunluk fonksiyonunun grafiği,
0.2
0.15
0.1
0.05
0
5
5
0
0
-5
-5
dır. Đki değişkenli standart normal dağılımdan 100 birimlik bir örnek için
serpilme diyagramı,
3
2
1
0
-1
-2
-3
-3
dır.
-2
-1
0
1
2
3
>> clear all; close all
mu=[5 ;10];
sigmamatrisi=[2 0.5;0.5 2];
sigmaters=inv(sigmamatrisi);
c=1/(2*3.14*sqrt(det(sigmamatrisi)));
for ii=1:101;
for jj=1:101;
xx=mu(1,1)-5+10*(ii/101);
yy=mu(2,1)-5+10*(jj/101);
z(ii,jj)=c*exp(-0.5*[xx-mu(1,1);yy-mu(2,1)]'*sigmaters*[xx-mu(1,1);yy-mu(2,1)]);
z(ii,jj)=c*exp(-0.5*[xx-mu(1,1);yy-mu(2,1)]'*sigmaters*[xx-mu(1,1);yy-mu(2,1)]);
end
end
xxx=(mu(1,1)-5):.1:(mu(1,1)+5);
yyy=(mu(2,1)-5):.1:(mu(2,1)+5);
meshgrid(xxx,yyy);
mesh(xxx,yyy,z);
sigmamatrisi=[2 1.6;1.6 2]
sigmamatrisi=[2 0.5;0.5 2]
0.1
0.14
0.08
0.12
0.06
0.1
0.08
0.04
10
0.06
0.02
10
0.04
5
0
15
0.02
10
5
0
0
15
5
10
5
0
>> clc ; clear all ; close all
n=1000;
sigmamatrisi=[2 0.5;0.5 2];
veri=sqrt(sigmamatrisi)*randn(2,n);
sinifsayisi=10;
[fx,sx]=hist(veri(1,:),sinifsayisi);
[fy,sy]=hist(veri(2,:),sinifsayisi);
for i=1:sinifsayisi
for j=1:sinifsayisi
x1=sx(i)-(sx(2)-sx(1))/2 ;
x2=sx(i)+(sx(2)-sx(1))/2 ;
y1=sy(j)-(sy(2)-sy(1))/2 ;
y2=sy(j)+(sy(2)-sy(1))/2 ;
frekans=0;
for ii=1:n
if veri(1,ii)<x2
if veri(1,ii)>=x1
if veri(2,ii)<y2
if veri(2,ii)>=y1
frekans=frekans+1;
end,end,end,end
end
frpolig(i,j)=frekans;
x=[x1 x2];
y=[y1 y2];
meshgrid(x,y);
z=frekans*ones(2,2);
mesh(y,x,z);
hold on
end
end
figure
meshgrid(sx,sy);
mesh(sy,sx,frpolig);
figure
plot(veri(1,:),veri(2,:),'.')
sigmaters=inv(sigmamatrisi);
c=1/(2*3.14*sqrt(det(sigmamatrisi)));
figure
for ii=1:101;
for jj=1:101;
xx=-5+10*(ii/101);
yy=-5+10*(jj/101);
z(ii,jj)=c*exp(-0.5*[xx;yy]'*sigmaters*[xx;yy]);
end
end
xxx=-5:.1:5;
yyy=-5:.1:5;
meshgrid(xxx,yyy);
mesh(xxx,yyy,z);
100
50
0
-6
-5
-4
-2
0
0
2
4
6
5
100
80
60
40
20
0
5
0
-2
-5
-6
-4
0
2
4
5
4
3
2
1
0
-1
-2
-3
-4
-5
-6
-4
-2
0
2
4
6
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
5
0
5
-5
-5
0
>> hist3(veri);
  µY 
Y 
 X  ∼ N  µ  ,
 
 X 
σ YY
∑ = σ

XY
σ XY  
 dağılımında,
σ XX  


σ
2
Y/ X = x ∼ N µY + XY ( x − µ X ) , σYY (1− ρ XY
) 
σ XX


E (Y/ X = x ) = µY +
σ XY
( x − µX )
σ XX
Var (Y/ X =x ) = σYY (1− ρ 2XY )
olmak üzere, Y rasgele değişkeninin X rasgele değişkeni üzerine regresyon denklemi ,
σ
E (Y/ X = x ) = µY + XY ( x − µ X )
σ XX
dır. X , Y ‘nin ortak dağılımından alınan n birimlik örneklem,
 Y1   Y2 
 X  ,  X  , ... ,
 1  2 
 Yn 
X 
 n
olsun. Bu gözlemler için
Yi = µY +
(
σ XY
( X i − µ X ) + εi , i = 1, 2,..., n , εi ∼ N 0, σε2 = σ XX (1− ρ 2XY )
σ XX
)
εi ' ler bağımsız
yazılabilir. Buna Y rasgele değişkeninin X rasgele değişkeni üzerine regresyon modeli
denir. Bu modeli,
Yi = β0 + β1 X i + εi , i = 1, 2,..., n
biçiminde yazalım. Regresyon katsayıları,
β0 = µY −
β1 =
σ XY
µX
σ XX
σ XY
σ XX
olmak üzere, bu katsayıları ve hata terimi ε ‘nun varyansı olan σε2
parametresini gözlemlerden tahmin etmek isteyelim. Tahmin edici olarak,
µ X , σ XX = σX2 , µY , σYY = σY2 , σYY = Cov( X , Y ) , ρ 2XY
parametrelerin örneklem karşılıklarını kullanır ve
β0 = µY −
β1 =
σ XY
µX
σ XX
σ XY
σ XX
σε2 = σ XX (1− ρ 2XY )
ifadelerinde yerlerine yazarız. Böylece,
n
∑ ( X i − X )(Yi − Y )
βˆ1 = i=1
n
=
∑ ( X i − X )2
SXY
SXX
i=1
SXY
βˆ0 = Y −
X = Y − βˆ1 X
SXX


SXY
2
σˆ ε2 = SYY (1− ρˆ 2 ) = SYY (1− rXY
) = SYY 1− (
)2 

SXX .SYY 
>> n=15;
>>sigmamatrisi=[2 4 ; 4 16];
>>veri=sqrt(sigmamatrisi)*randn(2,n)+[10; 2.5]*ones(1,n);
>>Y=veri(1,:)';
>>X=veri(2,:)';
>>R=corrcoef(Y,X);
>>S=cov(Y,X);
>>SYY=S(1,1);
>>SXX=S(2,2);
>>SXY=S(1,2);
>>beta1=SXY/SXX
beta1 =
0.5679
>>beta0=mean(Y)-beta1*mean(X)
beta0 =
8.6036
>> beta=regress(Y,[ones(n,1) X])
beta =
8.6036
0.5679
>> sigmaepsilon=SYY*(1-R(1,2)^2)
sigmaepsilon = 0.1923
>> (Y-[ones(n,1) X]*beta)'*(Y-[ones(n,1) X]*beta)/(n-2)
ans = 0.2071
>> (Y-[ones(n,1) X]*beta)'*(Y-[ones(n,1) X]*beta)/(n-1)
ans = 0.1923
% En Küçük Kareler
% SSE/(n-2) = AKT/(n-2)
>> plot(X,Y,'.')
>> hold on
>> x=-8:.1:15;
>> plot(x,beta0+beta1*x)
18
16
14
12
10
8
6
4
2
-10
-5
0
5
10
15