ispatlar

Yayın Tarihi
30-08-2008
Revizyon No
3
İSPATLAR
İspat 1: Eşitlik (2.7) nin parametrelere göre türevi
n
∂SS (ε )
= −2∑ (Yi − β 0 − β1 X i ) = −2∑ ε i
∂β 0
i =1
n
∂S
= −2∑ (Yi − β 0 − β1 X i )X i = −2∑ ε i X i
∂β1
i =1
ve elde edilen ifadeler sıfıra eşitlenerek β0 ve β1 için tahminleri olan b0 ve b1 elde edilir.
n
∑ ei = ∑ (Yi − b0 − b1 X i ) = 0
n
∑ X e = ∑ X (Y
i i
i
i
(I1.1)
− b0 − b1 X i ) = 0
Toplam işareti değişkenlere dağıtılınca,
n
∑Y
i
n
− nb0 − b1 ∑ X i = 0
n
n
n
∑ X iYi − b0 ∑ X i − b1 ∑ X i2 = 0
veya ,
n
n
b0 n + b1 ∑ X i = ∑ Yi
n
n
(I1.2)
n
b0 ∑ X i + b1 ∑ X = ∑ Yi X i
2
i
normal denklemleri elde edilir.
İspat 2: bo ve b1 için alternatif formülün elde edilişi. (I1.2) numaralı denkleme normal
denklemler adı verilir. İlk normal denklem n ile bölünerek
(I2.1)
Y = b0 + b1 X
ikinci normal denklem de n ile bölünerek,
1
n
1
∑ j =1 X jY j = b0 X + b1 n ∑ j =1 X 2j
n
n
(I2.2) numaralı denklemde b0 = Y − b1 X dönüşümü yapıldığında,
1 n
1 n
X jY j = (Y − b1 X ) X + b1 ∑ j =1 X 2j
∑
j =1
n
n
1 n
= Y X − b1 X 2 + b1
X2
j =1 j
n
⎛1 n
⎞
= X Y + b1 ⎜
X 2j − X 2 ⎟
j =1
⎝n
⎠
∑
∑
eşitliği elde edilir. Ayrıca,
(I2.2)
1 n
⎛1
X j Y j − X Y = b1 ⎜
=
1
j
n
⎝n
olduğundan dolayı eşitlik (I2.3),
∑
1
n
1
n
⎞
∑ j =1 X 2j − X 2 ⎟⎠
n
(I2.3)
n
⎛1 n
⎞
∑ j =1(X j − X )(Y j − Y )= b1⎜⎝ n ∑ j =1 X 2j − X 2 ⎟⎠
n
1 n
∑ j =1(X j − X )(Y j − Y )= n ∑ j =1(X jY j − XY j − X jY + XY )
1 n
1 n
1
X jY j − X
Yj −Y
j =1
j =1
n
n
n
olduğundan ve benzer olarak,
n
1 n
Xj−X 2 =
X2−X2
j =1
j =1 j
n
Elde edildiğinden dolayı eşitlik (I2.3)
=
∑
∑
∑ (
)
1
∑ j =1 X j + XY = n ∑ j =1 X jY j − XY
n
n
∑
∑ j =1 (X j − X )(Y j − Y )
b1 =
n
∑ j =1 (X j − X )2
(I2.4)
(I2.5)
(I2.6)
n
(I2.7)
olarak bulunur.
İspat 3: Eşitlik (2.2) kullanılarak,
Y = β 0 + β1 X + ε
elde edilir. Burada ε = 0 dır ve bu sonuç eşitlik (2.9b) de yerine konarak,
b0 = β 0 − (b1 − β1 )X
(I3.1)
bulunur.
İspat 4a: Eşitlik (2.10) da bo yerine eşitlik (2.9b) deki değeri konarak,
Yˆi = Y + b1 ( X i − X )
(I4.1)
Yˆi − Y = b1 (X i − X )
(I4.2)
yada
elde edilir. Buradan,
∑ (Yˆ − Y )
2
i
= b12 ∑ (X i − X )
2
(I4.3)
ve eşitlik (2.9a) kullanılarak,
∑ (Yˆ − Y )
2
i
= b1 ∑ ( X i − X )(Yi − Y )
(I4.4)
elde edilir.
4b. Ayrıca eşitlik (I4.1) de X i = X alındığında,
Yˆi = Y
bulunur ki bu sonuç regresyon doğrusunun daima (X , Y ) noktasından geçtiğini ispatlar.
(I4.5)
İspat 5: Tahminlenmiş değerlerin ortalaması,
Yˆ =
∑ Yˆ
Yˆ =
∑ Yˆ = ∑ (b
i
n
olup,
0
i
n
=
+ b1 X i )
n
nb0 + b1 nX
n
= b0 + b1 X
Yˆ = Y
(I5.1)
elde edilir.
İspat 6: Tahminlenmiş değerler ile artıklar arasındaki kovaryans,
(
)
[(
]
)
Cov Yˆi , ei = E Yˆi − Yˆ (ei − e )
olup tahnimlenmiş covaryans,
(
)
1
Cˆ ov Yˆi , ei =
n
[∑ (Yˆ − Yˆ )(e − e )]
i
i
e = 0 olduğundan ve eşitlik (I5.1) ile
(
) [∑ (Yˆ − Y )(e )]
(
) [∑ (Yˆ e − Ye )] = 1n [∑ (Yˆ e ) − Y ∑ e ]
(
) [∑ (b
(
) [
1
Cˆ ov Yˆi , ei =
n
1
Cˆ ov Yˆi , ei =
n
1
Cˆ ov Yˆi , ei =
n
i
i
i i
0
i
+ b1 X i )ei
i i
]
1
Cˆ ov Yˆi , ei = b0 ∑ ei + b1 ∑ X i ei
n
eşitlik (I1.1) ile
(
i
]
)
Cˆ ov Yˆi , ei = 0
(I6.1)
bulunur. Buradan çıkan bir diğer sonuç da,
∑ Yˆ e
i i
=0
olduğudur.
İspat 7a: Çapraz çarpım,
∑ (Yˆi − Y )(Yi − Yˆi ) = ∑ (Yˆi − Y )ei
(I6.2)
∑ (Yˆi ei − Yei ) = ∑ Yˆi ei − Y ∑ ei
eşitlik (I1.1) ve (I6.2) kullanılarak,
∑ (Yˆi − Y )(Yi − Yˆi ) = 0
bulunur.
7b. Toplam Düzeltilmiş Kareler Toplamı,
∑ (Y
− Y ) = ∑ Yi 2 − 2Y ∑ Yi + Y 2
2
i
Burada nY = ∑ Yi olduğu hatırlanarak,
∑ (Y
− Y ) = ∑ Yi 2 − nY
2
i
2
(I7.1)
elde edilir. Buradaki ilk bileşen,
SS (T ) = ∑ Yi 2
(I7.2)
Toplam düzeltilmemiş kareler toplamı olup kısaca toplam kareler toplamı olarak adlandırılır.
İkinci bileşen ise düzeltme faktörü olarak adlandırılır.
SS (b0 ) = nY 2
(I7.3)
Sonuç olarak eşitlik (I7.1),
∑Y
i
2
= ∑ (Yi − Y ) + nY
2
2
(I7.4)
yazılabilir. Bu eşitliğin bir diğer ifadesi de,
SS (T ) = SS (Tc ) + SS (b0 )
(I7.5)
şeklinde olup SS(b0) ın serbestlik derecesi 1 dir.
İspat 8: b1 tahminleyicisi Yi lerin doğrusal kombinasyonudur. Eşitlik (2.9a),
b1 =
∑ (X
∑ (X
i
− X )Yi
− X)
2
i
şeklinde yazılabilir. Burada,
ki =
(X − X )
∑ (X − X )
i
2
(I8.1)
i
alınarak,
b1 = ∑ k i Yi
(I8.2)
yazılabilir. Xi ler sabit olduğundan ki ler de sabittir.
İspat 9: b1 tahminleyicisi sapmasızdır. Eşitlik (I8.2) nin beklenen değeri alındığında,
[
]
E (b1 ) = E ∑ k i Yi = ∑ k i E (Yi )
E (b1 ) = β 0 ∑ k i + β 1 ∑ k i X i
sapmasızlığın sağlanabilmesi için,
∑k
i
=
∑k
= 0 ve
i
∑k X
i
i
= 1 olmalıdır.
∑ (X − X ) = 0 , Not: (X − X ) = 0 olduğundan,
∑
∑ (X − X )
∑ X (X − X ) = 1 , Not: (X − X ) = (X − X )X
=
∑
∑
∑ (X − X )
i
2
(I9.1)
i
i
∑k X
i
i
i
2
i
2
i
i
i
olduğundan, (I9.2)
i
Sonuç olarak,
E (b1 ) = β 1
(I9.3)
elde edilir.
İspat 10: b1 tahminleyicisinin varyansı. Yi ler her birinin varyansı σ2 olan şans değişkenleridir
ve ki ler sabitlerdir. Tanım 2 ve eşitlik (T2.2) kullanılarak,
σ 2 (b1 ) = σ 2 (∑ Yi k i ) = ∑ k i2σ 2 (Yi )
σ 2 (b1 ) = ∑ k i2σ 2 = σ 2 ∑ k i2
olup, eşitlik (I8.1) kullanılarak,
(X − X )
k =
[∑ (X − X ) ]
∑ (X − X )
∑k =
[∑ (X − X ) ]
2
2
i
i
2 2
i
2
2
i
=
i
2 2
i
∑ (X
1
− X)
2
i
(I10.1)
sonuç olarak,
σ 2 (b1 ) = σ 2
∑ (X
1
− X)
2
i
(I10.2)
elde edilir. Tahminlenmiş varyans ise,
s 2 (b1 ) = s 2
∑ (X
1
− X)
2
i
(I10.3)
bulunur.
İspat 11: İlgilenilen istatistik (b1-β1)/s(b1),
(b1 − β1 ) σ (b1 )
s (b1 ) σ (b1 )
şeklinde yazılsın. Bu ifadenin payı Tanım 1 e göre standart normal değişkendir. Payda ise
eşitlik (I10.2) ve (I10.3), kullanılarak,
s 2 (b1 ) MS (e ) ∑ (X i − X )
MS (e )
=
=
2
2
2
σ (b1 )
σ2
σ ∑ (X i − X )
2
eşitlik (2.19b) kullanılarak,
s 2 (b1 ) SS (e ) n − 2
SS (e )
=
=
2
2
(n − 2)σ 2
σ (b1 )
σ
eşitlik (T6.1) kullanılarak,
χ n2−2
s 2 (b1 )
=
σ 2 (b1 ) (n − 2)
elde edilir. Bu durumda,
b1 − β 1
=
s (b1 )
z
(I11.1)
χ n2− 2 n − 2
bulunur. Burada z değişkeni b1 in bir fonksiyonudur ve
b1 değişkeni
SS(e)/σ2=χ2
değişkeninden bağımsızdır. Bu nedenle z ve χ2 değişkenleri birbirinden bağımsızdır. Sonuç
olarak Tanım 4 gereği,
b1 − β 1
= t n−2
s (b1 )
(I11.2)
elde edilir.
İspat 12: b0 tahminleyicisi Yi lerin doğrusal kombinasyonudur. Eşitlik (2.9b),
b0 =
∑ Yi
− b1 X
n
elde edilir. b1’in doğrusallık özelliği kullanılarak,
1
b0 = ∑ Yi − X ∑ k i Yi
n
⎛1
⎞
b0 = ∑⎜ − k i X ⎟Yi
⎝n
⎠
ifadesi bulunur.
ci =
1
− ki X
n
(I12.1)
alınarak
b0 = ∑ ci Yi
(I12.2)
elde edilip ispat tamamlanır.
İspat 13: b0 tahminleyicisi sapmasızdır. Eşitlik (I12.2) nin beklenen değeri alındığında,
[
]
E (b0 ) = E ∑ ci Yi = ∑ ci E (Yi )
E (b0 ) = β 0 ∑ ci + β1 ∑ ci X i
∑c
sapmasızlığın sağlanabilmesi için,
= 1 ve
i
∑c X
i
i
= 0 olmalıdır. Burada eşitlik (I12.1)
de ki değeri yerine konduğunda ci,
X (X i − X )
1
−
n ∑ ( X i − X )2
ci =
∑c
i
=
(I13.1)
∑1 − X ∑ (X − X ) = 1 ,
n
∑ (X − X )
i
2
Not:
∑ (X
i
− X ) = 0 olduğundan,
(I13.2)
i
∑c X
i
∑c X
i
i
i
∑c X
i
i
⎡1
X (X i − X ) ⎤
⎥X i
= ∑⎢ −
2
⎢⎣ n ∑ (X i − X ) ⎥⎦
=
∑X
n
i
−
X ∑ X i (X i − X )
∑ (X
− X)
2
i
Not: ∑ (X i − X ) = ∑ ( X i − X )X i olduğundan,
2
= X −X =0
(I13.3)
Sonuç olarak,
E (b0 ) = β 0
(I13.4)
elde edilir.
İspat 14: b0 tahminleyicisinin varyansı. Eşitlik (2.9b) nin varyansı,
σ 2 (b0 ) = σ 2 (Y − b1 X )
eşitlik (T2.2) kullanılarak,
σ 2 (b0 ) = σ 2 (Y ) + (− X ) 2 σ 2 (b1 ) + 2 (− X ) Cov(Y , b1 )
şeklinde elde edilebilir. Bilindiği gibi σ 2 (Y ) = σ 2 n ve σ 2 (b1 ) = σ 2
(I14.1)
∑ (X
− X)
2
i
idi.
Böylece eşitlik (I14.1) için belirlenmesi gereken terim sadece Cov(Y , b1 ) ’dir.
İki doğrusal fonksiyon arasındaki kovaryans, bir tek doğrusal fonksiyonun
varyansından biraz daha değişiktir. U katsayıatsı ai ile belirtilen ilk doğrusal fonksiyon ve
W ise katsayıları di ile belirlenen aynı şans değişkeninin ikinci bir doğrusal fonksiyonu
olsun:
U = ∑ ai Yi
ve
W = ∑ d i Yi
U ve W ’nin kovaryansı,
Cov(U ,W ) = ∑ ai d i σ 2 (Yi ) + ∑i ≠ j ∑ ai d j Cov(Yi , Y j )
(I14.2)
şeklinde olup Yi değerleri bağımsız ise kovaryanslar sıfır olup eşitlik (I14.2),
Cov (U , W ) = ∑ a i d i Var (Yi )
(I14.3)
ifadesine indirgenebilir. Bu ifadedeki U ve W sırası ile Y ve b1 tahminlerine karşılık
gelmektedir.
Y =
1
1
(Y1 + Y2 + ... + Yn ) = ∑ Yi
n
n
b1 =
∑ (X
∑ (X
i
− X )Yi
− X)
2
i
olduğundan ai ve d i katsayıları;
ai = 1 n
di =
ve
(X − X )
∑ (X − X )
i
2
i
olarak belirlenebilir. Bu durumda Y ve b1 arasındaki kovaryans;
⎛ 1 ⎞ (X i − X )
Cov (Y , b1 ) = ∑ ⎜ ⎟ ⋅
σ 2 (Yi )
2
⎝ n ⎠ ∑(X i − X )
=
1 ∑ (X i − X )
⋅
⋅ σ 2 , Not:
n ∑ (X i − X )2
∑ (X
Cov(Y , b1 ) = 0
i
− X ) = 0 olduğundan,
(I14.4)
olarak elde edilir. Bu durumda b0 ın varyansı için;
σ 2 (b0 ) = σ 2 (Y ) + ( X ) 2 σ 2 (b1 )
=
⎛1
σ 2 (b0 ) = ⎜ +
⎜n
⎝
σ2
n
+X2
σ2
∑ (X
X2
∑ (X
− X)
2
i
− X)
2
i
⎞
⎟ ⋅σ 2
⎟
⎠
(I14.5)
ifadesi elde edilir. Tahminlenmiş varyans ise,
⎛1
X2
s 2 (b0 ) = ⎜ +
2
⎜n
∑ (X i − X )
⎝
⎞
⎟ ⋅ s2
⎟
⎠
(I14.6)
şeklindedir.
İspat 15: Cov (b0, b1) için eşitlik (I14.3) kullanılır. Bu eşitlikte (I8.1) ve (I13.3)
kullanılarak
⎡1
X (X i − X ) ⎤ ⎡ (X i − X ) ⎤ 2
⎥σ (Yi )
⎥⎢
Cov(b0 , b1 ) = ∑ ⎢ −
2
2
⎢⎣ n ∑ (X i − X ) ⎥⎦ ⎢⎣ ∑ (X i − X ) ⎥⎦
⎡
(X i − X ) X ∑ (X i − X )2 ⎤⎥ 2
∑
⎢
−
σ , Not:
Cov (b0 , b1 ) =
2 2 ⎥
⎢ n∑ (X − X )2
(
)
−
X
X
i
∑ i
⎣
⎦
[
]
∑ (X
i
− X ) = 0 olduğundan,
⎤
⎥σ 2
2
⎢⎣ ∑ (X i − X ) ⎥⎦
⎡
Cov(b0 , b1 ) = ⎢−
X
(I15.1)
elde edilir.
İspat 16: r2 için ispat
İspat 17: Gaus-Markov teoremi, b1 için minimum varyanslılık. β1 için bir diğer doğrusal
ve sapmasız tahminleyici b1* olsun. b1* doğrusal olduğundan,
b1* = ∑ ai Yi
yazılabilir, burada ai sabitlerdir. Sapmasız olduğundan,
E (b1* ) = β1
olmalıdır.
( )
E b1* = ∑ ai E (Yi )
olup, E (Yi ) = β 0 + β 1 X i değeri yerine konduğunda,
( )
E b1* = ∑ ai (β 0 + β 1 X i ) = β 0 ∑ a i + β 1 ∑ a i X i = β 1
olmalıdır. Sapmasızlık şartının sağlanması için,
∑a
i
= 0 ve
∑a X
i
i
= 1 olmalıdır.
b1* in varyansı,
σ 2 (b1* ) = ∑ ai2σ 2 (Yi ) = σ 2 ∑ ai2
şeklinde verilebilir. Şimdi ai = k i + d i olarak ayrıştırılsın. Bu durumda varyans,
σ 2 (b1* ) = σ 2 ∑ (k i + d i ) = σ 2 [∑ k i2 + ∑ d i2 + 2∑ k i d i ]
2
ki ve ai üzerindeki kısıtlamalardan
∑k d
i
i
= 0 olmalıdır. b1 için varyans, σ 2 (b1 ) = σ 2 ∑ k i2
idi. Bu durumda,
σ 2 (b1* ) = σ 2 (b1 ) + σ 2 ∑ d i2
ve
∑d
2
i
için en küçük değer sıfırdır. Diğer bir deyişle b1* minimum değerini
∑d
2
i
= 0 iken
alır. Bu ise sadece tüm di ler sıfır ise gerçekleşir. Bu durumda ai=ki olup b1 tüm doğrusal
sapmasız tahminleyiciler içinde minimum varyanslı olanıdır.
İspat 18: Eşitlik (3.7b) nin vektörüne göre türevi alındığında,
(
( )
)
(
) (
) (
∂ β T X T y ∂ y T Xβ ∂ β T X T Xβ
∂ ε T ε ∂ y T y - β T X T y - y T Xβ + β T X T Xβ
−
+
=
=−
∂β
∂β
∂β
∂β
∂β
)
Bu ifadede yTXβ bir skaler olduğu için transpozuna βTXTy eşittir. Tanım 15 deki (T15.2),
(
)
∂ βT XT y
= −XT y
∂β
(
(I18.1)
)
∂ y T Xβ
= −y T X
∂β
ve (T15.4) eşitlikleri kullanılarak,
(
)
∂ β T X T Xβ
= 2 X T Xβ
∂β
(I18.2)
ve sonuç olarak
∂ (ε T ε)
= −2 X T y + 2 X T X β = 0
∂β
ve normal denklemler,
( X T X)b = X T y
(I18.3)
bu denklem soldan (XTX)-1 ile çarpılarak parametre tahminleyicileri vektörü,
b = ( X T X) −1 X T y
(I18.4)
bulunur.
İspat 19: w şans vektörü için varyans-kovaryans vektörü k×k boyutlu olup;
{
}
σ 2 (w ) = E {[Ay − AE (y )][Ay − AE (y )]T }
σ 2 (w ) = E {A[y − E (y )][y − E (y )]T A T }
σ 2 (w ) = AE {[y − E (y )][y − E (y )]T }A T
σ 2 (w ) = A[σ 2 (y )]A T
σ 2 (w ) = E [w − E (w )][w − E (w )]T
elde edilir. Burada eğer,
σ 2 (y ) = σ 2 I
ise eşitlik (T27.3),
[ ]
σ 2 (w ) = A σ 2 I A T
2
σ bir skaler olduğundan ve birim matrisin etkisiz eleman olmasından,
σ 2 (w ) = AA T σ 2
bulunur.
İspat 20: Matris notasyonunda model y=Xβ+ε olduğundan beklenen değerler,
E(y)=E(Xβ+ε)= Xβ+E(ε)
Eşitlik (3.14) kullanılarak,
(I19.1)
E(y)= Xβ
bulunur. Parametre tahminleri için ise,
[
(I20.1)
]
E (b ) = E ( XT X) −1 X T y = ( XT X) −1 X T E (y )
E (b ) = ( XT X) −1 X T Xβ
E (b ) = β
(I20.2)
Bu durum sadece varsayılan modelin doğru olduğu durumlar için geçerlidir. Kestirim için ise,
eşitlik (3.8) ile,
E (yˆ ) = E (Xb ) = XE (b )
ve eşitlik (T20.2) ile,
E (yˆ ) = Xβ
(I20.3)
Bu ispat izdüşüm matrisi ve onun bir özelliği,
(
)−1
HX = X XT X XT X = X
(I20.4)
kullanılarak da, eşitlik (3.11) ile,
E (yˆ ) = HE (y ) = HXβ
E (yˆ ) = Xβ
bulunabilir. Artık vektörünün beklenen değeri, eşitlik (3.13) ile,
E (e ) = E [(I − H )y ] = (I − H )E (y )
E (e ) = (I − H )Xβ = (X − HX )β = (X − X )β
E (e ) = 0
(I20.5)
İspat 21: Matris notasyonunda model y=Xβ+ε olduğundan şans değişkeninin varyansı,
σ 2 (y ) = σ 2 (Xβ + ε ) = σ 2 (ε )
ve Tanım 25 kullanılarak,
σ 2 (y ) = Iσ 2
(I21.1)
bulunur. Diğer bir deyişle şans değişkeni ile hatalar aynı varyansa sahiptir. Parametre
tahminleri için ise, İspat 19 kullanılarak,
[
] [
]
[
σ 2 (b ) = σ 2 ( XT X) −1 X T y = ( XT X) −1 X T σ 2 (y ) ( XT X) −1 X T
[
]
σ 2 (b ) = ( XT X) −1 X T X ( XT X) −1σ 2
σ 2 (b ) = ( XT X) −1σ 2
]
T
(I21.2)
bulunur. Kestirim için ise, eşitlik (3.18) ve İspat 19 kullanılarak,
[
]
σ 2 (yˆ ) = σ 2 (Hy ) = H σ 2 (y ) H T
σ 2 (yˆ ) = HH T σ 2
H matrisi idempotent olduğundan,
σ 2 (yˆ ) = Hσ 2
(I21.3)
elde edilir. Artık vektörünün varyansı, eşitlik (3.19) ve İspat 19 kullanılarak,
[
]
σ 2 (e ) = σ 2 [(I − H )y ] = [(I − H )]σ 2 (y ) [(I − H )]T
σ 2 (e ) = [(I − H )][(I − H )]T σ 2
(I-H) matrisi idempotent olduğundan,
σ 2 (e ) = [(I − H )]σ 2
bulunur.
(I21.4)
İspat 22: Eğer gerçek model E (y ) = Xβ1 + X 2 β 2 , varsayılan model E (y ) = Xβ1 , ise
parametre tahmin vektörünün beklenen değeri,
( )−1 XT E(y ) = (XT X)−1 XT (Xβ1 + X 2β 2 )
−1
−1
E (b1 ) = (XT X ) XT Xβ1 + (XT X ) XT X 2 β 2
−1
E (b1 ) = β1 + (XT X ) XT X 2 β 2
−1
bulunur. Bu denklem sapma matrisi, A = (XT X ) XT X 2 alınarak,
E (b1 ) = XT X
E (b1 ) = β1 + Aβ 2
(I22.1)
yazılabilir.
İspat 23: Model (3.20) için kestirim değeri, yˆ = Xb1 olup beklenen değeri,
E (yˆ ) = XE (b1 )
olup, eşitlik (3.23) kullanılarak,
E (yˆ ) = Xβ1 + XAβ 2
(I23.1)
sonuç olarak kestirim değerinin de sapmalı olduğu görülür. Parametrelerin varyans-kovaryans
matrisinin ise,
(
)
(
)
−1
−1
⎡
⎤
⎡
⎤
σ (b1 ) = ⎢ XT X XT ⎥σ 2 (y )⎢ XT X XT ⎥
⎣
⎦
⎣
⎦
2
(
σ 2 (b1 ) = XT X
T
)−1σ 2
(I23.2)
değişmediği görülür.
İspat 24 : EKK tahminleyici vektörünün b varyans-kovaryans matrisi,
{
}
(
)
E [b − E (b)][b − E (b)]T = σ 2 (b ) = XT X σ 2
ve b tahmin vektörü,
b = ( XT X) −1 XT y
şeklinde idi. C sabitler matrisi olmak üzere,
K = ( X T X ) −1 X T + C
~
varsayımı yapılsın ve β nın doğrusal sapmasız başka bir tahminleyicisi b olsun.
~
b = Ky (doğrusal)
= KXβ + Kε
ve
~
E (b ) = KXβ
elde edilir. Sapmasızlık koşulu için KX = 1 olması gereklidir. Bunun için
KX = ( XT X) −1 XT X + CX
= I + CX
~
~
~
olup CX = 0 olmalıdır. Sonuç olarak, b = β + Kε ve E (b ) = β elde edilir ve b varyanskovaryans matrisi
~
~ ~
~ T
E ⎧⎨ b − E (b ) b − E (b ) ⎫⎬ = E Kεε T K T
⎩
⎭
[
][
[(
]
[
= E ( XT X) −1 XT
[
]
+ C)εε (X( X
T
T
X) −1 + CT
)]
]
= ( XT X) −1 XT X( XT X) −1 + ( X T X) −1 XT CT + CX( X T X) −1 + CCT σ 2
= ( X T X) −1σ 2 + CCT σ 2
(I24.1)
~
olarak elde edilir. CCT pozitif tanımlı bir matris olması nedeni ile b varyansının b den
σ 2 CCT kadar fazla olduğu söylenebilir.
İspat 25 : Doğrusal kontrastın kareler toplamı,
SS (C1 ) = C12 = (a T y ) (a T y )
SS (C1 ) = y T (aa T )y
SS (C1 ) = y T Ay
İspat 26 : Model kareler toplamı,
T
∑ yˆi2 = yˆ T yˆ = ( Xb ) ( Xb )
(I25.1)
= bT XT Xb
Normal denklemlerde XT Xb = XT y olduğundan,
yˆ T yˆ = bT XT y
bulunur. Basit regresyon için,
SS ( b1 / b0 ) = b1 ⎡⎣ ∑ ( X i − X )(Yi − Y ) ⎤⎦
(I26.1)
T
⎡
( ∑ X i )( ∑ Yi ) ⎤
= b1 ⎢ ∑ X iYi −
⎥
n
⎢⎣
⎥⎦
= b1 ⎡⎣ ∑ X iYi − nXY ⎤⎦
Ortalama için kareler toplamı (düzeltme faktörü),
SS ( b0 )
(∑Y )
=
i
2
= nY 2
n
Bu kareler toplamlarının her biri bir serbestlik derecesine sahiptir. Model kareler toplamı,
SS ( M ) = SS ( b1 / b0 ) + SS ( b0 ) = b1 ∑ X iYi − b1nXY + nY 2
= b1 ∑ X iYi + nY (Y − b1 X )
= b1 ∑ X iYi + ∑ Yi b0
⎡ ∑ Yi ⎤
= ( b0 b1 ) ⎢
⎥
⎣ ∑ Yi X i ⎦
= bT XT y
bulunur.
İspat 27 : Matris notasyonunda regresyon kareler toplamı,
SS ( b1 / b0 ) = bT XT y − y T 11T y n
Burada bT değeri yerine konarak,
SS ( b1 / b0 ) = y T X ( XT X ) XT y − y T 11T y n
−1
SS ( b1 / b0 ) = y T Hy − y T 11T y n
SS ( b1 / b0 ) = y T ( H − 11T n ) y
ve J=11T alınarak,
SS ( b1 / b0 ) = y T ( H − J n ) y
T
(I27.1)
elde edilir. 11 çarpımının sonucunda n × n boyutlu birlerden oluşan bir matris elde edilir.
İspat 28 : y = yˆ + e olduğundan,
y T y = ( yˆ + e ) ( yˆ + e ) = yˆ T yˆ + yˆ T e + eT yˆ + eT e
Burada eşitlikler (3.18) ve (3.19) kullanılarak,
T
y T y = ( Hy )
( Hy ) + ( Hy ) ⎡⎣( I − H ) y ⎤⎦ + ⎡⎣( I − H ) y ⎤⎦ ( Hy ) + ⎡⎣( I − H ) y ⎤⎦ ⎡⎣( I − H ) y ⎤⎦
T
T
y T y = y T HT Hy + y T HT ⎡⎣( I − H ) y ⎤⎦ + y T ( I − H ) Hy + y T ( I − H ) ( I − H ) y
T
T
T
T
H ve (I-H) matrisleri simetrik ve idempotent olduğundan ve
HT(I-H)=H-H=0
(I28.1)
olduğundan,
y T y = yˆ T yˆ + eT e
(I28.2)
ya da karesel formlar şeklinde:
y T Iy = y T Hy + y T ( I − H ) y
(I28.3)
elde edilir.
İspat 29 : H idempotent olduğundan rankı izine eşittir. iz(BA)=iz(AB) özelliği kullanılarak,
A=X ve B=(XTX)-1XT alınarak,
−1
−1
⎡
⎤
⎡
⎤
iz (H ) = iz ⎢ X XT X XT ⎥ = iz ⎢ XT X XT X⎥
⎣
⎦
⎣
⎦
iz (H ) = iz I p = p
(I29.1)
(
)
(
)
( )
I nın alt indisi p, birim matrisin derecesini belirtmektedir.
İspat 30 : Y şans değişkeninin ortalaması E (y ) = μ ve varyans-kovaryans
matrisi
σ 2 (y ) = V ile belirtilsin. E (y T Ay ) değerinin elde edilmesi için ilk olarak,
[
]
V = E (y − μ)(y − μ )T = E (yy T ) − μμ T
yazılabilir. Bu ifade σ 2 = E (Y 2 ) − μ 2 ifadesinin çok değişkenli durumunu belirtmektedir.
Dolayısı ile E (yy T ) = V + μμ T eşitliği verilebilecektir. y T Ay bir skaler olduğundan aynı
zamanda izine de eşittir, y T Ay = iz (y T Ay ) . Daha önce verilen
kullanılarak,
[
]
[
] [
E (y T Ay ) = Eiz (y T Ay ) = Eiz ( Ayy T ) = iz AE (yy T )
elde edilir ve
[
iz ( AB) = iz (BA) eşitliği
]
]
E (y T Ay ) = iz A (V + μμ T ) = iz ( AV ) + μ T Aμ
(I30.1)
ifadesi yazılabilir. Bu eşitliğin kullanılabilmesi için y değişkeninin normal dağılış göstermesi
gerekli değildir. y T Ay nın varyansı ise
σ 2 (y T Ay ) = 2iz ( AV ) 2 + 4μ T AVAμ
(I30.2)
şeklindedir. Elde edilen (I30.1) ve (I30.2) sonuçları herhangi bir karesel form y T Ay için tam
genelleme yapılmasında kullanılır. (I30.2) için normalite gereklidir.
İspat 31 : Şans değişkeninin doğrusal fonksiyonlarının beklenen değer ve varyansı için
kullanılan yaklaşım kullanılacaktır. Parametre tahminleyicileri sapmasız olduğundan,
E(KTb)= KTβ
(I31.1)
bulunur. Varyans ise,
σ 2 (K T b − m ) = σ 2 ( K T b )
olup, burada m sabit olduğundan σ 2 ( m ) = 0 . b tahmin vektörü yerine konarak,
σ 2 (K T b − m) = σ 2 ⎡⎢K T ( XT X ) XT y ⎤⎥
⎣
⎦
−1
σ 2 (K T b − m) = ⎡⎢ K T ( XT X ) XT ⎤⎥ σ 2 ( y ) ⎡⎢K T ( XT X ) XT ⎤⎥
⎣
⎦
⎣
⎦
−1
−1
T
σ 2 (K T b − m) = ⎡⎢K T ( XT X ) XT X ( XT X ) K ⎤⎥ Iσ 2
⎣
⎦
2
T
T
T
−1
2
2
σ (K b − m) = K ( X X) Kσ = Vσ
−1
−1
(I.31.2)
bulunur. Sonuç olarak b vektörü çok değişkenli normal dağılış gösterdiği için,
−1 ⎞
⎛
K T b ~ N ⎜ K T β; σ 2 K T XT X K ⎟
(I.31.3)
⎠
⎝
KTb nin varyansı için bir diğer yaklaşım,
T⎫
⎧
σ 2 K T b = E ⎨ K T b − E K T b K T b − E K T b ⎬ = E K T (b − β )(b − β )T K
⎩
⎭
olup KT(b-β) nın dağılımı,
−1 ⎞
⎛
K T (b − β ) ~ N ⎜ 0; σ 2 K T XT X K ⎟
(I.31.4)
⎠
⎝
Eğer hipotez doğru ise eşitlik (I31.4) deki KTβ değeri m ile yer değiştirir ve,
−1 ⎞
⎛
K T b − m ~ N ⎜ 0; σ 2 K T XT X K ⎟
(I31.5)
⎠
⎝
elde edilir. Eşitlik (I31.5) e eşitlik (T36.4) uygulanarak,
(
[
( )
(
)
( )][
)
(
)
(
)
( )]
{
}
(K T b − m )T ⎡⎢⎣σ 2K T (XT X)−1 K ⎤⎥⎦ (K T b − m) ~ χ r2
−1
(I31.5)
İspat 32 : Karesel formların bağımsızlığı,
y ~ N (0, σ 2 I )
şeklinde dağıldığı ve ayrıca,
y T Ay ve y T By
gibi iki karesel formun mevcut olduğu kabul edilsin. A ve B matrisleri aynı boyutlu simetrik
idempotent matrislerdir. Bu iki formun birbirinden bağımsız olarak dağılmasının şartları
araştırılacaktır. Bu matrisler simetrik ve idempotent olduğundan
y T Ay = ( Ay )T ( Ay )
y T By = (By )T (By )
eşitlikleri yazılabilir. Eğer Ay vektöründeki her bir değişken By vektöründeki her bir
değişken ile sıfır korelasyona sahip ise bu değişkenler birbirinden bağımsız olarak
dağılmışlardır. Dolayısıyla bu değişkenler setinin herhangi fonksiyonunda y T By bağımsız
dağılacaktır. Ay ve By’deki değişkenler arasındaki kovaryanslar,
{
} {
E (Ay )(By )T = E Ayy T B
}
= σ 2 AB
(I32.1)
şeklindedir. Eğer sadece ve sadece
AB=0
(I32.2)
ise bu kovaryansların (dolayısı ile korelasyonlar) tümü sıfırdır. A ve B matrisleri simetrik
olduğu için aynı zamanda BA=0 eşitliğinde geçerlidir. Sonuç olarak, idempotent matrisli iki
karesel form sadece ve sadece idempotent matrislerin çarpımı boş (sıfır) matrisini veriyor ise
birbirinden bağımsız dağılır.
İspat 33 : Bir karesel form ve bir doğrusal fonksiyonun bağımsızlığı,
y ~ N (0, σ 2 I )
şeklinde dağıldığı varsayılsın. A matrisi n boyutlu simetrik idempotent bir matris olmak üzere
y T Ay bir karesel form ve Ly, m elemanlı her bir elemanı y’lerin doğrusal bir kombinasyonu
olan vektör olsun. Bu durumda L, m x n boyutlu bir matristir ve kare veya simetrik olması
gerekli değildir. Ay ve Ly’deki değişkenlerin sıfır kovaryansa sahip olması için
{
}
E Ayy T LT = σ 2 ALT = 0
veya eşdeğer olarak
LA=0
(I33.1)
olması gereklidir.
İspat 34 : Hata değerleri doğrudan gözlenemediği için. σ2 nin bir tahminin artık terimi
kareler toplamı ile elde edilmesi uygun olabilecektir. Tek sorun sapmasız bir tahminci elde
edebilmek için payda değerinin ne olması gerektiğidir. Eşitlik (3.13),
e = (I − H )y
kullanılarak, M=(I-H) alınarak ve
MX=0
(I34.1)
Bulunur burada M simetrik ve idempotent matristir. Eşitlik (3.13) için, eşitlik (I34.1)
kullanılarak,
e=My= M(Xβ+ε)
e=Mε
Artık kareler toplamı,
eTe=εTMε
ve beklenen değeri alınarak,
E(eTe)=E(εTMε)
= E[iz(εTMε)]
εTMε bir skaler olduğu için
=E[iz(MεεT)]
=σ2 iz(M)
Burada iz(M)=iz(I)-iz(H)=n-p olup, eğer
eT e
s =
n− p
olarak alınırsa, istenilen sapmasız tahminleyici,
E(s2)=σ2
elde edilir.
İspat 35 : A matrisi,
2
⎡A
A = ⎢ 11
⎣ A 21
A12 ⎤
A 22 ⎥⎦
şeklinde parçalanmış, A11 ve A22 tekil olmayan kare matrisler ise A matrisinin tersi,
⎡
B11
A −1 = ⎢
−1
⎢⎣− A 22 A 21B11
(
burada B11 = A11 − A12 A −221 A 21
⎤
− B11A12 A −221
⎥
A −221 + A −221 A 21B11A12 A −221 ⎥⎦
)−1 dir, ya da
(I35.1)
−1
−1
⎡ A −1 + A11
A12 B 22 A 21A11
A −1 = ⎢ 11
−1
− B 22 A 21A11
⎢⎣
(
−1
− A11
A12 B 22 ⎤
⎥
B 22
⎥⎦
−1
şekline elde edilir, burada B 22 = A 22 − A 21A11
A12
(I35.2)
)−1 ’dir. Bu teoremin ispatı aşağıdaki
şekilde verilebilir.
B12 ⎤
⎡B
A −1 = B = ⎢ 11
⎥
⎣B 21 B 22 ⎦
ve
A.B=I
⎛ A11
⎜⎜
⎝ A 21
A12 ⎞ ⎛ B11 B12 ⎞
⎟=I
⎟⎜
A 22 ⎟⎠ ⎜⎝ B 21 B 22 ⎟⎠
daha sonrada,
A11B11 + A12 B 21 = I
A11B12 + A12 B 22 = 0
A 21B11 + A 22 B 21 = 0
A 21B12 + A 22 B 22 = I
denklemleri elde edilebilir. Üçüncü denklemden,
−1
B 21 = − A 22
A 21B11
(I35.3)
bulunur ve birinci denklemde yerine konup B11 için çözülürse,
(
B11 = A11 − A12 A −221 A 21
)−1
(I35.4)
elde edilir. Benzer işlemler ikinci ve dördüncü denklemlere uygulanarak,
−1
B12 = − A 11
A12 B 22
(
−1
B 22 = A 22 − A 21 A11
A12
(I35.5)
)−1
(I35.6)
elde edilir. Eşitlik (I35.1) ve (I35.2)’deki kalan sütunları elde etmek amacıyla, B . A = I
çarpımı kullanılarak,
B11A11 + B12 A 21 = I
B11A12 + B12 A 22 = 0
B 21A11 + B 22 A 21 = 0
B 21A12 + B 22 A 22 = I
denklem seti elde edilir. Bu setteki ikinci denklemden,
B12 = −B11 A12 A −221
(I35.7)
elde edilir ve bu değer ilk setin dördüncü denkleminde yerine konarak B22 için çözülerek,
−1
−1
−1
B 22 = A 22
+ A 22
A 21B11 A12 A 22
(I35.8)
elde edilir. Eşitlik (I35.7) ve (I35.8), eşitlik (I35.1)’de verilen A −1 matrisinin ikinci
sütununu verir. Son setin üçüncü denklemi ve ilk setin birinci denkleminden,
−1
B 21 = −B 22 A 21 A11
−1
−1
−1
B11 = A11
+ A11
A12 B 22 A 21 A11
(I35.9)
(I35.10)
elde edilir. Bu eşitlikler eşitlik (I35.2)’in ilk sütununu verir.
İspat 36: Eğer,
1/ 2
Rn* = max ei /{(n − p )s 2 / n}
ise,
Rn* = n1/ 2 max ei / ( ∑ ei2 )
1/ 2
Rn* = n1/ 2 max ai
(4.7b)
İspat 37: Z=[X y] olsun, HX=X(XTX)-1XT ve Hz=Z(ZTZ)-1ZT olsunlar. (T46.1a) eşitliğinden dolayı,
HZ = H X +
(I − H X )yy T (I − H X )
y T (I − H X )y
ee T
= HX + T
e e
(I37.1)
yazılabilir.
İspat 38 : R2 istatistiği,
R2 =
SS (R )
SS (R ) + SS (e )
(I38.1)
ve F test istatistiği,
F=
SS (R ) v1
SS (e ) v 2
şeklinde olup, eşitlik (I38.2) den,
v SS (R )
SS (e ) = 2
v1 F
(I38.2)
elde edilr ve eşitlik (I38.1) de yerine konarak,
R2 =
v1 F
v1 F + v 2
(I38.3)
elde edilir.
İspat 39 : Parametreler β0 ve β1 için anlamlılık seviyesi (tekrarlı örneklemde oluşturulan
güven aralığının gerçek parametre değerinin kapsamama olasılığı) α olsun. Diğer bir ifade ile:
P( A1 ) = α ve P( A2 ) = α
Bilinen olasılık teoremlerine göre:
P( A1 ∪ A2 ) = P( A1 ) + P( A2 ) − P( A1 ∩ A2 )
(I39.1)
Her iki aralığı doğru olarak elde etme olasılığını belirlemek için yukarıdaki olasılığın
tümleyeninin P (A1 ∩ A2 ) olasılığını bulmak gerekir
P (A1 ∩ A2 ) = 1 − P( A1 ∪ A2 ) = 1 − P( A1 ) − P( A2 ) + P( A1 ∩ A2 )
(I39.2)
Burada,
1 − P( A1 ∪ A2 ) = P( A1 ∪ A2 ) = P(A1 ∩ A2 )
Eşitlik (I39.2) den Bonferroni eşitsizliğini elde etmek için P( A1 ∩ A2 ) ≥ 0 sonucu
kullanılarak:
P (A1 ∩ A2 ) ≥ 1 − P( A1 ) − P( A2 )
P (A1 ∩ A2 ) ≥ 1 − α − α
(I39.3)
elde edilir.
İspat 40 : Kovaryans
(
) {[
( )]
}
= E [(X i* − X i )(ε i − β1δ i )]
= E [δ i (ε i − β1δ i )] = E [δ i ε i − β1δ i2 ]
σ X i* ; ε i − β1δ i = E X i* − E X i* [(ε i − β1δ i ) − E (ε i − β1δ i )]
ve
(
)
σ X i* ; ε i − β1δ i = − β1σ 2 (δ i )
İspat 41 :Hata kareler toplamı;
(5.6)
∑ [Yi − (β 0′ + β1x1 + L + β k xk )] = ∑ ε i2
2
Parametreye göre türevi sıfıra eşitlenerek,
∂
∑ ε i2 = −2
∑ [Yi − (β 0′ + β1x1 + L + β k xk )] = 0
∑ Yi − b1 ∑ x1 − L − bk ∑ xk = ∑ b0′
∑ Yi − b1 ∑ x1 − L − bk ∑ xk = nb0′
∂β 0′
∑ Yi − b1 ∑ x1 − L − bk ∑ xk = b0′
n
Burada,
∑ xi
n
n
n = xi olduğundan,
Y − b1 x1 − L − bk x k = b0′
ve xi = 0 olduğundan,
Y = b0′
(I41.1)
elde edeilir.
İspat 42 : Eşitlik (5.17b) deki modelde k=2 için X matrisi,
⎡ z11
⎢z
21
X=⎢
⎢ M
⎢
⎣ z n1
z12 ⎤
z 22 ⎥⎥
M ⎥
⎥
z n2 ⎦
Bu model kesişim terimini içermediği için ilk sütun birlerden oluşmaz. Bu durumda XTX
matrisi,
⎡ z11
XT X = ⎢
⎣ z12
⎡
=⎢
⎢
⎣
⎡ z11
z 21 L z n1 ⎤ ⎢⎢ z 21
z 22 L z n 2 ⎥⎦ ⎢ M
⎢
⎣ z n1
z12 ⎤
z 22 ⎥⎥
M ⎥
⎥
z n2 ⎦
∑ (zi1 )2 ∑ (zi1zi 2 )⎤⎥
∑ (zi2 zi1 ) ∑ (zi2 )2 ⎥⎦
Burada,
∑ (zi1 ) = ∑
2
⎛
⎜ X i1 − X
⎜
12
⎜ S
11
⎝
2
⎞
⎟
⎟ =
⎟
⎠
∑⎛
⎜
⎝
(X i1 − X )2
(X i1 − X )
Benzer olarak,
∑ ( z i 2 )2 = 1
Köşegen elemanlar ise,
∑
z i1 z i 2 =
∑
⎛ ( X − X )( X − X ) ⎞
⎜ i1
1
2 ⎟
i2
⎜
⎟
12 12
S11 S 22
⎝
⎠
2
⎞
⎟
⎠
2
=1
⎛
⎜
⎜
⎜
⎜ ⎡⎢
⎝⎣
⎞
⎟
(X i1 − X 1 )(X i 2 − X 2 )
⎟
z
z
=
∑ i1 i2 ∑
1
2
1
2
⎟
2⎤ ⎡
2⎤
(
)
(
)
X
X
X
X
−
−
∑ i1 1 ⎥⎦ ⎢⎣∑ i2 2 ⎥⎦ ⎟
⎠
Bu son ifade z1 ve z2 arasındaki örnek korelasyon katsayısına eşittir. Ayrıca
∑ zi1zi2 = ∑ zi2 zi1 olduğundan, eşitlik (5.18)
⎡1
XT X = R = ⎢
⎣r21
r12 ⎤
1 ⎥⎦
elde edilir.
İspat 43 : Eşitlik (5.17b) deki modelin EKK tahminlerinin elde edilmesi için,
(XT X)−1 = 1 −1r 2
12
⎡ 1
⎢− r
⎣ 21
− r12 ⎤
1 ⎥⎦
ve eşitlik (5.19b) kullanılarak,
⎡ ry1 ⎤
XT y = ⎢ ⎥
⎣ry 2 ⎦
Sonuç olarak tahminlenmiş regresyon katsayıları,
b′ =
− r12 ⎤ ⎡ ry1 ⎤
⎡ 1
1 ⎡ ry1 − r12 ry 2 ⎤
=
⎢ ⎥
⎢
⎥
⎢
1 ⎥⎦ ⎣ry 2 ⎦ 1 − r 2 ⎣ry 2 − r21ry1 ⎦
1 − r 2 ⎣− r21
1
12
elde edilir.
12