2-Basit Doğrusal Regresyon Modeli

İKİ DEĞİŞKENLİ BASİT DOĞRUSAL
REGRESYON MODELİ
Regresyon Y ile X (X ler) arasındaki ortalama ilişkinin
matematik fonksiyonla ifadesidir.
Yi  f ( X i )  b1  b2 X i
Bu ilişki eğriselde olabilir. Ortalama ilişki aşağıdaki
gibi ifade edilir:
E (Y X i )  f ( X i )
E (Y X i ) X’in verilen bir X değeri için Y’nin şartlı ortalaması
veya şartlı beklenen değeridir.
Anakütle Regresyon Denklemi
Örneğin: 4000 nüfuslu bir kasabada 500 hane bulunsun ve
bunlardan sadece 60’ı memur olsun.
E(Y|X)=f(X)=b1  b 2 X
X’e bağlı olarak Y’nin ortalamasının nasıl değiştiğini
gösterir.
Anakütle regresyon denklemi X bağımsız değişkeninin sabit
değerleri için bağımlı değişken Y’nin ortalama veya beklenen
değerinin geometrik yeridir.
Her Xi değeri için bir Yi değeri vardır.
Her Xi değeri için bir ortalama değer vardır ve regresyon doğrusu
bu noktalardan geçmektedir.
Her E (Y X )  f ( X i ) , şartlı ortalama Xi nin bir fonksiyonudur.
E (Y X )  f ( X i )
f(Xi) fonksiyon Xi’yi gösterir. Bu fonksiyon doğrusal ya da eğrisel
olabilir.
E (Y X i )  f ( X i )
E (Y X i ), X’in doğrusal bir fonksiyonudur.(Ana kütle regresyon
denklemi)
E (Y | X )  b1  b2 X
b1. sabit terim b2 eğim katsayısıdır.
Doğrusal modelde, doğrusal kelimesiyle değişkenler arasındaki
doğrusallık
ve parametreler arasındaki doğrusallık ifade
edilmektedir.
E (Y | X ) nin X’in doğrusal bir bir fonksiyonu ise;
Y  E (Y | X )  u
veya
Yi  b1  b2 X i  ui
ui  Yi  E (Yi | X i )
u, pozitif negatif ve
sıfır değerlerini
alır.*(bkz.tablo)
Regresyon denklemine hatayı eklememizin sebepleri
nelerdir:
1. İktisat teorisinin yetersizliğinden Y’ye etki eden
başka değişkenler modele alınamayabilir. Bunlar
hataya dahil edilir.
2. Aynı büyüklük ve kompozisyonundaki hanelerle
çalışmadığımız için stokastiklik ortaya çıkmakta ve
bu durum hata terimini ortaya çıkarmaktadır.(Zevk ve
tercihlerin bireyden bireye değişmesi gibi)
3.Y ve X değişkenleri hatasız ve doğru kabul
edilmektedir. Oysa ölçme hatası taşıyabilirler.
b1 ve b2 hakkında bazı çıkarsamalar:
Eğer b2 pozitif ise çizginin veya doğrunun eğimi
soldan sağa yukarıya doğru; yok eğer negatif ise
tersi geçerlidir.
Eğer b2’in mutlak değeri büyükse doğru daha
dik olmaktadır.
Eğer b2= 0 ise doğru X eksenine b1 noktasında
paralleldir.
Bir çok fonksiyonlar düz çizgi halinde değildirler
E(y|x) = b0 + b1x
.{
u4
y
y4
y3
y2
y1
u2 {.
.} u3
} u1
.
x1
x2
x3
x4
x
Örnek Regresyon Denklemi
Tam sayım yapmadığımızı kabul ederek örnekleme
yaptığımızı kabul edelim.
Örnek regresyon denklemi:
ˆ
ˆ
ˆ
Yi  b1  b2 X i
Yˆi  E (Y | X i ) nin tahmin cisi
b̂1  b1 in tahminc isi
b̂ 2  b2 in tahminc isi
ˆ
ˆ
ˆ
ˆ
Yi  b1  b2 X i  ei  b1  b2 X i  (Yi  Yˆi )
Yˆi  bˆ1  bˆ2 X i
Y
Yˆ  b1  b2 X
y2
ΔY= b2 ΔX
y1
ΔX
b1
x1
x2
X
Doğrusal denklemin grafiği düz bir çizgi olup sabit ve eğim
katsayılarını birbirinden ayırma özelliğine sahiptir. Sabit sayı
X=0 olduğu zaman Y’nin alacağı azami değer ve eğim ise ΔY/ ΔX
oranı olup X üzerindeki bir noktadan diğer bir noktaya olan
hareketliliği göstermektedir.
İki Değişkenli basit Doğrusal Regresyon Modelinin En Küçük
Kareler Yöntemiyle
Tahmini
2
n
n
2
e
 i   Y  b 0  b1 X 
i 1
i 1
İfadesini minimize eden parametre tahmincilerinin değerlerini bulabilmek için
eşitliğin b0 ve b1 ‘e göre türevleri alınıp 0’a eşitlenir.
b0‘a göre türev alınırsa;
2
n
n


2
Y  b 0  b1 X 
e



i
b 0 i 1
b 0 i 1
b1‘e göre türev alınırsa;
2
n
n


2
Y  b 0  b1 X 
e



i
b1 i 1
b1 i 1
n
 2 X  Y  b 0  b1 X 
n
 2  Y  b 0  b1 X 
i 1
i 1
Her iki denklemi de 0’a eşitlersek;
n
 2 Y  b0  b1 X   0
i 1
n
 Y  b0  b1 X   0
n
 2. X .Y  b0  b1 X   0
i 1
n
 X .Y  b
0
i 1
 b1 X   0
n
 2 Y  b0  b1 X   0
i 1
n
 Y  b0  b1 X   0
i 1
n
 2. X .Y  b0  b1 X   0
i 1
n
 X .Y  b
0
 b1 X   0
i 1
Parantezleri açarsak;
 Y  n.b0  b1  X  0
 XY  b0  X  b1  X 2  0
Bu denklemlere doğrunun NORMAL DENKLEMLERİ denir.
Normal denklemler alt alta yazılıp birlikte çözüldüklerinde b0 ve b1
tahmincileri bulunur.
(  X ).(  Y )
 Y  n.b0  b1  X
 XY  b0  X  b1  X 2
b1 
 XY 
n
2
(

X
)
X2
n
b0  Y  b1 X
şeklindeki formüller yardımıyla da tahminciler bulunabilir.
Ortalamadan Sapmalar Yoluyla En Küçük Kareler Denklemlerinin
İspatı
olduğundan
b̂1  Y  b̂ 2 X
Bu ifadenin her iki tarafını n ile böldüğümüzde
veya
elde edilir.
Bu eşitlik ortalamalar orjinine göre regresyon denklemidir.
Ortalamalar orjinine göre regresyon denkleminden tahmini
anakütle regresyon denklemi şöyle yazılabilir:
elde edilir.
olmak üzere,
Hata terimleri kareleri toplamı şu şekilde ifade edilebilir:
Bu ifadenin
‘e göre türevi alınıp sıfıra eşitlendiğinde;
elde edilir.
için diğer bir formül ise şöyledir:
Basit En Küçük Kareler Regresyon Modelinin
Varsayımları
Varsayım 1: Hata terimi ui ortalaması sıfıra eşit stokastik bir
değişkendir:
• Hata terimi u, pozitif ve negatif her iki yöndeki çok sayıda
sebeplerin toplamının etkisini göstermektedir. Bu sebepten
anakütle hata terimi u, X’in her değeri için şansa bağlı olarak
pozitif, negatif veya sıfır değerlerini belli bir ihtimalle
alabilmektedir. Yani u stokastik bir değişkendir ve değerleri
önceden kesin olarak bilinmemektedir.
• Bazı bağımsız değişkenlerin modele alınamaması, modelin
matematiksel biçiminin yanlış seçilmiş olması, değişkenlerdeki
ölçme hataları, fertlerin davranışlarının yaradılış icabı farklı
olması gibi durumlar u’nun artı değer alabileceği gibi eksi değer
de alabileceğini gösterir.
• Modele dahil edilmeyen değişkenlerin etkisi, bazen Y’yi
gözlenebilecek olan değerinden daha büyük bazen de daha küçük
değerli yapabilecektir. Yani genelde, sürekli olarak artış yönünde
veya sürekli olarak azalış yönünde olan sapmalar(farklar)
beklenmeyecektir. Bu da u’nun stokastik olduğu anlamına gelir.
• u’lar sürekli artan veya sürekli azalan bir görünüm arzetmezler,
düzensiz bir görünüm sergilerler.
• Ayrıca, ui nin muhtelif değerleri birbirinden bağımsız stokastik
değişkenlerdir.
• Tüketim örneğinde, u’nun stokastik ve değerlerinin birbirinden
bağımsız olması şöyle açıklanabilir:
Bir hane için ui hata terim değerini pozitif elde etme ihtimali ne
artar, ne de azalır. Ayrıca u hata terimi değerlerinin dağılımının
normal, ortalamasının sıfır ve varyansının 𝜎𝑢2𝑖 olduğunu
varsayacağız.
• Sonuç olarak,
𝑢𝑖 ∼ 𝑁(0, 𝜎𝑢2𝑖 )
yazılabilir. Yani ui ler, birbirinden bağımsız, sıfır ortalamalı, eş,t
varyanslı normal dağılımlıdır.
Varsayım 2: Hata terimi u normal dağılımlıdır:
• EKK tahmincilerinin ihtimal dağılımları, ui nin ihtimal
dağılımı hakkında yapılan varsayıma bağlıdır. Bu sebepten b
tahminleri konusunda bir test uygulamak gerektiğinde (t,F
testi gibi)dağılımlarının normal olması gerekir, bu da ui nin
dağılımının normal olmasını gerektirmektedir.
• Uygulamalarda anakütle u değerleri bilinmediğinden,
Merkezi Limit Teoremi’ne göre normal dağıldıkları kabul
edilir.
E(ui)=0
u’ların normal dağılımı
ui değerleri
• Normal dağılım eğrisinde, absiste u’nun ortalamasına (0)
tekabül eden noktadan çıkılacak dikmenin iki tarafı tam bir simetri
arzeder. ui normal dağılıyorsa, EKK 𝑏1 𝑣𝑒 𝑏2 nin tahmincileride
normal dağılırlar.
• Uygulamalarda u’nun dağılımının normal olup olmadığı,
Lilliefors grafik testi, χ2 uygunluk testi ve Jarque-Bera testi ile
araştırılmaktadır.
Varsayım 3: Hata terimi ui değerleri arasında ilişki(otokorelasyon)
yoktur:
• u’nun herhangi bir ui değeri kendisinden önceki uj değeri ile
bağımlı değildir. Bu varsayım ui ve uj nin kovaryanslarının sıfıra
eşit olmasını gerektirir:
Kov(ui ,uj )=E[ui – E(ui)] [E[uj – E(uj)]
varsayım 1’e göre E(ui)=E(uj)=0’dır. O halde,
Kov(ui ,uj )=E(uiuj)=0, i≠j
Bu varsayım, Kov(Yi ,Yj )=0, i≠j varsayımı demektir.
Varsayım 4: Hata terimi ui nin varyansı eşittir,sabittir.
(homoskedastiklik veya eşit varyanslılık)
•
ui nin varyansının her Xi için eşit olduğu varsayımı şöyle ifade
edilmektedir:
Var(ui │Xi)= E[ui – E(ui)]2
Varsayım 1’e göre E(ui)=0 olduğundan,
Var(ui │Xi)= E[ui2]
Var(ui │Xi)=σ2 veya Var(ui)=σ2
(1)
(1) eşit varyanslık halini göstermektedir.
• Bu varsayımın anlamı şudur: Her Xi değeri için hata terimi ui’nin
varyansı belli bir sabit sayı olup σ2 ’ye eşittir. Buna
homoskedastiklik varsayımı, veya eşit(homo) dağılan(skedastik),
veya eşit varyans varsayımı da denir.
• Varsayım 5: Bağımsız değişken X, hata terimi u ile ilişkili
olmayıp, stokastik değildir:
• Bağımsız değişken Xi ile hata terimi ui arasında ilişki yoktur, yani
kovaryansları sıfıra eşittir:
Kov(ui,Xi)= E[ui – E(ui)] [Xi – E(Xi)]
Kov(ui ,Xi)=0
• X değişkeninin birden fazla olduğu çoklu modellerde de ui ile her
X değişkeni arasındaki kovaryans sıfıra eşit olmalıdır:
Kov(ui ,X2)=Kov(ui ,X3)=0
• Bu varsaymın anlamı şudur:
Anakütle Regresyon Denkleminde Xi ve u’nun Y’ye etkisi
ayrıayrıdır(toplanabilirdir). Eğer, X ile u arasında ilişki varsa,
herbirinin Y bağımlı değişkeni üzerindeki etkisini ferdi olarak
takdir edemeyiz.
Eğer X ile u arasında aynı yönde pozitif ilişki varsa, u artarken
X’de artacak ve u azalırken X’de azalacaktır. Benzer şekilde X ile
ters yönde negatif ilişkili iseler, u azalırken X artar ve u artarken
X azalır. Bu nedenle, X ve u’nun Y üzerindeki etkisinin tahmini
mümkün olmayacaktır.
Varsayım 6: Bağımsız değişken X, tekrarlı örneklere göre
sabittir. Xi ile ui arasında ilişki olmaması yani Kov(ui,Xi)=0
varsayımı X’in stokastik bir değişken olmamasını (tesadüfi
dağılmasını) gerektirir. Bu da istatistiki olarak, anakütleden
çekilebilecek tüm örnekler için X değerlerinin sabit değerli
olduğunu gösterir.(aynı X değişkeni değerleri için ayrı Y
değerleri sözkonusu.) Şöyleki:
Kov(ui,Xi)= E[ui – E(ui)] [Xi – E(Xi)]
Varsayım 1’e göre E(ui)=0 olduğundan:
Kov(ui,Xi)= E[ui – E(ui)] [Xi – E(Xi)]
Kov(ui,Xi)= E[ui(Xi – E(Xi)]
= E[uiXi– uiE(Xi)]
Xi ‘ler sabit kabul edilirse,
E[E(Xi)]=E(Xi)
Kov(ui,Xi)= E(uiXi)– E(ui)E(Xi)
Varsayım 1’ e göre E(ui)=0’dır. Yani;
Kov(ui,Xi)= E(uiXi)
= 0 (Varsayım 5 gereği)
E(ui)=0
Varsayım 7: Bağımsız değişken X’in varyansı sonlu pozitif
bir sayı olmalıdır.
Anakütleden çekilebilecek örneklerin herbiri için X değişkeni
değerlerinin sabit kabul edilmesi,X değişkeninin tüm
değerlerinin eşit olması demek değildir.
Buna rağmen X değerlerinin aynı zamanda eşit olması
halinde ,
Burada tüm X değerleri eşit ise
‘dır ve payda
olacaktır. Böylece sabit/0=
ve dolayısıyla
Yani
olacağından
tahmin edilemeyecektir.
,
Sonlu olmalıdır. Burada Q sonlu pozitif sabit bir sayıyı
göstermektedir.
Varsayım 8: Modelin spesifikasyonu doğrudur.
İki değişkenli doğrusal regresyon modelinin EKK ile
tahmininde kabul edilen en önemli varsayımlardan biri
regresyon modelinin spesifikasyonunun doğru yapıldığı,
modelin spesifikasyon hatası taşıyıp taşımadığıdır.
Modele bazı değişkenlerin alınmaması , eğrisel bir fonksiyon
alınması gerekirken doğrusal fonksiyon alınması, model
değişkenleri
konusunda
hatalı
varsayımlar
yapılması
hallerinde tahmin edilen fonksiyon güvenilir olmayacak,
spesifikasyon hatalı olacaktır.
Varsayım 9: Bağımsız değişkenler arasında İlişki yoktur.
(Çoklu doğrusal Bağlantı olmaması Varsayımı)
EKKY’nin bu varsayımı, birden fazla bağımsız değişkeni
olan çoklu modellerle ilgilidir. Bu varsayıma göre ,çoklu
modellerde bağımsız değişkenler arasında ilişki yoktur.
Bağımlı Değişken Y nin Dağılımı
Y bağımlı değişkeninin ortalaması
E (Y )  b1  b2 X
Varyansı
Var (Yi )  E (Yi  E (Yi ))  E (ui )  
2
olduğu gösterilecektir.
2
2
u
1. Y nin ortalaması kendisinin beklenen değerine eşittir.
Yi  b1  b2 X  ui
Beklenen değer alındığında
E (Yi )  E (b1  b2 X  ui )
E (Yi )  E (b1  b2 X )  E (ui )
E (ui )  0
b1 ve b2 parametreler iken Xi değerleri değişmez değerler
kümesinden geldikleri için
E (Yi )  b1  b2 X
bulunur.
2. Yi nin varyansı
Var (Yi )  E (Yi  E (Yi ))  E (ui )  
2
Yi  b1  b2 X  ui
2
ve
2
u
E (Yi )  b1  b2 X
eşitliklerini varyans tanımında yerine koyarsak
Var (Yi )  E (b1  b2 X  u i b1  b2 X )  E (ui )  
2
ui lar sabit varyanslıdır. Yani hepsinin varyansı
sabit değerlidir.
E (ui2 )   u2
2

2
u
Yani
Var (Yi )  E (Yi  E (Yi ))  E (ui )  
2
2
2
u
2
u
3. Yi nin dağılımı normaldir.
Yi nin dağılımının biçimi, ui nin dağılımının biçimiyle
belirlenir ve bu dağılım varsayım gereğince normaldir. b1 ve
b2 sabit parametreler olmaları nedeniyle
Yi nin dağılımını
etkilemezler. Ayrıca Xi açıklayıcı değişkenin değerleri de
varsayım gereğince değişmez değerler kümesinde olduğundan
Yi nin dağılım biçimini etkilemezler.
ÖRNEK REGRESYON DENKLEMİ
Ŷi  b̂ 1  b̂ 2 X i
Katsayıların Tahmini
 Normal Denklemler ile,
 Doğrudan Formüller ile,
 Ortalamadan Farklar ile,
Tüketim
Gelir
75
80
88
100
95
120
125
140
115
160
127
180
165
200
172
220
183
240
225
260
NORMAL DENKLEMLER
SY = n b̂1 +
SXY= SX b̂1 +
SX
b̂ 2 SX2
b̂ 2
SY=? , SX=? , SXY= ? , SX2= ? , n
Y
75
88
95
125
115
127
165
172
183
225
X
80
100
120
140
160
180
200
220
240
260
YX
6000
8800
11400
17500
18400
22860
33000
37840
43920
58500
X2
6400
10000
14400
19600
25600
32400
40000
48400
57600
67600
SY=1370 SX=1700 SYX=258220 SX2=322000
NORMAL DENKLEMLER
-170 /
1370 =
10 b̂1+
258220 = 1700 b̂1+
1700
b̂ 2 322000
b̂ 2
-232900 = -1700 b̂1 - b̂ 2 289000
258220 = 1700 b̂1 + b̂ 2 322000
25320 =
b̂ 2
b̂ 2
33000
= 0.7672727
b̂1 = 6.5636364
ÖRNEK REGRESYON DENKLEMİ
Ŷi  b̂ 1  b̂ 2 X i
ˆ  6.5636364  0.7672727 X
Y
DOĞRUDAN FORMÜLLER
 X  Y   X  XY
b̂1 
n  X 2  ( X ) 2
2
(322000 ).(1370 )  (1700 ).( 258220 )

10 .(322000 )  (1700 ) 2
= 6.5636364
DOĞRUDAN FORMÜLLER
n  XY   X  Y
b̂ 2 
2
2
n  X  ( X )
(10 ).( 258220 )  (1700 )(1370 )

2
(10 )(322000 )  (1700 )
= 0.7672727
ÖRNEK REGRESYON DENKLEMİ
Ŷi  b̂ 1  b̂ 2 X i
ˆ  6.5636364  0.7672727 X
Y
ORTALAMADAN FARKLAR
 xy
b̂ 2 
2
x
b̂1  Y  b̂ 2 X
X? Y ?
y=?
x=?
Syx=?
Sx2=?
Y
Y
i
y
N (X i, Y )
•
•
^ ^
ÖRD= Yi =b 1+b X
2 i
Yi
Y
0
•
•
i
•
•
•
•
X
•
•
•
}
y
i
•
e
}
•
i
•
y^ =y -e = Yi
i
i
i
Y
x
( X, Y)
Xi
X
Ortalamalar Orijinine göre Örnek Regresyon Doğrusu
(ÖRD)
ORTALAMADAN FARKLAR
Y
75
88
95
125
115
127
165
172
183
225
X
y  YY
80
100
120
140
160
180
200
220
240
260
-62
-49
-42
-12
-22
-10
28
35
46
88
SY=1370 SX=1700
Y  137
X  170
Sy=0
x  XX
-90
-70
-50
-30
-10
10
30
50
70
90
Sx=0
ORTALAMADAN FARKLAR
yx
x2
y2
5580
3430
2100
360
220
-100
840
1750
3220
7920
8100
4900
2500
900
100
100
900
2500
4900
8100
3844
2401
1764
144
484
100
784
1225
2116
7744
Syx=25320
Sx2=33000
Sy2=20606
ORTALAMADAN FARKLAR
 xy
b̂ 2 
2
x
25320

33000
= 0.7672727
b̂1  Y  b̂ 2 X =137-(0.7672).(170) = 6.5636364
ÖRNEK REGRESYON DENKLEMİ
Ŷi  b̂ 1  b̂ 2 X i
ˆ  6.5636364  0.7672727 X
Y
ELASTİKİYETLERİN HESAPLANMASI
EY
Y / Yi dY X i
E yx 
 lim

.
EX x  0 X / X i dX Yi
•Nokta Elastikiyet
•Ortalama Elastikiyet
NOKTA ELASTİKİYET
E YX
0
dY X i

.
ˆ
dX Y
0
Xi
 b̂ 2 .
ˆ
Y
0
X0 = 130
E YX 0 130
130
 0.767 .
ˆ
Y
0
NOKTA ELASTİKİYET
Ŷ0  6.5636364  0.7672727 X 0
 6.5636364  0.7672727 (130)
 106 .3091
E Y X 0 130
130
 0.767 .
 0.94
106.3091
ORTALAMA ELASTİKİYET
E YX
dY X

.
dX Y
Y  137
E YX
;
X
 b̂ 2 .
Y
X  170
170
 0.767 .
137
= 0.95
Tahminin Standart Hatası ve Varyansı
Tahminin standart hatası, regresyon doğrusu etrafındaki
dağılımın bir ölçüsüdür.
s
S ( Yi  Ŷ )
n
s
S ( Yi  Ŷi )
n2
2
2
Se
n


2
i
Se
n2
Ŷ  ? S( Y  Ŷ ) 2 Se 2  ?
2
i
(n30 ise)
(n<30 ise)
Tahminin Standart Hatası ve Varyansı
Ŷi  b̂ 1  b̂ 2 X i
Ŷi  6.5636364  0.7672727 X i
Tahminin Standart Hatası ve Varyansı
Tüketim
75
88
95
125
115
127
165
172
183
225
SY=1370
Gelir
80
100
120
140
160
180
200
220
240
260
Ŷi
67.9455
83.2909
98.6364
113.9818
129.3273
144.6727
160.0182
175.3636
190.7091
206.0545
SŶi  1370
e i  Yi  Ŷi
7.0545
4.7091
-3.6364
11.0182
-14.3273
-17.6727
4.9818
-3.3636
-7.7091
18.9455
Se=0
e  ( Yi  Ŷi )
2
i
49.7666
22.1755
13.2231
121.4003
205.2707
312.3253
24.8185
11.3140
59.4301
358.9302
Se2=1178.6545
2
Tahminin Standart Hatası ve Varyansı
1178.6545
s
10 - 2
 147.3318
=12.138
s2= 147.3318
s
SY 2  b1SY  b 2 SYX
n2
SY2 =?
s
SY = ?
SYX=?
b1 =?
b2 =?
208296  6.5636364 (1370 )  0.7672727 ( 258220 )
= 12.138
10  2
Tahminin Standart Hatası ve Varyansı
s
yYY
s
Sy  b 2 Syx
n2
2
x XX
Sy2 = ?
Syx = ?
20606  0.7672727 ( 25320 )
10  2
b2= ?
= 12.138
DEĞİŞKENLİKLER
S(Y  Y )  S( Ŷ  Y ) 2  S ( Y  Ŷ ) 2
2
Y
Yi
y
2
ŷ

2
2
e


S( Y  Y ) 2 
S ( Y  Ŷ ) 2

S ( Ŷ  Y ) 2
Y

X
Xi
X
DEĞİŞKENLİKLER
S(Y  Y )
3844
2401
1764
144
484
100
784
1225
2116
7744
Sy2=20600
2
S ( Ŷ  Y ) 2
S ( Y  Ŷ )
4768.5302
2884.6664
1471.7686
529.8367
58.8707
58.8707
529.8367
1471.7686
2884.6664
4768.5302
49.7666
22.1755
13.2231
121.4003
205.2707
312.3253
24.8185
11.3140
59.4301
358.9302
Sŷ 2  19427 .3455
2
Se2=1178.6545
DEĞİŞKENLİKLER
S (Y  Y ) 2  S( Ŷ  Y ) 2 
Sy2
Sŷ 2
=
+
2
ˆ
S (Y  Y )
Se2
20606 = 19427.3455 + 1178.6545
Sy
Sŷ
Se



n2 n2 n2
2
2
2
s s s
2
y
2
yˆ
2
varyanslar
20606 19427 .3455 1178 .6545


2575.75 = 2428.4182 + 141.3318
10  2
10  2
10  2
BELİRLİLİK KATSAYISI
Noktaların doğruya yakınlık derecesini göstermektedir.
Y’deki değişmelerin yüzde kaçının X tarafından
açıklanabildiğini ifade etmektedir.
R2 0 ile 1 arasında değişmektedir.
KORELASYON KATSAYISI
Y ile X arasındaki ilişkinin yönünü ve şiddetini
vermektedir.
-1 ile +1 arasında yer almaktadır.
BELİRLİLİK KATSAYISI
s 2ŷ
2428 .4182
Açıklanan varyans

r  2 
2575 .75
sy
Toplam varyans
2
= 0.9428
2
s
Açıklanmay an varyans
147 .3318
2
r  1 2 
 1
= 0.9428
sy
Toplam varyans
2775 .75
2
s
Açıklanmay an varyans 147 .3318
2
1 r  2 

sy
Toplam varyans
2575 .75
= 0.0572
2
2
ˆ
ˆ
S (Y  Y )
S (Y  Y )
S (Y  Y )


2
2
2
S (Y  Y )
S (Y  Y )
S (Y  Y )
2
y
y
2
2


y
2
ˆ
y
2
TD RBD HBD



TD
TD
TD
1 r
2
1 r
2
e


y
2
e


y
2
2
2
ˆ
y
2
e


y y
2
2
2
e


y
2
2
Belirsizlik katsayısı
BELİRLİLİK KATSAYISI
2
2
(
25320
)
(
S
xy
)
2

r 
2
2
(33000 )( 20606 )
Sx Sy
r
Sxy
Sx Sy
2
2

= 0.9428
25320
(33000 )( 20606 )
= 0.9710
DAĞILMA DİYAGRAMLARI
Y
Y
Y=3+0.5X
15
5
15
•
•
10
•
•
•
r=0.82
s=1.94
•
5
3
5
10
15
••
10
•
3
-6
Y=3+0.5X
20 X
-6
•
•
•
5
•
10
(a)
Y
15
10
Y
•
••
• •
•
Y=3+0.5X
•
10
r=0.82
s=1.94
•
••
•
•
5
3
3
5
10
(c)
20 X
15
15
5
-6
r=0.82
s=1.94
(b)
Y=3+0.5X
Aşırı kıymet
•
•
15
20 X
-6
5
10
(d)
r=0.82
s=1.94
15
20 X
STANDARTLAŞTIRILMIŞ HATA TERİMLERİ
ei
7.0545
4.7091
-3.6364
11.0182
-14.3273
-17.6727
4.9818
-3.3636
-7.7091
18.9455
ei/s
0.5812
0.38796
-0.29959
0.90774
-1.18037
-1.45598
0.41043
-0.27712
-0.63512
1.56084
Xi
80
100
120
140
160
180
200
220
240
260
e/s 'nin dağılma diyagramı
2
0
60
-2
100
140
180
220
260
EKK Tahminlerinin Standart Hataları ve
Kullanılışı
EKK tahminleri
b̂1
ve
b̂2 örnek verilerine dayanarak
hesaplanır.
Bir anakütleden bir çok örnek çekilebilir, bu durumda her örnek seti
için farklı tahminciler elde edilecektir. Örnek değerlerinin anakütle
değerleri b1 ve b2 ye ne ölçüde yakın olduğu standart hatalarla
hesaplanır.
Standart hata, tahmincinin örnekleme dağılımının standart
hatasıdır.
Bir tahmincinin örnekleme dağılımı anakütleden seçilebilecek aynı
büyüklükteki örneklerin
b̂
lerin dağılımıdır. (75 milyar)
60 hanelik anakütleden çekebileceğimiz onluk (75 milyar) örnek için
hesaplanan
b̂2
değerlerinin örnekleme dağılımı ortalama
E (bˆ2 )
etrafında normal dağılmaktadır.
Anakütleden çekilen örnekler için hesaplanan EKK
b̂2
leri
örneklerin farlı değerli Y(tüketim) ve X(gelir gibi) e sahip
hanelerden oluşması gibi örnekleme hatalarından dolayı gerçek
değerinden farklıdır.
Örnekleme hataları + ve – yönde aynı ihtimalle ortaya çıkan
hatalardır. Ortalama ölçüsü standart hatadır.
b2
En Küçük Karalerle Parametre Tahminlerinin
Ortalama ve Varyansı
b̂1 ’in ortalaması:
E (bˆ1 )  b1
b̂1 ’in varyansı:
2
2 X
ˆ
ˆ
Var (b1 )  E (b1  b1 )   u .
n x
2
i
2
i
b̂2 ’nin ortalaması:
E (bˆ2 )  b2
b̂2 ’n'in varyansı:
Var (bˆ2 )  E (bˆ2  b2 ) 2   u2 .
1
2
x
 i
Katsayıların Standart Hataları
SX 2
s (b̂1 )  s .
2
nSx
s (b̂ 2 ) 
s
Sx 2
322000
 12 .138 .
10 .(33000 )

12 .138
33000
= 0.0668
= 11.99
Aralık Tahminleri
b̂ 2 ±t a/2 . s( b̂ 2 )
= 0.7672727  2.306 (0.0668)
0.6132319< b2 <0.9213135
b̂1 ± t a/2 . s( b̂1 )
= 6.5636364  2.306 (11.99)
-21.0853 < b1 < 34.2126
Hipotez Testleri
Güven Aralığı Yaklaşımı İle
0.6132319< b2 <0.9213135
-21.0853 < b1 < 34.2126
Hipotez Testleri
Anlamlılık Testi Yaklaşımı İle
•Hipotezlerin Formüle Edilmesi
•Tablo Değerlerinin Bulunması
•Test İstatistiğinin Hesaplanması
•Karar Verilmesi
Hipotez Testleri
1.Aşama
H0: b 2 = 0
H1 : b 2  0
2.Aşama
a=?
= 0.05
; S.d.=? = n-k = 10-2=8
ta,sd =? t0.05,8=? =2.306
3.Aşama
t hes
4.Aşama
b̂ 2  b
*
2
0.7672727  0

? 
0.0668
s( b̂ 2 )
|thes= 11.4861 | > |ttab= 2.306 |
H0 hipotezi reddedilebilir
=11.4861
Regresyon ve Varyans Analizi
Değişkenlik Kaynağı
Regresyona Bağlı
Değişkenlik=RBD
Sapma Kareleri
Toplamı=SKT
S ŷ
2
Serbestlik
Derecesi=sd
f1=k-1=1
Hata Terimine Bağlı
Değişkenlik=HBD
Se2
f1=n-k
Toplam
Değişkenlik=TD
Sy2
n-1
SKT Ortalaması=
SKTO
S ŷ
2
 e2
=s2
nk
Regresyon ve Varyans Analizi
Değişkenlik
SKT
Kaynağı
RBD
19427.3455
HBD
1178.6545
TD
20606
sd
SKTO
2-1=1
10-2=8
19427.3455
147.3318
10-1=9
19427.3455
Fhes=
=131.8612
147.3318
EKK Modelinde Önceden Tahmin
•İleriye Ait Tahmin
•Önceden Tahmin
•Örnekten Tahmin Edilen İlişkinin Ayni Kaldığı
•X Değerlerinin Aynı Eğilimde Olacağı
Y’nin Aralık Tahmini
Ŷ0 ± t a/2
1 (X 0  X )
. s 1 
2
n
x
Ŷ0 ± ta/2 . s ( Ŷ0 )
2
 Y0’ın güven aralığı
Y’nin Aralık Tahmini
X0=80
ˆ0
Y
= 67.9455
67.9455 ±2.306. 12.318
2

(
80
)
1
170
1 
10
33000
35.47840 Y0| X0 100.41251
Y’nin Ortalamasının Aralık Tahmini
Yˆ 0 ± t a /2 . s
Ŷ0 ± ta/2 . s ( Ŷ0 )
 X )2
1 (X 0

2
x
n
 Y’nin ortalamasının güven aralığı
Y’nin Ortalamasının Aralık Tahmini
X0=80
ˆ0
Y
= 67.9455
67.9455 ±2.306. 12.318
2

1  ( 80 170)
10
33000
51.49402 E(Y0| X0) 84.39689
Y’nin Güven Aralıkları
Y’ninAralık Tahminleri
X0
Alt Sınır
Üst Sınır
80.00
100.00
120.00
140.00
160.00
180.00
200.00
220.00
240.00
260.00
35.47840
52.01572
68.28577
84.26359
99.93034
115.27579
130.29996
145.01304
159.43390
173.58749
100.41251
114.56610
128.98696
143.70004
158.72421
174.06966
189.73641
205.71423
221.98428
238.52160
Y’nin OrtalamasınınAralık
Tahminleri
Alt Sınır
Üst Sınır
51.49402
69.33821
86.90184
103.99618
120.34284
135.68829
150.03254
163.62911
176.75639
189.60311
84.39689
97.24361
110.37089
123.96746
138.31171
153.65716
170.00382
187.09816
204.66179
222.50598
Y
240
220
200
180
160
140
120
100
80
60
40
20
0
0
X
100
200
300
En Küçük Kareler Tahminlerinin Özellikleri
1. Tahmin Edicilerin Küçük Örnek Özellikleri
Genellikle bir tahminin ana kütle parametresinin gerçek
değerine yakın olması ve bu gerçek parametre
yakınlarında dar bir aralıkta değişmesi istenir. Ana kütle
parametresine ‘yakınlık’ çeşitli ekonometri tahmin
yöntemleri ile bulunmuş tahminlerin örnekteki
dağılımların ortalaması ve varyansıyla ölçülür.
En Küçük Kareler Tahminlerinin Özellikleri
 Burada her zamanki varsayımsal yenilemeli
örnekleme süreci kullanılır,
yani her biri n
gözlemli çok sayıda örneğin alındığı varsayılır.
Ekonometri yöntemlerinin her birini kullanarak her
örnekten b̂ hesaplanıp dağılımları oluşturulur.
 Küçük örnekten bulunmuş iyi bir tahmin edici için
temel ölçütler:Sapmasızlık, En küçük varyans,
Etkinlik, Doğrusal en iyi, sapmasızlık (DES), En
küçük ortalama hata karesi (OHK), Yeterlilik
dir.
a. Sapmasız Tahmin Edici
 Bir tahmin edicinin sapması, beklenen değeriyle
gerçek parametre arasındaki fark olarak tanımlanır.
Sapma= E (bˆ) -b
 Eğer sapma sıfırsa yani E (bˆ)= b ise, sapmasız olur.
Bu da örneklerin sayısı artıkça, sapmasız tahmin
edicinin, parametrenin gerçek değerlerine yaklaştığı
anlamına gelir. Sapmasız bir tahmin edici ‘ortalama
olarak’ parametrenin gerçek değerini verir.
 Aranan bir özellik olmasına karşın, sapmasızlık
kendi başına çok önemli değildir. Ancak küçük bir
varyansla birleşirse önemli olur.
a. Sapmasız Tahmin Edici
 b̂ , b’nin sapmasız
tahmin edicisidir
 b̂ , b’nin sapmalı tahmin
edicisidir
b. En Küçük Varyanslı Tahmin Edici (En İyi Tahmin
Edici)…
Bir tahmin, başka ekonometri yöntemleriyle bulunmuş başka
herhangi bir tahminle karşılaştırıldığında en küçük varyansa sahip
olduğu görülürse en iyi tahmindir.b̂ nin en iyi olma koşulu:
E[bˆ  E (bˆ)] 2 <
~
~ 2
E[b  E (b )]
Ya da;
~
Var(b̂ )<Var(b )
~
Burada b , gerçek parametre b nin (sapmasız olması gerekmeyen)
herhangi bir başka tahminidir.
b. …En Küçük Varyanslı Tahmin Edici (En İyi Tahmin Edici)
 Varyansı küçük olduğu halde sapması büyük olan bir tahmin
edici, gerçek b parametresinden oldukça uzak bir değer
etrafında toplanabilmektedir.
b̂ , b nin büyük varyanslı sapmasız tahmin edicisidir.
~
b , b nin küçük varyanslı sapmalı bir tahmin edicisidir.
c. Etkin Tahmin Edici
 Bir tahmin edici; sapmasız ve başka herhangi sapmasız
tahmin ediciyle karşılaştırıldığında daha düşük varyansa
sahipse etkin tahmin edicidir.
 Aşağıdaki iki koşul yerine getirilirse b̂ etkindir:
(i) E (bˆ)  b
ve
(ii) E[bˆ  E (bˆ)] 2  E[b *  E (b * )] 2
 Burada b * , gerçek b nin başka bir sapmasız tahmin
edicisidir. Başka bir deyişle, etkin tahmin edici, bütün
tahmin sapmasız ediciler sınıfı içinde en düşük (en iyi)
varyansa sahip olan tahmin edicidir.
d. Doğrusal Tahmin Edici…
 Bir tahmin edici, örnekteki gözlemlerin doğrusal bir
fonksiyonuysa doğrusal sayılır. Örnek gözlemleri
veriyken, doğrusal bir tahmin edici şu biçimi alır:
k1Y1  k 2Y2  ...k nYn
Burada ki ler sabit değerlerdir.
 Örneğin
1
k1  k 2  ...k n 
n
olduğundan
Y
örnek ortalaması doğrusal bir tahmin edicidir. Çünkü:
d...Doğrusal Tahmin Edici…
Y

Y
1
1
1
1
1
  Yi   Y1  Y2  ...  Yn   Y1  Y2  ...  Yn )
n
n
n
n
n
n
i
örnek ortalaması hesaplanırken her gözleme, 1/n ye eşit olan
aynı k ağırlığı verilmiştir.
Y
e. Doğrusal en iyi sapmasız tahmin edici
(DEST)
 Bir tahmin edici, doğrusalsa sapmasızsa ve gerçek
b nin öteki doğrusal sapmasız tahmin edicileriyle
karşılaştırıldığında en küçük varyansa sahipse,
DEST olur.
f. En küçük ortalama hata kareli (OHK)
tahmin edici
 Ortalama hata karesi ölçütü, sapmasızlık ve en küçük
varyans özelliklerinin bir bileşimidir. Burada OHK, tahmin
edicinin, ana kütledeki gerçek parametre b ile olan farkının
karelesinin beklenen değeri olarak tanımlanır:
OHK (bˆ)  E (bˆ  b) 2
 OHK nin, tahmin edicinin varyansıyla sapma karesinin
toplamına eşit olduğu gösterilebilir:
OHK (bˆ)  Var (bˆ)  sapma 2 (bˆ)
f… En küçük ortalama hata kareli (OHK)
tahmin edici…
İspat:
2
ˆ
OHK  E (b  b)


 E bˆ  E (bˆ)  E (bˆ)  b 


2
2
2


 E bˆ  E (bˆ)    E (bˆ)  b   2 E [bˆ  E (bˆ)][ E (bˆ)  b ]

 

2
E bˆ  E (bˆ)   Var (bˆ)



2
 E bˆ  b   sapma 2 (b )


f. En küçük ortalama hata kareli (OHK)
tahmin edici
E [bˆ  E (bˆ)][ E (bˆ)  b ]  0


Çünkü:


2
ˆ (bˆ)   E (bˆ)   bb
ˆ  bE (bˆ)
 E bE


2
2


  E (bˆ)    E (bˆ)   bE bˆ  bE bˆ  0

 

2 ˆ
ˆ
ˆ
OHK (b )  Var (b )  sapma (b )
g. Yeterli tahmin edici
 Yeterli bir tahmin edici, gerçek parametre
hakkında bir örneğin içerdiği bütün bilgileri
kullanıma koyan bir tahmin edicidir. Bu başka
hiçbir tahmin edicinin, tahmin edilmekte olan
gerçek ana kütle parametresi hakkında daha fazla
bilgi sunamayacağı anlamına gelir.
2. Tahmin edicilerin büyük örnek
özellikleri: Asimtotik özellikler
 Büyük örnek özelliklerinin, bir tahminin iyiliğini
belirleme ölçütü olarak kullanılması, örneğin
sonsuz büyük olmasını gerektirir. İşte bu nedenle
bu özelliklere asimtotik özellikler denir. Örnek
büyük olduğu zaman bu özelliklerin yaklaşık
olarak
sağlandığı
varsayılır.
Özellikler
ise
şunlardır: asimtotik sapmazlık, tutarlılık ve
asimtotik etkinlik.
2...Tahmin edicilerin büyük örnek
özellikleri: Asimtotik özellikler
Asimtotik dağılım:
Bir dizi rassal değişken düşünüldüğünde;
{ X  n  }  X  n  .X  n   X ( n T )
1
2
Bunlardan her birinin kendi dağılımı, ortalaması ve
varyansı vardır. Dağılımlar gitgide artan örnek
büyüklüklerinden oluşturulmuştur. nT sonsuza
giderken bu dağılımlar da belli bir dağılıma doğru
yaklaşıyor olabilirler. İşte bu dağılıma {X(n)} dizisinin
asimtotik dağılımı denir.
a. Asimtotik sapmasızlık…
Eğer b̂ edicisinin asimtotik ortalaması, ana kütlenin
gerçek b parametresine eşit ise, bu tahmin edici, bu
parametrenin asimtotik sapmasız tahmin edicisidir.
lim E (bˆ n  )  b
n 
bˆ ' nin


 
E (bˆ n  )   b
 asimtotik    lim
n 

 sapması 


 Bir tahmincinin asimtotik sapması, asimtotik
ortalaması ile gerçek parametre arsındaki farka eşittir.
a… Asimtotik sapmasızlık
Asimtotik bir sapmasız tahmin edici, örnek
büyüklüğü yeterine büyük olduğunda sapması
kaybolan bir tahmin edicidir.
 Eğer bir tahmin edici (sonlu küçük örneklerde)
sapmasızsa aynı zamanda asimtotik sapmasızdır,
ama bunun tersi doğru değildir.
b. Tutarlılık…
Bir b̂ edicisi, aşağıdaki iki koşulla, ana kütlenin b
gerçek parametresinin tutarlı bir tahmin edicisidir:
1.
bˆ,
asimtotik sapmasız olmalıdır.
lim E (bˆ n  )  b
n 
2. n sonsuza giderken
b̂ 'nin varyansı sıfıra yaklaşmalıdır:
lim Var (bˆ)   0

n 
Tutarlılık…
 Eğer varyans sıfırsa, dağılım ana kütlenin gerçek
parametresinin üstünde bir noktada toplanır.
 Bir tahmin edicinin tutarlı olup olmadığını anlamak için, n
arttıkça sapmanın ve varyansının ne olduğuna bakılmalıdır.
(n) büyüdükçe hem sapma hem varyans azalmalı ve limitte
(n   iken) sıfır olmalıdır. Tutarlılık kavramı aşağıda
çizilmiştir. Örnek büyüklüğü artıkça hem sapma hem
varyans azalmaktadır.
c. Asimtotik etkinlik
Eğer
(1) b̂ tutarlıysa
(2)Başka herhangi bir tutarlı tahmin ediciye göre daha küçük
bir asimtotik varyansı varsa
bu tahmin edici ana kütlenin gerçek b parametresinin
asimtotik etkin bir tahmincisidir.
Eğer;
1
E
 n lim
n 


2

ˆ
n (b n   b )  



2
1
*
E b n   b 
 n lim
n


ise b̂ asimtotik etkindir. Burada b * , b nin başka bir tutarlı
tahmin
edicisidir.
Tutarlı
tahmin
ediciler
karşılaştırıldığında hangisinin varyansı daha hızla
sıfıra yaklaşıyorsa o, asimtotik etkendir.
3. En Küçük Kareler Tahmin Edicilerinin
Özellikleri
 Hata terimi u'nun bazı genel varsayımları yerine
getirmesi, yani ortalamasının sıfır ve varyansının
sabit olması koşuluyla, en küçük kareler
tahmincilerinin DES
( doğrusal, en iyi,
sapmasız) özelliklerini sağlamasına Gauss-Markow
en küçük kareler teoremi denmektedir.
a. Doğrusallık
 En küçük kareler tahminleri b̂1 ve b̂2 gözlenen örnekteki Yi
değerlerinin doğrusal fonksiyonlarıdır. Varsayım gereği Xi ler
hep aynı değerlerle göründüklerine göre en küçük kareler
tahminlerinin yalnız Y değerlerine bağlı olduğu gösterilebilir.
bˆ1  f (Y )
bˆ2  f (Y )
İspat:
xi
ˆ
b2  
Y   kiYi
2 i
 xi
xi
ki 
2
 xi
Varsayım gereği X değerleri sabit değerler kümesidir. Bu
durumda ki lerde örnekten örneğe değişmezler.
…Doğrusallık
Bu durumda şunu yazabiliriz:
bˆ2   kiYi  k1Y1  k 2Y2  ...  k nYn  f (Y )
Y’lerin doğrusal bir fonksiyonudur. Bağımlı değişken
değerlerinin doğrusal bir bileşimidir.
b̂2
1
ˆ
b1   [  Xki ]Yi
n
X
ve ki
Örnekten örneğe değişmez.
katsayı tahmini sadece Y ye bağlıdır.
b. Sapmasızlık

b̂1 ve b̂2 nin sapmasızlık özelliği E (bˆ1 )  b1 ve E (bˆ2 )  b2
şeklindedir. Bu özelliğin anlamı, örneklerin sayısı
artıkça tahminler de parametrelerin gerçek
değerine yaklaşır. Başka bir deyişle, n sayıda Y ve
X gözleminden oluşan, olanak içindeki bütün
örnekleri seçildiğinde ve b̂1 ile b̂2
tahminleri her örnek için hesaplandığında, bu
tahminlerden çok fazla sayıda elde edilir. Bunların
ortalaması ise ilişkinin parametrelerine eşit olur.
Tahminlerin dağılımı, orta nokta olarak
parametrenin
gerçek b
değeri üzerinde
toplanacaktır.
c. En Küçük Varyans
 Gauss-Markow teoremi ispatı: Bu teoreme göre en küçük
kareler tahminleri, başka ekonometri yöntemleriyle
bulunmuş herhangi bir başka doğrusal sapmasız tahmin
ediciler arasında en iyisidir ( varyansı en küçük olandır).
EKK yönteminin tercih edilmesinin temel nedeni de bu
özelliktir.