Ölçme Hataları ve Normal Dağılım

Ölçme Hataları ve Normal Dağılım
Yıl 1967. Fizik dersinin mekanik laboratuarında birinci laboratuar. Konusu: Ölçme ve
çift kefeli terazilerin hassasiyeti. Mesaj: neyi ölçersen ölç, ölçmek istediğin şeyi bulamazsın,
ölçü aletinin hassasiyet sınırları içinde bir şeye ulaşırsın. Laboratuar hocasından nasihat:
“Marifet, hatalı ölçen alet ile doğru ölçmek”. Hata ne demek? Doğru ölçmek ne demek?
Ölçülmesi istenen şeyi bulmak mı? Geometri dersindeki hocadan başka bir nasihat:”Geometri,
yanlış çizim üzerinde doğru düşünme sanatıdır”. Yanlış çizim ne demek? Tahtaya çizilen dik
üçgenin, en büyük açısı doksan derece değil mi, kenar uzunlukları için Pisagor teoremi
sağlanmıyor mu? Hoca, çizemiyorsan biz ne yapalım. Doğru çiz, doğru düşünelim. Doğru
düşünmek ne demek? Matematikte doğru düşünmek ne demek? (Ya istatistikte?! Bunu şimdi
soruyorum. Yıl 2006.) Okulun açılışında bir nasihat da dekandan gelmişti:”Bu günkü gibi
ilerde bir gün gelecek ve siz mezun olacaksınız. Çoğunuz öğretmen olacak. Matematik
öğretmeni, fizik öğretmeni, kimya öğretmeni, biyoloji öğretmeni. Bir tornacı, bir civatayı
işlerken hata yaparsa, o civatalar yeniden dökümhaneye gider, eritilir, çubuk haline getirilir ve
yeniden tornacının önüne gelir. Sizin böyle bir hakkınız yok”.
Hata yapmadan düşünmek (öyle yapmıyor muyuz yani), hatasız eğitim (zor bir iş) ve
hatalı ölçümler (ne güzel bir hak, hele hatalar rasgele yani gelişigüzel olursa, ölçme aletlerine
bu hakkı kim vermişse) ile ilgili nasihatler …ve yıl 1991 ĐS 152 Đstatistik Laboratuarı. Ölçme
işleminde hata olabileceği, bunun ölçme aletlerinin doğasında bulunduğunu, pazardan alınan
1 kg domatesin kütlesinin ne olduğunu hiç kimsenin, ama hiç kimsenin bilemeyeceğini
öğrencilere anlatma çabasındayım. Đnanmıyorlar. “Hocam belki siz bilemezsiniz, ama pazarcı
bilir. Terazinin altına taş bağlıyormuş, ayrıca kese kâğıdını da hamurla yapıştırmış, ağır
çeksin diye”, annem diyor. Đşim zor. Anlatmak istediğimi nasıl anlatacağım.
-Çocuklar, pazardan alınan domatesi bakkal amcanın terazisinde tartsak aynı şeyi
gözler miyiz?
- Hayııır.
- Eee, gördünüz mü?
- Ama hocam, pazarcının terazisi, zaten …
- Pekiyi, bakkaldaki gözlemi aklımızda tutup kuyumcuya gitsek aynı şeyi gözler
miyiz?
- Tamam hocam, tamam. Ne demek isteyecekseniz deyin.
- Teraziden teraziye hassasiyet arttıkça, başka başka ölçüm değerleri gelmektedir.
Hattâ, hassas bir terazide aynı şeyi iki kez ölçtüğümüzde farklı değerler gözlenmektedir. Bunu
görmek için kimya laboratuarına gidiyoruz.
- Hocam, çok yaşayın.
- Siz de görün. Kalkın gidiyoruz.
Hatırladığım kadarıyla bir tebeşir parçasının kütlesi ölçülmüştü. Sonra tebeşir parçası kefeden
alınıp yeniden ölçülmüştü. Farklı gözlem çıktı. Sebebi nedir dendiğinde, öğrenciler,
ellerimizden bir şeyler, nem gibi, tebeşire bulaşmış olabilir dediler. Tebeşiri ellemeden,
sadece elektrikli terazinin düğmesi kapatılıp yeniden açılarak bir ölçüm daha yapıldı ve farklı
bir gözlem çıktı. Öğrenciler şaşırmıştı. Bir camekânın içinde bulunan ve nefesimizden bile
etkilenmeyen bu alet nasıl olur da bunu yapar. Aynı şekilde, 10 gözlem aldık (şu gözlem
değerlerinin ondalık kısmı sekiz basamaklı, yaz yaz bitmiyor, kendilerine gelince Avogadro
sayısı 6.023 × 1023 , gerçi ölçme sonucu söylenen bir sayı değil, iki gram hidrojendeki
molekülleri saydıklarını sanmıyorum, ondalık kısmında anlamlı basamak sayısı sadece üç
tane, bizde sekiz, hele son rakamı sıfır, ilk gözlemde bunu yazmayalım dedik, olmaz dediler,
her halde kimyacıların bileceği bir şey dedik, 10 gözlemin onunda da son rakam sıfır
gözlenmez mi, bu sefer de kimyacılar şaşırmıştı, başımıza böyle bir olay ilk defa geliyor
dediler, gördünüz mü sıfırın intikamını diye aklımızdan geçirelim derken, kimyacı bunlar,
adamın beynindeki kimyayı bile okurlar, siz istatistikçisiniz ve olasılık da bilirsiniz, böyle
olması olasılığı nedir diye sormazlar mı, tamam, üşenmeden sekizinci ondalığı da
hesaplarımıza katacağız, yeter ki siz şu olasılık hesabını unutun, anlaştık) ve kendi istatistik
laboratuarımıza döndük. Gözlem değerleri tahtaya yazıldı. Veriler gözümüzün önünde.
Tebeşir parçası da. Kütlesi ne?!
- Tahtadaki sayılardan birisi olabilir mi, çocuklar?
- Olabilir hocam, olmayabilir de.
- Hocam gözlemlerden üc tanesi aynı, tebeşirin kütlesi bu olabilir.
- Hayır. Bunlardan büyük olan altı tane başka gözlem var. Arkadaşın dediği olmaz
hocam.
- Sen ne diyorsun.
- En küçük gözlem değeri ile en büyük gözlem değerinin ortasıdır diyorum.
- Ne demek istiyorsun.
- Hocam, arkadaş ortancayı diyor.
- Hayır, ortanca başka bir şey. Arkadaş en küçük gözlem değeri ile en büyük gözlem
değerinin ortalaması diyor, hocam.
- Zaten onu söyledik. Ortalama başka bir şey.
- Hocam, ortalamayı alsak olmaz mı?
- Tamam alalım. Şimdi bu çıkan sayı tebeşirin kütlesi mi?
- Evet.. Hayır...Olabilir de, olmayabilir de hocam.
- Hocam, en küçük gözlem, şu birbirinin aynı olan gözlemlerden oldukça küçük,
onu atalım, geri kalanların ortalamasını alalım.
- Hocaam, en büyük gözlem de sırıtıyor, onu da atıp geriye kalan gözlemlerin
ortalamasını alalım.
- Hocaaam, gözlemlere ağırlık verelim ve ağırlıklı ortalama alalım.
- Hocaaaam, birinci ve üçüncü çeyrekliğin ortalamasını alalım.
- Hocaaaaam, çeyrekliklerin ortalamasını alalım.
- Hocaaaaaam, çeyrekliklerin ağırlıklı ortalamasını alalım.
- Hocaaaaaaam, tepe değer, ortanca ve ortalamanın ortalamasını alalım.
- Hocaaaaaaaam, bunların ağırlıklı ortalamasını alalım, ama en ağırı ortalama olsun.
- Çoçuklaaaaaaaaar yeter. Biz kütle ölçüyorduk, ağırlık nerden çıktı. Kafam karıştı.
Kütle işi, ağırlık işi, bu fizikçinin işi. Kendi işimize dönelim. Bizim işimiz ne?
- Tahmin etmek hocam.
- Neyi tahmin etmek?
- Şu tebeşirin kütlesini.
- Hocam, örneklem ortalaması yansız bir tahmin edicidir. Derste görmüştük. Onu
alalım. Diğerlerinden bazıları da yansız olabilir.
- Hem tebeşirin kütlesini bilmiyorsunuz, hem de tahminin yansız olacağını
söylüyorsunuz.
- Sus. Bu soruyu derste hocaya biz de sormuştuk, her zamanki gibi ağzı açıldı ve
öğle yemeğinden olduk. Derse gelsene.
- Aranızda ne konuşuyorsunuz, yeni bir tahmin edici daha mı öneriyorsunuz.
Ağırlıklı olmasın, ayrıca varyansını bilmiyorsanız söylemeyin.
- Hocam ben, örneklem ortalamasının varyansını biliyorum. Örneklem ortalamasının
varyansı kitle varyansı bölü n, yani örneklem hacmi.
- Çocuklar, gene kafamı karıştırdınız. Biz kütle ölçüyorduk. Kitle nerden çıktı? Kitle
ne demek? Nerede? Tebeşirlerin kitlesi mi?
- Hayır hocam, siz bizim kafamızı karıştırmayın. Bazı araştırmalarda, kitle ve birim
kavramları vardı ya, işte o. Bazı araştırmalarda da bu kavramı kullanmadığımızı
söylemiştiniz.
-
Çocuklar, acaba doğru mu söylemiştim. Burada, kitle terazilerin kitlesi olmasın.
Hayır hocam, burada kitle yok. Sadece şu tebeşir var. Terazi de kimya
laboratuarında kaldı. Arkadaşın dediği sözgelimi: “kitle varyansı bölü örneklem
hacmi”. Taktınız yine. Gerçek dünya ili ilgili problemimizi açık bir şekilde
tanımladıktan sonra yola çıkmamız gerektiğini söylemiştiniz. Şuradaki tebeşirin
kütlesini tahmin etmek istiyoruz, o kadar.
- Tamam çocuklar toparlıyoruz. Her ne kadar fizikçiler, prestijleri sarsılmasın diye
ölçme sonucu elde ettiklerine tahmin demeseler de bunlar birer tahmindir. Đşimizi
bitirelim. Tebeşirin kütlesini kaç olarak tahmin ettiniz.
- 12.34567890 gram çıktı hocam. Kimyacılar yok, sonundaki sıfırı atalım mı?
- Aman kalsın Hocam, duyarlarsa olasılığı sorarlar. Belki başka hesaplamalarda
çıkmaz.
- Bu tebeşirin kütlesi 12.345679890 gram diyebilirmiyiz?
- Olduğunu tahmin ettik Hocam. Ayrıca, fizikçiler aritmetik ortalamanın arkasına
artı eksi bir şeyler de yazıyorlar.
- O, çay paketlerinde de var.
- Çocuklar onun tam olarak ne anlama geldiğini ben de bilmiyorum. Gauss hatası
diye bir şeyler hesaplattırıyorlardı fizik laboratuarında. Her gözlem değerinden
ortalama çıkartılıp, karesi alınıp n-1 e bölünüyordu ve onun karekökü yazılıyordu
artı eksi diye. Niçin n değil de n-1 ‘e böldüklerini anlayamıyordum.
- Biz biliyoruz hocam. Terazinin yaptığı hata bir rasgele değişken, bu rasgele
değişkenin dağılımının varyansı için yansız bir tahmin edici, o söylediğiniz. Ama
karekökü alındığında, standart sapma için yansız olur mu bilemeyiz.
- Bana sormayın. Aklıma yeniden hata sözcüğünü getirdiniz. Çocuklar, rasgelelik
olgusu içeren bir özelliği (buna bir rasgele değişken karşılık gelmektedir)
incelerken, sadece özelliğin doğasındaki rasgeleliği ele alacağız. Örneğin, belli bir
kitledeki bir yaşındaki çocukların ağırlıklarını incelemeye kalkıştığımızda ölçü
aletinin hatasını görmezden geleceğiz. Sanki hatasız ölçüyormuşuz gibi
düşüneceğiz. Đleride, ölçüm hatalarını da işin içine katarak istatistiksel sonuç
çıkarım nasıl yapılır, lisansüstü derslerde öğrenirsiniz. Dikkat edin, lineer
modellerdeki hata terimini ölçüm hatası ile karıştırmayın. Ölçüm Hatalı Modeller
dersini de alın.
Yıl 2006. Zaman ne kadar çabuk geçmiş. ĐST 502 Đstatistik Teorisi dersi.
- Arkadaşlar, bu gün yeni imal edilmiş olan şuradaki kuyumcu terazinin yaptığı
hata’yı araştırmaya çalışacağız.
- Tamam hocam. Araştırma dediniz, adını söylemediniz.
- Terazinin bir ölçmede yaptığı hatayı bir rasgele değişken olarak düşünüp, bunun
dağılımı nedir, beklenen değeri nedir, varyansı nedir? Araştırma konumuz bu
olsun. Ayrıca, bu terazi için hatanın beklenen değerinin sıfır olduğunu iddia
ediyorlar. Haklıysak, aman bizi haksız çıkarmayın diyorlar. Biliyoruz siz
istatistikçisiniz, öyle bir karar kuralı, yani sizin dilinizde bir test fonksiyonu bulun
ki, dediğimiz doğru olduğunda test sonucu dediğimizin reddedilmesi olasılığı en
çok %5 olsun, diyorlar. Bunu da araştıralım.
- Hocam, tüketici hakları ne olacak. Teraziyi kullananlar yani.
- Hocam, düzgün en güçlü test fonksiyonu ile işi bitiririz.
- Tamam arkadaşlar.
- Hocam, burada esas mesele terazinin yaptığı hatanın varyansında. Hatalar sıfıra
göre simetrik bir dağılıma sahip ve varyans küçükse her iki tarafın da işine gelir.
Hatanın varyansı için bir iddiaları var mı?
- Varyans ile ilgili bir şey söylemediler.
-
Hocam. Kuyumcu terazileri için hatanın standart sapmasının 0.01 gramdan küçük,
yani varyansın 0.0001 den küçük olmasını şart koşuyorlarmış. Bunu yokluk
hipotezi olarak alıp %5 anlam düzeyinde test edelim. Belki işlerine yarar.
Tamam arkadaşlar.
Hocam, hatanın dağılımı ile ilgili varsayımda bulunacakmıyız?
Örnekleme ve gözlemler nasıl yapılacak?
Araştırmadaki gözlem alma işini iki şekilde yapalım. Birincisi, seneler önceden
kalan şuradaki tebeşiri tartarak, ikincisi de standartlar enstitüsünden alınan ve 10
gram olduğu söylenen şuradaki nesneyi tartarak yapalım.
Hocam, o nesnenin üstünde TSE damgası yok.
Olsa ne fark edecekti ki? Kendileri 10 gram olduğunu nereden biliyor?
Felsefe yok. Đş yapacağız arkadaşlar. Başlayalım.
-
-
Đlk önce, ölçmelerdeki hatanın dağılımı meselesini ele alalım. Bildiğiniz gibi Gauss,
astronomi ile ilgili ölçme hataları üzerinde çok çalışmış ve önemli sonuçlar elde etmiştir.
Şimdi, C.R.Rao’nun “Linear Statistical Inference and Its Applications” isimli kitbından
Hagen Tanımlaması’nı ele alalım.
Hatalar için aşağıdaki varsayımlar söz konusu olsun:
a) Rasgele değişken olan belli bir hata, küçük (istenildiği kadar küçük) ve aynı değeri
alan çok sayıda hata bileşenlerinin toplamı olsun.
b) Her hata bileşeni için değerin pozitif veya negatif olma olasılığı eşit olsun.
c) Hata bileşenleri bağımsız olsun.
Her bir hata bileşeni küçük ve ε büyüklüğünde olup, +ε ile −ε değerlerini
1
olasılıkları ile
2
alsın. Her bir hata bileşeninin ortalaması 0 ve varyansı ε 2 dır. Hata bileşenleri
X
1
, X 2 ,..., X n
ve hata X olmak üzere,
X = X + X + ... + X
1
2
n
ve
E ( X ) = E ( X ) + E ( X ) + ... + E ( X ) = 0
n
1
2
Var ( X ) = Var ( X ) + Var ( X ) + ... + Var ( X ) = nε 2
1
2
n
olur. Var ( X ) = nε 2 = σ 2 olacak şekilde, n → ∞ için X in
dağılımını bulmak için
karakteristik fonksiyonunu göz önüne alalım. X in karakteristik fonksiyonu,
ϕ (t ) = E (eitX ) =
X
n
n
itX
k ) =  1 (eitε + e−itε ) 
E
(
e
∏
 2

k =1
n
 t2

t4 4
2
= 1 − ε + ε + ... 
 2!

4!


olmak üzere,
n
t 2σ 2
 t2 σ 2

−
1
n→∞
1 −
+ o( )  
→e 2
2!
n
n


dır. Limitteki karakteristik fonksiyona karşılık gelen olasılık yoğunluk fonksiyonu,
1
f ( x) =
2π
x2
∞
− 2
1
2σ
− itx
e
ϕ
(
t
)
dt
=
e
∫−∞ X
2πσ
olup, bu, ortalaması 0, varyansı σ 2 olan normal dağılımın olasılık yoğunluk fonksiyonudur.
Hatayı oluşturan bileşenlerin sayısı çok ve (a), (b), (c) şıklarındaki özellikler sağlanıyorsa
hatanın dağılımı için yaklaşık olarak bu normal dağılımı alabiliriz. Kısaca, bir rasgele
değişken olan hatanın dağılımı, ortalaması 0 ve varyansı σ 2 olan bir normal dağılımdır, ya da
hata 0 ortalamalı ve σ 2 varyanslı normal dağılıma sahiptir diyeceğiz.
Elimizdeki terazi için (a), (b), (c) şıklarındaki özellikler sağlanıyorsa ölçmelerde
yaptığı hatanın normal dağılıma sahip olduğu söylenebilir. Hatanın doğası hakkında hiçbir şey
bilinmiyorsa, gerektiğinde gözlemlerden bir sonuç çıkarılabilir. Belli bir dağılıma sahip
olduğu varsayımında bulunuluyorsa gözlemlerden varsayımın doğruluğu sınanabilir (test
edilebilir).
Elimizdeki terazinin ölçmelerde yaptığı hata için (a), (b), (c) şıklarındaki özellikler
sağlanıyor olsun.
Bir ölçmedeki hata
ε
ile gösterilisin.
ε ∼ N (0, σ 2 )
olmak üzere, bu
dağılımın parametresini, yani varyansı tahmin etmek isteyelim. Gözlemlerimizi iki farklı
şekilde yapacağımızı söylemiştik. Tebeşiri n kez tartarak, Y1 , Y2 ,..., Yn örneklemini (bağımsız
ve her biri N ( µ , σ 2 ) dağılımına sahip rasgele değişkenleri) göz önüne alalım.
Yi = µ + ε i , i = 1, 2,..., n
olmak üzere, burada µ tebeşirin kütlesidir (şu an bizi ilgilendirmiyor). σ 2 için düzgün en
küçük varyanslı yansız tahmin edici (UMVUE),
n
σ2 = Sn2−1 =
∑ (Y − Y )
i =1
2
i
n −1
dir.
10 gramlık nesneyi n kez tartarak, Y1 , Y2 ,..., Yn örneklemini (bağımsız ve her biri
N (10, σ 2 ) dağılımına sahip rasgele değişkenleri) göz önüne alalım.
Yi − 10 = ε i , i = 1, 2,..., n
olmak üzere, hataları doğrudan gözlemiş oluruz.
ε , ε ,..., ε
1
2
n
ler N (0, σ 2 ) dağılımından n
birimlik örneklem olmak üzere, σ 2 için düzgün en küçük varyanslı yansız tahmin edici
(UMVUE),
∑ε
n
σ2 =
i =1
2
i
n
dir.
Arkadaşlar, hipotez testine geçmeden önce, σ 2 için aralık tahmini de yapalım.
Tebeşir tartmasında, σ 2 için bir pivot,
Q( X , σ ) =
2
(n − 1)Sn2−1
σ
2
∼ χ n2−1 .
dır.


(n − 1)Sn2−1
Pσ 2  a ≤
≤ b  = 1 − α
2
σ


olmak üzere,
 (n − 1)Sn2−1
(n − 1)Sn2−1 
2
≤σ ≤
Pσ 2 
 = 1 − α .
b
a


yazılabilir. O zaman, σ 2 için bu pivota dayalı 1 − α güven katsayılı güven aralıklarının
sınıfı,


 ( n − 1)Sn2−1 (n − 1)Sn2−1 
2
,
ℂ = C ( X , a , b ) : C ( X , a , b ) = 
 , a , b > 0, a < b , Pσ 2 σ ∈ C ( X , a , b ) = 1 − α 
b
a




(
)
dır. Bu sınıftaki bir güven aralığının uzunluğu,
1 1
ℓ (C ( X , a , b )) = (n − 1)Sn2−1 ( − ) .
a b
olmak üzere, en küçük uzunluklu aralık nedir? Başka bir ifade ile,
1 1
amaç : min (n − 1)Sn2−1 ( − )
a ,b
a b
kısıt: 0 < a < b ,
b
∫ fQ (q )dq = 1 − α
a
Optimizasyon probleminin çözümü nedir? Burada, fQ fonksiyonu χ n2−1 dağılımının olasılık
yoğunluk fonksiyonudur. Çözüm,
a fQ ( a) = b fQ (b )
2
2
b
ile
∫ fQ (q )dq = 1 − α .
a
denkemlerini sağlayan a , b değerleridir. Bu denklemlerin çözümleri için Tate and Klett
(1959) tarafından tablolar hazırlanmıştır (“Optimum confidence intervals for the variance of
the normal stribution” , JASA, Vol.54, pp.674-682).
Bu çözümleri MATLAB da yazılmış aşağıdaki bilgisayar programını işleterek de
bulabilirsiniz
alfa=.05;n=26;
aa=chi2inv(alfa,n-1);
for a=.1:.01:aa
b=chi2inv((1-alfa+chi2cdf(a,n-1)),n-1);
if a^2*chi2pdf(a,n-1)-b^2*chi2pdf(b,n-1)>=0;break;end
end
[a b]
ans = 14.2640
45.7100
Tate ve Klett’in tablosundaki değerler, a=14.2636 ve b=45.7051 dir.
σ 2 için alışılmış (dengeli-kuyruklu, equally-tailed) güven aralığı,
 (n − 1)Sn2−1 (n − 1)Sn2−1 
,
 2

χ n2−1;α /2 
 χ n −1;1−α /2
dir.
10 gramlık nesne ile yapılan gözlemlerde, σ 2 için alışılmış güven aralığı,
n
 n 2

∑ ε i2 
 ∑ε i
 i =1

, i =1
 χ n2;1−α /2 χ n2;α /2 




dir. σ 2 için bir pivot,
∑ ε i2
n
Q1 ( X , σ 2 ) =
i =1
σ
2
∼ χ n2
olmak üzere, bu pivota dayalı 1 − α güven katsayılı güven aralıklarının,


 n 2 n 2


 ∑εi ∑εi 


2
i =1
i =1


ℂ 1 = C ( X , a , b ) : C ( X , a , b ) =
,
, a , b > 0, a < b , Pσ 2 σ ∈ C ( X , a , b ) = 1 − α 
 b
a 








sınıfı içinde, en küçük uzunluklu olanı,
(
a fQ ( a) = b fQ (b )
2
2
)
b
ile
∫ fQ (q )dq = 1 − α
a
denklemlerin çözümü olan a , b değerlerinden elde edilmektedir. Burada, fQ fonksiyonu χ n2
dağılımının olasılık yoğunluk fonksiyonudur.
- Geldik hipotez testine.
- Hocam tahmin problemi bitmedi ki.
- Ne kaldı geriye?
- Gözlemleri almak ve hesaplamak.
- Gözlemleri siz alın, hesaplamaları da bilgisayar yapsın.
- Tamam hocam.
- Sonuçları yorumlamayı unutmayın. Ayrıca, hipotez testi kısmı da ödev olsun.