tc yüzüncü yıl üniversitesi fen bilimleri enstitüsü istatistik anabilim

T.C.
YÜZÜNCÜ YIL ÜNİVERSİTESİ
FEN BİLİMLERİ ENSTİTÜSÜ
İSTATİSTİK ANABİLİM DALI
DIRICHLET DAĞILIMI VE PARAMETRELERİNİN TAHMİNİ
YÜKSEK LİSANS TEZİ
HAZIRLAYAN: Ayşe Kübra DEMİREL
DANIŞMAN: Doç. Dr. H. Eray ÇELİK
VAN-2015
T.C.
YÜZÜNCÜ YIL ÜNİVERSİTESİ
FEN BİLİMLERİ ENSTİTÜSÜ
İSTATİSTİK ANABİLİM DALI
DIRICHLET DAĞILIMI VE PARAMETRELERİNİN TAHMİNİ
YÜKSEK LİSANS TEZİ
HAZIRLAYAN: Ayşe Kübra DEMİREL
VAN-2015
KABUL VE ONAY SAYFASI
İstatistik Anabilim Dalı’nda Doç. Dr. H. Eray ÇELİK danışmanlığında, Ayşe
Kübra
Demirel
tarafından
sunulan
”DIRICHLET
DAĞILIMI
VE
PARAMETRELERİNİN TAHMİNİ” isimli bu çalışma Lisansüstü Eğitim–Öğretim
Yönetmeliği’nin ilgili hükümleri gereğince 15/01/2015
tarihinde aşağıdaki jüri
tarafından oy birliği/ oy çokluğu ile başarılı bulunmuş ve Yüksek Lisans Tezi olarak
kabul edilmiştir.
Başkan
: Doç. Dr. H. Eray ÇELİK
İmza:
Üye
: Doç. Dr. Cesim TEMEL
İmza:
Üye
: Yrd. Doç. Dr. Hatice TAŞKESEN
İmza:.
Fen Bilimleri Enstitüsü Yönetim Kurulu’nun ……../……../2014 tarih ve
……………………………. sayılı kararı ile onaylanmıştır.
……/……/2014
Prof. Dr. Turgut AYGÜN
Enstitü Müdürü
TEZ BİLDİRİMİ
Tez içindeki bütün bilgilerin etik davranış ve akademik kurallar çerçevesinde
elde edilerek sunulduğunu, ayrıca tez yazım kurallarına uygun olarak hazırlanan bu
çalışmada bana ait olmayan her türlü ifade ve bilginin kaynağına eksiksiz atıf
yapıldığını bildiririm.
Ayşe Kübra DEMİREL
ÖZET
DIRICHLET DAĞILIMI VE PARAMETRELERİNİN TAHMİNİ
DEMİREL, Ayşe Kübra
Yüksek Lisans Tezi, İstatistik Anabilim Dalı
Tez Danışmanı: Doç. Dr. H. Eray ÇELİK
Ocak 2015, 66 sayfa
Bu tez çalışmasında Dirichlet dağılımı, tarihçesi ve kullanım alanları ele
alınmıştır. Daha sonra karakteristik özellikleri hesaplanmış ve parametrelerinin tahmin
edilmesi amaçlanmıştır. Parametre tahmini için en yaygın kullanılan parametre tahmin
yöntemlerinden en çok olabilirlik tahmin edicisi kullanılmıştır. Parametre tahmini
yaparken
nümerik
yöntemlerden
Newton-Raphson
metodu
ve
sabit
nokta
iterasyonundan yararlanılmıştır. Daha sonra MATLAB 7.13 (R2011b) programı
kullanılarak parametreleri tahmin eden bir program yazılmıştır.
Anahtar kelimeler: Dirichlet dağılımı, En çok olabilirlik tahmin edicisi,
Newton-raphson metodu, Sabit nokta iterasyonu
i
ABSTRACT
DIRICHLET DISTRIBUTION AND ESTIMATION OF PARAMETERS
DEMİREL, Ayşe Kübra
M. Sc., Statistics
Supervisor: Assoc. Prof. Dr. H. Eray ÇELİK
January 2015, 66 pages
In this study, Dirichlet distribution, its history and usage of Dirichlet
distributions are discussed. Then characteristic properties are calculated and it is aimed
to estimate the parameters. For parameter estimation, maximum likelihood estimation,
which is the most widely used method, is used. The numerical methods, NewtonRaphson method and fixed point iteration, are utilized when parameter estimation is
done. Then using MATLAB 7.13 (R2011b), a program has been written for estimating
the parameters.
Key words: Dirichlet distribution, Maximum likelihood estimation, NewtonRaphson method, Fixed point iteration
ii
ÖN SÖZ
Bu tez çalışmasında her türlü ilgi ve yardımlarını esirgemeyen danışmanım
Sayın Doç. Dr. H. Eray ÇELİK' e, ve tez jürimde bulunarak tezimin daha iyi bir duruma
gelmesini sağlayan Sayın Doç. Dr. Cesim TEMEL'e ve Sayın Yrd.Doç. Dr. Hatice
TAŞKESEN'e teşekkür ederim. Ayrıca çalışmalarımda yardımlarını esirgemeyen
Eskişehir Osmangazi Üniversitesi öğretim üyesi Sayın Doç. Dr. Dursun IRK'a, Yüzüncü
Yıl Üniversitesi İstatistik Bölümü öğretim üyelerine ve çalışma arkadaşlarıma teşekkür
ederim. Eğitimimin her aşamasında maddi ve manevi desteklerini esirgemeyen sevgili
aileme teşekkürü bir borç bilirim.
Ayşe Kübra DEMİREL
Ocak, 2015
iii
İÇİNDEKİLER
Sayfa
ÖZET .. ........................................................................................................................ i
ABSTRACT ................................................................................................................ iii
ÖN SÖZ ....................................................................................................................... v
İÇİNDEKİLER ............................................................................................................ vii
ÇİZELGELER LİSTESİ...... ....................................................................................... ix
ŞEKİLLER LİSTESİ......................... .......................................................................... xi
SİMGELER VE KISALTMALAR ............................................................................. xiii
EKLER DİZİNİ ..... ..................................................................................................... xv
1. GİRİŞ ...................................................................................................................... 1
2. TEMEL TANIM VE TEOREMLER ...................................................................... 3
2.1. Olasılık Yoğunluk Fonksiyonu.................. ....................................................... 3
2.1.1. Kesikli olasılık yoğunluk fonksiyonu .................................................... 3
2.1.2. Sürekli olasılık yoğunluk fonksiyonu .................................................... 3
2.2. Birikimli Dağılım Fonksiyonu.......................................................................... 3
2.3. Beklenen Değer ................................................................................................ 4
2.4. Varyans ............................................................................................................. 4
2.5. Mod ................................................................................................................... 4
2.6. Medyan ............................................................................................................. 4
2.7. Gama Fonksiyonu ............................................................................................. 4
2.8. Gama Fonksiyonunun Bazı Özellikleri ............................................................ 4
2.9. Digama Fonksiyonu .......................................................................................... 5
2.10. Digama Fonksiyonunun Bazı Özellikleri ....................................................... 5
2.11. Trigama Fonksiyonu ....................................................................................... 5
2.12. Trigama Fonksiyonunun Bazı Özellikleri ...................................................... 5
2.13. Hessian Matrisi ............................................................................................... 6
2.14. Gradient .......................................................................................................... 6
2.15. Diagonal(Köşegen) Matris ............................................................................. 6
2.16. Sabit Nokta İterasyonu ................................................................................... 6
iv
2.17. Sabit Nokta Teoremi ....................................................................................... 7
2.18. Newton-Raphson Metodu ............................................................................... 7
3. DIRICHLET DAĞILIMININ KARAKTERİSTİK ÖZELLİKLERİ...................... 9
3.1. Olasılık Yoğunluk Fonksiyonu ......................................................................... 9
3.2. Birikimli Dağılım Fonksiyonu.......................................................................... 9
3.3. Beklenen Değer ................................................................................................ 10
3.4. Varyans ............................................................................................................. 11
3.5. Mod ................................................................................................................... 12
3.6. Medyan ............................................................................................................. 13
4. DIRICHLET DAĞILIMININ EN ÇOK OLABİLİRLİK YÖNTEMİ İLE
PARAMETRE TAHMİNİ ................................ ..................................................... 15
4.1. En Çok Olabilirlik Yönteminin Tarihçesi ........................................................ 15
4.2. En Çok Olabilirlik Yönteminin Mantığı ........................................................... 16
4.2.1. Olabilirlik ilkesi ..................................................................................... 17
4.2.2. En çok olabilirlik yönteminin özellikleri ............................................... 18
4.2.3. En çok olabilirlik yönteminin uygulama aşamaları ...............................18
4.3. Dirichlet Dağılımının En Çok Olabilirlik Tahmin Edicisi ile Parametre
Tahmini ..............................................................................................................20
4.4. Ortalama ve Kesinlik İçin Parametre Tahmini ................................................. 24
4.5. Çok Terimli Dirichlet Dağılımı ........................................................................ 29
5. MATLAB İLE UYGULAMA................................... .............................................. 32
KAYNAKLAR ............................................................................................................ 35
EKLER ....................................................................................................................... 38
ÖZ GEÇMİŞ ............................................................................................................... 53
v
ÇİZELGE LİSTESİ
Çizelge
Sayfa
Çizelge 5.2. Dirichlet Dağılımının Farklı "N" gözlem değerleri için
Karakteristik Özellikleri .................................................................... 32
Çizelge 5.2. Dirichlet Dağılımının Farklı "N" gözlem değerleri için
Parametre Tahmini ............................................................................ 34
vi
ŞEKİLLER LİSTESİ
Şekil
Sayfa
Şekil 5.1. Dirichlet Dağılımının
Koordinatlarında
3 boyutlu yüzey grafiği ............................................................................ 33
Şekil 5.2. Dirichlet Dağılımının
Koordinatlarında
3 boyutlu yüzey grafiği ............................................................................ 33
vii
SİMGELER
Bu çalışmada kullanılmış bazı simgeler ve kısaltmalar, açıklamaları ile birlikte aşağıda
sunulmuştur.
Simgeler
Açıklama
α
Alfa
β
Beta
θ
Teta
П
Çarpım Sembolü
Σ
Toplam Sembolü
Γ(x)
Gama Fonksiyonu
ψ(x)
Digama Fonksiyonu
ψ'(x)
Trigama Fonksiyonu
J(x)
Jakobien Matrisi
g
Gradient (gradyan)
H
Hessian Matrisi
L
Olabilirlik Fonksiyonu
viii
EKLER DİZİNİ
sayfa
Ek 1. Dirichlet2_fit_newton.m dosyası
Ek 2. Dirichlet2_logProb_fast.m dosyası
Ek 3. Dirichlet2_moment_match.m dosyası
Ek 4. Digamma2.m dosyası
Ek 5. Trigamma2.m dosyası
Ek 6. Flops2.m dosyası
Ek 7. Addflops2.m dosyası
Ek 8. Flops2_digamma.m dosyası
Ek 9. Flops2_log.m dosyası
Ek 10. Flops2_exp.m dosyası
Ek 11. Flops2_div.m dosyası
Ek 12. Drchrnd.m dosyası
Ek 13. Dirichlet.m dosyası
Ek 14. Grafik.m dosyası
37
40
40
41
44
46
47
47
47
48
48
49
49
49
.
.
ix
1
1. GİRİŞ
Dirichlet dağılımı, iki parametreli beta dağılımının çok terimli genelleştirilmiş
bir halidir (Narayanan, 1991). Dirichlet dağılımı üstel ailesinin bir üyesi olduğu için,
çok terimli veriler için bayes çıkarımında konjuge önsel dağılımdır, öyle ki sonsal
dağılımda yine Dirichlet dağılımıdır (Ng and ark., 2011). Ancak, sonsal dağılımın pratik
problemlerde kullanımı zor olduğundan, Dirichlet dağılımının bayes tahmini genelde
analitik olarak kullanışlı değildir. Önsel ve sonsal dağılımları pratikte kolayca
kullanabilmek için, önsel ve sonsal dağılımın her ikisininde yaklaştığı bazı yaklaşımlar
gereklidir. Böylece önsel ve sonsal dağılım arasındaki konjuge eşleme kavranır ve elde
edilen sonsal dağılım kolayca kullanılabilir (Ma, 2012).
Dirichlet dağılımı çok çeşitli kullanım alanlarına sahiptir. Bayesci analiz, çok
terimli veri modeli, istatistiksel genetik, eğrilerin pearson sistemleri, non-parametrik
çıkarsamalar, güvenirlilik teorisi, olasılıksal eşitsizlikler, çok dağılımlı analizler,
stokastik süreçler kullanım alanları arasındadır (Gupta and Richards, 2001).
Bienayme'nın, Dirichlet dağılımının önsel olarak kullanıldığı bayesci düşünceyle
hareket ettiği ancak, "Dirichlet dağılımı" terminolojisini kullanmadığı bildirilmiştir. Bu
terminolojinin uzun yıllar sonra ilk kez Wilks (1962) tarafından rasgele değişkenler için
kullanıldığı bildirilmiştir (Gupta and Richards, 2001). Daha sonra Wilks (1962) 'in
Dirichlet dağlımını teorik istatistikte, sıra istatistiklerinin bir dizi dağılım fonksiyonunu
elde etmek için kullandığı bildirilmiştir (Ng and ark., 2011).
Bachelier (1912) 'in, çok terimli parametreler üzerindeki bayesci analizde tek
yönlü hat üzerinde uniform önsel kullanarak, sonsal dağılım olarak Dirichlet dağılımını
elde ettiği belirtilmiştir (Gupta and Richards, 2001).
Fisher (1929) 'ın, Bartan ve David (1955) 'in ve Mauldan (1959) 'ın çeşitli
bağlamlarda sıra istatistiklerinin teorisi ve Dirichlet dağılımı arasındaki bağlantıyı
çalıştığı belirtilmiştir (Gupta and Richards, 2001).
Polya (1931) 'nın ise çok terimli anakütlelerde göreceli sıklıkların sınırlı
dağılımları olarak Dirichlet dağılımını elde ettiği bildirilmiştir (Gupta and Richards,
2001).
1
2
Theil (1975) 'in, Dirichlet dağılımını tüketim harcamalarındaki rasgele rasyonel
davranışı modellemek için kullanmıştır (Ng and ark., 2011). Spiegelhalter (1994) 'in ise
ırsi kalp hastalıklarının sıklıklarını çalışmak için Dirichlet dağılımını kullandığı
belirtilmiştir (Gupta and Richards, 2001).
Biyolojide gizli Markov modelleri ile dizileri modellerken amino asitlerin
oranlarını belirlemek için Sjölander (1996) 'in Dirichlet dağılımını kullandığı
bildirilmiştir (Wicker and ark., 2007).
Kigman (1980) tarafından alel frekansları için bir denge dağılımı olarak
istatistiksel genetikte de Dirichlet dağılımının ortaya çıktığı bildirilmiştir (Wicker and
ark., 2007 ; Gupta and Richards, 2001).
Metin madenciliğinde ve görüntü analizinde de Blei (2006) tarafından söz
konusu olasılıkları modellemek için Dirichlet dağılımının kullanıldığı belirtilmiştir.
Richardson ve Green (1997) 'in bayes karışım modelinin içeriğinde farklı bileşenlerin
olasılıklarını modellemek için kullandığı bildirilmiştir (Wicker and ark., 2007).
Martin (1967) 'in, Markovian anahtarlama modelinde Dirichlet Dağılımından
faydalandığı belirtilmiştir (Narayanan, 1991).
Bu yüksek lisans tezi kapsamında Dirichlet dağılımının tarihi ve kullanıldığı
alanlar Bölüm-1'de ele alınarak, Bölüm-2'de temel tanım ve teoremlere değinilmiştir.
Bölüm-3'de Dirichlet dağılımının karakteristik özellikleri hesaplanmıştır. Bölüm-4'de
ise en çok olabilirlik tahmin edicisi ele alınarak nümerik yöntemler de kullanılarak,
Dirichlet dağılımının parametreleri tahmin edilmiştir. Bölüm-5'te ise MATLAB
programı kullanılarak Dirichlet dağılımının karakteristik özellikleri, grafiği ve
parametre tahminleri incelenmiştir.
2
3
2. TEMEL TANIM VE TEOREMLER
2.1. Olasılık Yoğunluk Fonksiyonu
2.1.1. Kesikli olasılık yoğunluk fonksiyonu
kesikli rassal değişkenini olmak üzere,
’in her olası
değeri için
olasılığının kesikli olasılık fonksiyonu (olasılık fonksiyonu)
olabilmesi için aşağıdaki koşulları sağlaması gerekir (Akdeniz, 2012).
a) Tanım bölgesi dışında (
dır.
b) Tanım bölgesi içinde
dir.
c) Tanım bölgesindeki tüm değerler için olasılıklar toplamı 1’dir.
dir.
2.1.2. Sürekli olasılık yoğunluk fonksiyonu
sürekli rassal değişkeni olmak üzere
’in her olası
değeri için
fonksiyonunun sürekli olasılık fonksiyonu (olasılık yoğunluk fonksiyonu) olabilmesi
için aşağıdaki koşulları sağlaması gerekir (Akdeniz, 2012).
a)
b)
c)
;
2.2. Birikimli Dağılım Fonksiyonu
,
bir gerçek
örneklem uzayında tanımlanmış bir rassal değişkeni olmak üzere herhangi
değeri için,
rassal değişkeninin ’e eşit ya da ondan küçük bir değer alma
olasılığı birikimli dağılım fonksiyonu ya da kısaca dağılım fonksiyonu olarak
tanımlanır.
ile gösterilir.
sürekli rassal değişkeni ise dağılım fonksiyonu
aşağıdaki gibidir (Akdeniz, 2012).
3
4
2.3. Beklenen Değer
Beklenen değer bir rassal değişkenin alabileceği bütün değerlerin ağırlıklı bir
ortalamasıdır. Kesikli rassal değişken için
için
ve sürekli rassal değişken
ile hesaplanır (Akdeniz, 2012 ).
2.4. Varyans
Varyans
rassal
değişkeninin
değişkenliğinin bir ölçüsüdür.
kendi
beklenen
değeri
çevresindeki
şeklinde hesaplanır
(Akdeniz, 2012).
2.5. Mod
Bir veri setinde en çok gözlenen (en çok tekrar edilen) değere mod veya tepe
değeri adı verilir. Veri setinin modu olmayacağı gibi birden fazla modu da olabilir
(Akdeniz, 2012).
2.6. Medyan
Büyüklüklerine göre sınırlanmış gözlemler grubunun merkezi değerine medyan
yada ortanca adı verilir. Çift sayıda gözlem varsa orta değer iki merkezi değerin
aritmetik ortalamasıdır. Veri setinde aşırı uçlu elemanlar olduğunda aritmetik
ortalamaya göre daha güvenilirdir. Medyan, veri setindeki tüm elemanlardan etkilenmez
(Akdeniz, 2012).
2.7. Gama Fonksiyonu
Gama fonksiyonu faktöriyel kavramının karmaşık sayılar ve tamsayı olmayan
reel sayılar için genelleştirilmiş halidir.
şeklinde gösterilir
(Jeffrey and Dai, 2008).
2.8. Gama Fonksiyonunun Bazı Özellikleri
1.
2.
4
5
(gama için refleksiyon formülü)
3.
4.
2.9. Digama Fonksiyonu
Gama fonksiyonunun logaritmasının türevi olarak tanımlanır.
şeklinde gösterilir. Bu fonksiyon poligama fonksiyonunun ilkidir (Jeffrey and Dai,
2008).
2.10. Digama Fonksiyonunun Bazı Özellikleri
1.
2.
(digama için yineleme formülü)
(digama için refleksiyon formülü)
2.11. Trigama Fonksiyonu
Digama fonksiyonunun türevidir ve ikincil poligama fonksiyonu olarak da
adlandırılır (Jeffrey and Dai, 2008). Aşağıdaki gibi gösterilebilir;
2.12. Trigama Fonksiyonunun Bazı Özellikleri
1.
(trigama için yineleme formülü)
(trigama için refleksiyon formülü)
2.
5
6
2.13. Hessian Matrisi
Hessian matrisi fonksiyonun ikinci türevlerinden oluşan matristir aşağıdaki gibi
gösterilir (Giordan, 2014);
2.14. Gradient
Bir skaler büyüklüğün gradienti, bize onun büyüklüğünü ve skalar büyüklüğün
değişiminin maksimum oranını gösteren yönü bulmak için kullanılır. Gradient işlemi
skaler fonksiyon üzerinde uygulanır ve sonuç bir vektördür. Fonksiyonun birinci
türevleri hesaplanarak bulunur. Aşağıdaki gibi gösterilebilir (Giordan, 2014);
2.15. Diagonal (Köşegen) Matris
Bir kare matristir ve köşegenlerinin üstündeki ve altındaki farklı diğer bütün
elemanları sıfıra eşittir (Giordan, 2014).
2.16. Sabit Nokta İterasyonu
türünden
denklemleri
çözmek
için
kullanılan
nümerik
iterasyonlardan biri sabit nokta iterasyonudur. Sabit nokta iterasyonu metodunda, ilk
olarak (*) denklemi
formunda yeniden yazılır. Burada (**)
denkleminin herhangi bir çözümü (*) denklemininde bir çözümü olur ve bu çözüm
'in sabit noktası olur. O halde iterasyon algoritması aşağıdaki şekilde kurulur. Bir
6
7
ve
'nin sabit noktası
fonksiyonununda sabit noktasıdır
ise bu takdirde
(Conte, 1980 ; Cheney, 2008).
Eğer
fonksiyonu sürekli ve
noktasına yakınsıyor ise
bir
noktası
fonksiyonunun sabit noktasıdır ve bundan dolayı (*) denkleminin çözümüdür.
Dahası,
,
(*) denkleminin yaklaşık çözümü olarak düşünülebilir. Eğer
fonksiyonu tersinir ve
'nin sabit noktası
ise bu takdirde
fonksiyonununda
sabit noktasıdır (Conte, 1980 ; Cheney, 2008).
2.17. Sabit Nokta Teoremi
ve
aralığında
ise
fonksiyonunun en az bir sabit noktası vardır. Bunlara ek olarak
türevi mevcut ve her
pozitif sabiti var ise
için
aralığında
aralığında
eşitsizliğini sağlayacak bir
'nin tek türlü belirli bir sabit noktası
vardır (Conte, 1980 ; Cheney, 2008).
2.18. Newton-Raphson Metodu
Öncelikle Newton-Raphson metodunun newton metodu veya teğetler metodu
gibi farklı isimlerle bilindiğini belirtelim. Yukarıdaki (*) denkleminin sadece reel
köküne sahip olduğunu varsayalım. Bu durumda,
Ayrıca
fonksiyonunun
kökünün belli bir
olsun.
komşuluğunda ikinci
mertebeye kadar sürekli türevlere sahip olduğunu kabul edelim. (*) denklemi için uygun
newton-raphson iterasyonu aşağıdaki gibi kurulur (Ypma, 1995 ; Cheney, 2008).
çözümüne sahip olsun. Burada,
(**) sistemi herhangi
dir.
vektör fonksiyonu ve onun
7
8
türevi
bölgesinde sürekli olsun.
matrisinin
matrisine
noktasında determinantı sıfırdan farklı olsun. Bu durumda,
noktasının belli bir komşuluğunda
altında, (**) sisteminin
in jacobianı denir. Ayrıca bu
ters matrisi mevcuttur. Bu şartlar
çözümü aynı zamanda
vektör denkleminin çözümü olacaktır (Cheney, 2008).
Newton-Raphson yönteminde yakınsama koşullarının çok iyi olmasının yanı sıra
bazı dezavantajlara da sahiptir. Bu yöntemde her iterasyonda bir doğrusal denklem
çözmek gerekir. Ayrıca hessian matrisinin tersi her zaman hesaplanamayabilir. Zayıf
koşulluluk problemi ortaya çıkabilir. Türevlerin bulunması bazen çok işlem
gerektirebilir. Başlangıç değeri iyi seçilmezse iyi sonuç alınamayabilir. Ancak bütün bu
dezavantajlarına rağmen Newton-Raphson yöntemi en çok kullanılan yöntemdir
(Cheney, 2008).
8
9
3. DIRICHLET DAĞILIMININ KARAKTERİSTİK ÖZELLİKLERİ
3.1. Olasılık Yoğunluk Fonksiyonu
Dirichlet dağılımının olasılık yoğunluk fonksiyonu cebirsel olarak aşağıdaki gibi
tanımlanmıştır.
Burada
tanımlanmıştır.
dir. Ayrıca
ve
ise gama fonksiyonudur ve
şeklinde
eşitliği ile
gösterilir.
3.2. Birikimli Dağılım Fonksiyonu
Dirichlet dağılımının birikimli dağılım fonksiyonu şu şekilde hesaplanabilir.
9
10
3.3. Beklenen Değer
Dirichlet dağılımının beklenen değeri aşağıdaki şekilde hesaplanır.
Burada
dönüşümü yapalım.
dır.
,
10
11
3.4. Varyans
Bir olasılık dağılımının varyansı
hesaplanır.
Burada
dönüşümü yapalım.
11
eşitliği ile
12
3.5. Mod
Bir olasılık dağılımının modu, dağılımın birinci türevinin sıfıra eşitlenmesiyle
elde edilir.
biçimindeki bir fonksiyonun türevi şu eşitlikle kolayca
hesaplanabilir.
Eşitlik (1.12) yi kullanarak Dirichlet dağılımının türevini alalım ve sıfıra
eşitleyelim;
12
13
Benzer işlemlerle;
Bu işlemler sonucunda Dirichlet dağılımının modunu aşağıdaki şekilde
yazabiliriz:
3.6. Medyan
Bir olasılık dağılımının medyanı birikimli dağılım fonksiyonunun 0.5 değerine
eşitlenmesiyle hesaplanır.
13
14
Buradan, Dirichlet dağılımının medyanını şu şekilde yazabiliriz:
14
15
4. DIRICHLET DAĞILIMININ EN ÇOK OLABİLİRLİK YÖNTEMİ İLE
PARAMETRE TAHMİNİ
4.1. En Çok Olabilirlik Yönteminin Tarihçesi
Simpson ve Weiner (1989) in belirttiğine göre olabilirlik kelimesinin kökeni 14.
yüzyılın sonlarında ortaya çıkmıştır. 20. yüzyılın başlarında ise Ronald Fisher parametre
tahmini için bir "mutlak kriter" sunmuş ve 9 yıl sonra bu kritere "olabilirlik" adını
vermiştir ( Aldrich, 1997).
Olabilirlik özellikle bayesci yaklaşım gibi diğer istatistiksel paradigmaların
altında yatan temel konsepttir ( Millar, 2011).
En çok olabilirlik tekniğinin ise ilk kez Edgeworth tarafından 1908 yılında
kullanıldığı bildirilmiştir. Fisher'a göre en çok olabilirlik adının, teorik istatistiğin
matematik temelinde görüldüğü belirtilmiştir ( Aldrich, 1997).
En
çok
olabilirlik
istatistiksel
anlamlılığın
değerlendirilmesini,
güven
aralıklarının hesaplanmasını, model değerlendirme ve tahmini içeren çıkarsama için
genel amaçlı bir araç olarak sunulmuştur ( Millar, 2011).
Fisher'ın en çok olabilirlik tekniği ile bulunan tahmin edicinin varyansı için
genel formülü bulmasından sonra ise, bu yöntemin daha da önem kazandığı
belirtilmiştir (Aldrich¸ 1997).
15
16
4.2. En Çok Olabilirlik Yönteminin Mantığı
Parametre tahmininde kullanılan tahmin yöntemi ne olursa olsun, bir örneklem
anakütlenin ne kadar iyi temsil edicisiyse, örneklem tahminleri de anakütle
parametrelerine o kadar yakın olur. Ancak çoğu zaman anakütleyi bilmediğimizden,
eldeki örneklemin ne kadar iyi temsilci olduğuna doğrudan karar veremeyiz. En çok
olabilirlik ilkesi, rassal bir örneklemin temsil edilebilirlik sorununu ele alır. En çok
olabilirlik ilkesi, temel istatistikteki çıkarsama kavramını tersine çevirir (Gould and ark.,
2010).
İstatistikteki klasik çıkarsamada tek bir anakütleden çok sayıda rassal
örneklemin türetileceği varsayılır. Gözlemlenen örneklemin rassal olduğu varsayılıp ve
bundan, tek anakütle hakkında, yani onun sabit katsayıları hakkında çıkarsamalar
yapılır. Bir örnekleme dağılımında örneklemlerin değişken olduğu varsayılırken
anakütlenin parametrelerinin sabit olduğu varsayılır (Aldrich, 1997 ; Gould and ark.,
2010).
En çok olabilirlik ilkesi uygulanırken örneklemin sabit olduğu varsayılır. Ancak,
bu örneklem her biri farklı parametrelere sahip çeşitli anakütlelerden türetilmiş olabilir.
En çok olabilirlik yaklaşımında örneklem sabittir, parametrelerin ise değişken olduğu
varsayılır. Çünkü parametreler farklı anakütlelere aittir. Olanak içindeki tüm parametre
kümelerinden, anakütlesi gerçekte gözlenen örneklemi türetme olasılığı en çok olan
küme seçilir. Başka bir deyişle, en çok olabilirlik yöntemi belli bir örneklem değerinin
gerçekleşme olabilirliğini en yüksek yapan anakütle parametrelerini bulmaya çalışır. En
çok olabilirlik tahmin tekniğine ilişkin bazı sonuçlar şöyledir (Millar, 2011 ; Gould and
ark., 2010).

En çok olabilirlik tahmin edicisi yansız ve küçük varyanslı olabilir,

En çok olabilirlik tahmin edicisinin yansız olması gerekmez,

En çok olabilirlik tahmin edicisi her zaman diferansiyel işlemi ile elde
edilemeyebilir,

Bir parametre için birden çok olabilirlik tahmin edicisi bulunabilir.
En çok olabilirlik tekniği, olanak içindeki tüm parametre tahminleri arasında,
gözlemlenen değerleri elde etmenin olasılığını olabildiğince yükseğe çıkaranları seçen
16
17
bir tekniktir. En çok olabilirlik tekniğinin kısıtlayıcı bir özelliği ise, rassal değişkenlerin
dağılımının şeklinin bilinmesi gerektiğidir (Gould and ark., 2010).
En çok olabilirlik tekniği ile tahminde hareket noktası olabilirlik fonksiyonudur.
Ω parametre uzayında değerler alan
parametresine bağlı,
olasılık yoğunluk fonksiyonuna sahip bağımsız rassal değişkenler olsun. Bu rassal
değişkenlerin bileşik olasılık yoğunluk fonksiyonu, değişkenler birbirinden bağımsız
olduğunda marjinal dağılımların çarpımı şeklinde yazılır.
rassal
değişkenlerinin bileşik olasılık yoğunluk fonksiyonu
ile
verilsin. Bu bileşik olasılık yoğunluk fonksiyonu θ'nın bir fonksiyonu olduğuna göre,
biçiminde
gösterilebilir.
Bu
fonksiyonuna
"olabilirlik
fonksiyonu" denir. Olabilirlik fonksiyonunu şu şekilde yazabiliriz (Gould and ark.,
2010):
olabilirlik fonksiyonu bir olasılık yoğunluk
Genelde,
fonksiyonu değildir. Çünkü,
'nın bir fonksiyonu olan
için
değeri 1'e eşit olmayabilir.
Olabilirlik fonksiyonu ortak olasılık fonksiyonuna verilen başka bir isimdir. Tek
fark şu ki, ortak olasılık fonksiyonunda
'nın bilindiği
lerin bilinmediği; olabilirlik
lerin bilindiği, bir başka deyişle belli bir gerçekleşmenin
fonksiyonunda ise
gözlemlenmiş olduğu, 'nın ise bilinmediği örtük olarak varsayılır (Aldrich, 1997).
4.2.1. Olabilirlik ilkesi
Bir deneyden ( gözlemden )
hakkında elde edilebilecek tüm bilgiyi, verilen
gözlem vektörü için θ'nın olabilirlik fonksiyonu içerir.
olmak üzere her
için;
olduğunda
hakkında
gözlemlerinden çıkarılacak sonuçlar aynı olmalıdır.
durumunda olabilirlik ilkesi, aynı olabilirlik değerlerine sahip gözlemlerin
hakkında aynı bilgiyi içerdiklerini söylemektedir.
17
18
Eğer
ise
kestiricisine en çok olabilirlik tahmin edicisi denir (Aldrich, 1997 ; Gould and ark.,
2010).
4.2.2. En çok olabilirlik yönteminin özellikleri
a) Değişmezlik:
'nın en çok olabilirlik tahmin edicisi olsun.
'nın
gibi bir fonksiyonu tanımlanmış olsun. Değişmezlik özelliğine göre γ'nın en
çok olabilirlik tahmin edicisi
olur (Gould and ark., 2010 ; Aldrich,
1997).
b) Tutarlılık: En çok olabilirlik tahmin edicisi
tutarlıdır (Millar, 2011 ;
Gould and ark., 2010).
c)
Asimptotik
Normallik:
'nın
en
çok
olabilirlik
tahmin
edicisi
asimptotik normaldir (Gould and ark., 2010).
En çok olabilirlik tahmin edicisi doğru parametre değeri
olarak normal dağılır. Yukarıdaki varyans ifadesindeki
çevresinde yaklaşık
terimi "Fisher
information" olarak bilinir. Bu değer ne kadar büyükse varyans o kadar küçük olur
(Efron, 1982).
4.2.3. En çok olabilirlik yönteminin uygulama aşamaları
n boyutlu bir örneklem ise,
1.aşama:
dir. Burada
'yı bulmak için gözlemlenen
örneklem değerinin benzerlik fonksiyonu oluşturulur (Gould and ark., 2010).
18
19
2.aşama:
fonksiyonu artan bir fonksiyon olduğundan,
olabilirlik fonksiyonunu
'ya göre en büyük yapmak yerine
fonksiyonu en büyük yapılabileceğinden benzerlik fonksiyonunun
logaritması alınır (Gould and ark., 2010).
3.aşama: Maksimum noktaları (yada parametre tahmin değerlerini) bulmak için,
ilgili parametrelere göre türev alınıp sıfıra eşitlenir ve
değeri bulunur (Gould and ark.,
2010).
4.aşama: Benzerlik fonksiyonu k tane parametreye sahip olduğunda; k tane
tahmin edici, k denklemli bir sistemin çözüm sonucu bulunur (Gould and ark., 2010).
olmak üzere;
...
olsun.
Benzerlik fonksiyonunu maksimum yapan
aşağıdaki kısmi türev denklemleri setinin çözümüyle bulunur.
19
tahmin ediciler seti,
20
...
Burada,
logaritmik olabilirlik fonksiyonunun parametreye göre birinci
türevinin sıfıra eşitlenmesi ile elde edilen denkleme olabilirlik denklemi denir (Gould
and ark., 2010).
Bazı durumlarda,
çözümünü
ler cinsinden ifade
etmek, yani analitik çözüm elde etmek mümkün olmamaktadır. Analitik çözüm elde
edilemediğinde en çok olabilirlik tahmin edicisi biçimsel olarak bilinmemekte, yani
örneklemin bir fonksiyonu olarak açık bir biçimde yazılamamaktadır. Böyle bir
durumda, optimizasyon problemi belli bir sayısal algoritma ile çözülüp parametrenin
tahmini elde edilmektedir (Giordan, 2014).
4.3. Dirichlet Dağılımının En Çok Olabilirlik Tahmin Edicisi ile Parametre
Tahmini
çok terimli gözlemlerin verisi verilsin.
parametreleri,
küme setinden elde edilebilir.
Dirichlet dağılımının olasılık yoğunluk fonksiyonunun
şeklinde olduğunu biliyoruz. Şimdi, bu dağılım için olabilirlik fonksiyonunu yazalım.
20
21
Burada
fonksiyonu digama fonksiyonudur. Digama fonksiyonu, gama
fonksiyonunun logaritmik türevi olarak tanımlanır (Jeffrey and Dai, 2008).
Analitik çözüm elde edilemediğinden sayısal olarak çözüme yardımcı bazı
maksimizasyon yöntemleri kullanılmalıdır. Bunun için,
iterasyonu kullanılabilir.
21
)
için sabit nokta
22
Bu durumda,
' nin tersini almak gerekir. Bu karmaşık işlem yerine
kullanılabilecek diğer bir metot Newton-Raphson metodudur (Minka, 2000).
Newton-Raphson algoritması yinelemeli olarak kök bulma algoritmasıdır.
Olabilirlik fonksiyonunun birinci türevinin sıfıra eşit olduğu yerin sayısal olarak
hesaplanmasında Newton-Raphson algoritması kullanılabilir. Parametre tahmini için
yakınsak bir metot sağlar. Bir Newton adımı aşağıdaki eşitlikle verilir (Cheney, 2008).
hessian matrisidir. Hessian matrisi log-olabilirlik fonksiyonunun ikinci
türevlerinden oluşur.
ise olabilirlik fonksiyonunun gradiyentidir (Giordan, 2014).
trigama fonksiyonudur. Ve aşağıdaki gibi hessian matris formunda
yazılabilir.
22
23
matrisi diagonal matris olmak üzere
şeklinde gösterilir.
Hessian matrisini ters çevirmek için, sıfır olmayan
skaleri ve
matrisini
inceleriz.
matrisi diagonal matris olduğu için tersi kolayca hesaplanabilir ve NewtonRaphson metodu için kural her koordinat açısından yeniden yazılabilir.
23
24
4.4. Ortalama ve Kesinlik İçin Parametre Tahmini
Dirichlet dağılımının
parametresi aşağıdaki alternatif temsiller düşünülerek de
anlaşılabilir.
24
25
için yakınsak sabit nokta iterasyonu aşağıdaki gibidir:
Bu iterasyon sadece birinci dereceden yakınsaktır, çünkü sınır sadece
olabilirliğin birinci türeviyle eşleşir. Genelleştirilmiş Newton iterasyonu kullanarak
ikinci dereceden metot türetebiliriz. Bu fikir, ilk iki türevi eşleştirerek basit bir
fonksiyon tarafından olabilirliğe yaklaşır (Minka, 2000).
25
26
Bu yaklaşımı maximize etmek için yeni bir güncelleştirme gerekir.
Bu güncelleme, Newton-Raphson metoduna benzer fakat Newton-Raphson
metoduna göre daha hızlı yakınsar.
yi başlatmak için, kapalı form şeklinde yaklaşık en yüksek olabilirlik kestirimi
elde etmek için kullanışlıdır.
26
27
Şimdi ise m ortalamasını tahmin etmek istediğimizi varsayalım. Burada yine,
Burada z vektörünü kullanarak aşağıdaki gibi yeniden parametrize edebiliriz.
O halde, olabilirlik fonksiyonu şu şekilde yazılabilir:
27
28
Bu alternatif, hızlıca yakınsayan bir sabit nokta dönüşümü olacaktır.
28
29
4.5. Çok Terimli Dirichlet Dağılımı
Çok terimli Dirichlet dağılımı bir birleşik dağılımdır. Burada
edilir. Farklı sonuçların örneği olan
Dirichletten elde
olasılık vektörlü çok terimli dağılımdan elde
edilir (Minka, 2000).
Bu dağılım,
kümesinden tahmin edilen
parametreleştirilebilir Bu dağılımın olabilirlik fonksiyonu aşağıdaki gibidir:
29
ile de
30
Log-olabilirlik fonksiyonunun gradiyenti de aşağıdaki gibidir:
Log-olabilirlik fonksiyonunu maximize etmek için Dirichlet durumundaki gibi
basitleştirilmiş Newton iterasyonu vardır.
Hessian matris formu olarak şu şekilde yazılır.
30
31
Daha önceden olduğu gibi Newton adımıyla hesaplanabilir.
31
32
5. MATLAB İLE UYGULAMA
Bu bölümde MATLAB programı kullanılarak Dirichlet dağılımını uygun
farklı gözlem değerlerine göre
veri türetilmiş, karakteristik özellikleri hesaplanmış ve sonuçlar incelenmiştir. Daha
sonra üç boyutlu yüzey grafiği çizilmiş ve en çok olabilirlik yöntemi ile NewtonRaphson iterasyonu kullanılarak yine
farklı gözlem değerleri için parametre tahmini yapılıp gerçek parametre değerlerine
göre bu sonuçlar karşılaştırılmıştır. MATLAB program kodları ekte verilmiştir.
Çizelge 5.1. Dirichlet dağılımının farklı "N" gözlem değerleri için karakteristik
özellikleri
Karakterist
ik
Özellikler
Varyans
Standart
Sapma
Aritmetik
Ortalam
a
Mod
Medyan
Simetri
Ölçüsü
Basıklı
k
Ölçüsü
N=50 için
0.0001284
0.0113
0.0200
0.0004066
0.0194
0.3305
2.3807
N=100 için
0.00003307
0.0058
0.0100
0.00002058
0.0098
0.1933
2.0839
N=200 için
0.000008270
0.0029
0.0050
0.000005951
0.0049
0.1038
1.9541
N=400 için
0.000002074
0.0014
0.0025
0.000000473
0.0025
0.0510
1.8720
N=500 için
0.000001327
0.0012
0.0020
0.000001678
0.0020
0.0405
1.8602
Çizelge 5.1' de görüldüğü gibi
sıfıra yaklaşır.
gözlem değeri arttıkça
simetrilik ölçüsü
olduğunda dağılımın şekli simetrik olduğundan gözlem değeri
arttıkça dağılım daha simetrik hale gelmektedir. Yine
basıklık ölçüsü azalmaktadır.
daha basık olduğundan
gözlem değeri arttıkça
olduğunda dağılımın şekli normal dağılıma göre
gözlem değeri arttıkça dağılım daha basık bir şekil
almaktadır.
32
33
Şekil 5.1. Dirichlet dağılımının
yüzey grafiği
Şekil 5.2. Dirichlet dağılımının
koordinatlarında 3 boyutlu
koordinatlarında yüzey grafiği
33
34
Çizelge 5.2. Farklı "N" gözlem değerleri için Dirichlet dağılımının parametre tahminleri
alpha(1)
alpha(2)
alpha(3)
...
alpha(N-2)
alpha(N-1)
alpha(N)
N=50 için
gerçek
değerler
N=50 için
tahminler
2.0000
2.5000
3.0000
...
25.5000
26.0000
26.5000
2.2466
2.3578
3.1123
...
25.7105
26.0730
26.4158
N=100 için
gerçek
değerler
N=100 için
tahminler
2.0000
2.5000
3.0000
...
50.5000
51.0000
51.5000
2.0814
2.6666
2.9670
...
50.9066
52.0639
52.2055
N=200 için
gerçek
değerler
N=200 için
tahminler
2.0000
2.5000
3.0000
...
100.5000
101.0000
101.5000
2.0101
2.6730
3.0163
...
100.7414
101.5808
102.4116
N=400 için
gerçek
değerler
N=400 için
tahminler
2.0000
2.5000
3.0000
...
200.5000
201.0000
201.5000
2.0379
2.4802
3.1267
...
200.6640
201.6116
202.1894
N=500 için
gerçek
değerler
N=500 için
tahminler
2.0000
2.5000
3.0000
...
250.5000
251.0000
251.5000
2.0588
2.4809
2.9788
...
249.9636
250.5598
251.2482
Dirichlet dağılımının parametre tahmini öncelikle farklı gözlem değerleri için
dağılıma uygun veri türetilmiş, daha sonra en çok olabilirlik tahmin edicisi kullanılmış
ve analitik çözüm elde edilemediğinden nümerik yöntemlere başvurulmuştur. Nümerik
yöntemlerden Newton-Raphson iterasyonu ve sabit nokta iterasyonu incelenmiş ancak
en yakınsak sonucu verdiğinden dolayı Newton-Raphson iterasyonu tercih edilmiştir.
Parametre tahmini için kullanılan program kodları ekte verilmiştir.
Çizelge 5.2. de görüldüğü gibi farklı
gözlem değerleri için parametrelerin
gerçek değerleri ile tahmin değerleri tutarlılık göstermiştir.
34
35
KAYNAKLAR
Açıkgöz, İ., 2007. Sonlu Karma Dağılımlarda Parametre Tahmini (doktora tezi).
Ankara Üniversitesi, Fen Bilimleri Enstitüsü, İstatistik Anabilim Dalı, Ankara.
Akdeniz, F., 2012. Olasılık ve İstatistik. 17. Baskı, Nobel Kitabevi, Adana.
Aldrich, J., 1997. R. A. Fisher and the Making of Maximum Likelihood. University of
Southampton, Department of Economics, Statistical Science, Vol:12, No:3, 162176, United Kingdom.
Cheney, W., Kincaid, D., 2008. Numerical Mathematics and Computing. Sixth
Edition. ISBN-13: 978-0-495-11475-8, USA.
Feng, S.,2010. The Poisson-Dirichlet Distributions and Related Topics, Models and
Asimptotic Behaviours. e-ISBN 978-3-642-11194-5, McMaster University,
Canada.
Gould, W., Pitblado, J., Poi, B., 2010. Maximum Likelihood Estimation with Stata.
Fourth Edition, ISBN-13: 978-1-59718-078-8, A Stata Press Publication, Texas.
Gupta, R. D., Richards, D. St. P., 2001. The History of the Dirichlet and Liouville
Distributions.
http://onlinelibrary.wiley.com/doi/10.1111/j.1751-
5823.2001.tb00468.x/pdf
Hortensius,
L.,
2012.
Dirichlet
Distribution.
February
7.
http://www.tc.umn.edu/~horte005/docs/Dirichletdistribution.pdf
Huang, J., Maximum Likelihood Estimation of Dirichlet Distribution Parameters.
http://web.stanford.edu/~jhuang11/research/Dirichlet/Dirichlet.pdf
Jeffrey, A., Dai, H., 2008. Handbooks of Mathematical Formulas and Integrals.
Fourth Edition. ISBN: 978-0-12-374288-9.
Kotz, S., Balakrishnan, N., Johnson, N. L., 2000. Continuous Multivariate
Distributions II, Volume 1: Models and Applications. Second Edition, 485-512.
Ma, Z., 2012. Bayesian Estimation of the Dirichlet Distribution with Expectation
Propagation. KTH-Ryal Institute of
Engineering, Stockholm, Sweden.
35
Technology, School of Electrical
36
Millar, R. B., 2011. Maximum Likelihood Estimation and Inference with Examples in
R, SAS, ADMB. University of Auckland, Department of Statistics, New
Zealand.
Minka,
T.
P.,
2000.
Estimating
a
Dirichlet
Distribution.
http://research.microsoft.com/en-us/um/people/minka/papers/Dirichlet/minkaDirichlet.pdf
Narayanan, A., 1991. Maximum Likelihood Estimation of the Parameters of the
Dirichlet Distribution. Journal of the Royal Statistical Society, Series C, Applied
Statistics, Vol:40, No:2, 365-374.
Ng, K. W., Tian, G. L., Tang, M. L., 2011. Dirichlet and Related Distributions Theory,
Methods, Applications. First Edition, ISBN: 978-0-470-68819-9, The University
of Hong Kong and Hong Kong Baptist University, Hong Kong.
O'Connor, A. N., 2011. Probability Distributions Used in Reliability Engineering.
University of Maryland, College Park, Maryland, 181-184.
Wicker, N., Muller, J., Kalathur, R. K. R., Poch, O., 2007. A Maximum Likelihood
Approximation Method for Dirichlet's Parameter Estimation. Computational
Statistics and Data Analysis, 1315-1322.
36
37
EKLER
EK-1: Dirichlet2_fit_newton.m dosyası
function [a,run] = Dirichlet2_fit_newton(x,a)
% DİRİCHLET2_FIT_NEWTON Dirichlet Dağılımının En Çok Olabilirlik
% Tahmin Yöntemi İle Parametre Tahmini
show_progress = (nargout > 1);
% byi=beklenen yeterli istatistik
byi = mean(log(x));
[N,K] = size(x);
addflops2(numel(x)*(flops2_exp + 1));
if nargin < 2
a = Dirichlet2_moment_match(x);
%s = Dirichlet_başlangıç_s(a,byi);
%a = s*a/sum(a);
end
old_e = N*Dirichlet2_logProb_fast(a, byi);
lambda = 0.1;
run.e = [];
for iter = 1:100
old_a = a;
if sum(a) == 0
break
end
g = digamma2(sum(a)) - digamma2(a) + byi;
addflops2(K-1+(K+1)*flops2_digamma + 2*K);
37
38
abort = 0;
% Newton iterasyonu
% Tekil olmayan bir hessian matrisi elde edene kadar döngü
while(1)
hg = hessian_gradient(a, g, lambda);
addflops2(2*K);
if all(hg < a)
run.e(iter) = N*Dirichlet2_logProb_fast(a-hg, byi);
addflops2(2);
if(run.e(iter) > old_e)
old_e = run.e(iter);
a = a - hg;
lambda = lambda/10;
addflops2(K+1);
break
end
end
lambda = lambda*10;
addflops2(3);
if lambda > 1e+6
abort = 1;
break
end
end
if nargout > 1
run.flops2(iter) = flops2;
end
if abort
38
39
% disp('Arama durduruldu')
run.e(iter) = old_e;
break
end
a(find(a < eps)) = eps;
if max(abs(a - old_a)) < 1e-10
% max(abs(g)) < 1e-16
break
end
if show_progress & rem(iter,5) == 0
plot(run.e)
drawnow
end
end
if show_progress
%disp(['çıkıştaki gradient = ' num2str(max(abs(g)))])
plot(run.e)
end
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
function hg = hessian_gradient(a, g, lambda)
sum2 = sum(a);
q = -trigamma2(a);
c = trigamma2(sum2);
q = q - lambda;
39
40
q = 1./q;
b = sum(g .* q)/(1/c + sum(q));
hg = (g - b).*q;
K = length(a);
addflops2(K-1 + (K+1)*flops2_digamma + 1 + 7*K);
EK-2: Dirichlet2_logProb_fast.m dosyası
function lfonk = Dirichlet2_logProb_fast(a, byi)
lfonk =gammaln(sum(a))-sum(gammaln(a)+sum((a-1).*byi);
K = length(a);
flops2(flops2 + (K+1)*flops2_digamma + 3*K);
EK-3: Dirichlet2_moment_match.m dosyası
function a = Dirichlet2_moment_match(x)
% x'in her bir satırı, basit olasılık üzerinde çok değişkenli bir
% gözlemdir.
a = mean(x);
m2 = mean(x.*x);
ok = (a > 0);
s = (a(ok) - m2(ok)) ./ (m2(ok) - a(ok).^2);
% x'in her bir boyutu s'nin bağımsız tahminini verir.
40
41
s = median(s);
a = a*s;
EK-4: digamma2.m dosyası
function y = digamma2(x)
%DIGAMMA Digamma fonksiyonu.
% DIGAMMA(X), digamma(x) = d log(gamma(x)) / dx
large = 9.5;
d1 = -0.5772156649015328606065121; % digamma(1)
d2 = pi^2/6;
small = 1e-6;
s3 = 1/12;
s4 = 1/120;
s5 = 1/252;
s6 = 1/240;
s7 = 1/132;
s8 = 691/32760;
s9 = 1/12;
s10 = 3617/8160;
% başlangıç
y = zeros(size(x));
% geçersiz değişkenler
i = find(x == -Inf | isnan(x));
if ~isempty(i)
x(i) = NaN;
41
42
y(i) = NaN;
end
% Negatif değerler
i = find(x < 0);
if ~isempty(i)
% yansıma formülünü kullan (Jeffrey 11.1.6):
% digamma(-x) = digamma(x+1) + pi*cot(pi*x)
y(i) = digamma2(-x(i)+1) + pi*cot(-pi*x(i));
% Bu özdeşlik(benzerlik) ile ilişkili.
% digamma(-x) = digamma(x+1) - digamma(z) + digamma(1-z)
% burada z, x'in kesirli kısmıdır.
% Örneğin:
% digamma(-3.1) = 1/3.1 + 1/2.1 + 1/1.1 + 1/0.1 + digamma(1-0.1)
%
= digamma(4.1) - digamma(0.1) + digamma(1-0.1)
% Daha sonra aşağıdaki eşitliği kullanılır..
% digamma(1-z) - digamma(z) = pi*cot(pi*z)
end
i = find(x == 0);
if ~isempty(i)
y(i) = -Inf;
end
% eğer değişken<= small ise bu yaklaşımı kullan.
i = find(x > 0 & x <= small);
42
43
if ~isempty(i)
y(i) = y(i) + d1 - 1 ./ x(i) + d2*x(i);
end
% (X + N) >= large olduğunda digamma(X + N) e çevir.
while(1)
i = find(x > small & x < large);
if isempty(i)
break
end
y(i) = y(i) - 1 ./ x(i);
x(i) = x(i) + 1;
end
% eğer değişken >= large ise Moivre's genişlemesini kullan.
% asympt(Psi(x), x);
i = find(x >= large);
if ~isempty(i)
r = 1 ./ x(i);
y(i) = y(i) + log(x(i)) - 0.5 * r;
r = r .* r;
y(i) = y(i) - r .* ( s3 - r .* ( s4 - r .* (s5 - r .* (s6 - r .* s7))));
end
43
44
EK-5: trigamma2.m dosyası
function y = trigamma2(x)
%TRIGAMMA Trigama fonksiyonu
% TRIGAMMA(X), trigamma(x) = d**2 log(gamma(x)) / dx**2 şeklindedir.
% x bir matris ise, trigama fonksiyonu her bir elemanı değerlendirir.
small = 1e-4;
large = 8;
c = pi^2/6;
c1 = -2.404113806319188570799476;
b2 = 1/6;
b4 = -1/30;
b6 = 1/42;
b8 = -1/30;
b10 = 5/66;
% başlangıç
y = zeros(size(x));
% geçersiz değerler
i = find(isnan(x) | (x == -inf));
if ~isempty(i)
y(i) = nan;
end
44
45
% sıfır veya negatif tamsayı
i = find((x <= 0) & (floor(x)==x));
if ~isempty(i)
y(i) = Inf;
end
% Negatif olmayan tamsayı
i = find((x < 0) & (floor(x) ~= x));
if ~isempty(i)
% digama fonksiyonunun türevinin yansıma formülünü kullan
% -trigamma(-x) = trigamma(x+1) - (pi*csc(pi*x))^2
y(i) = -trigamma2(-x(i)+1) + (pi*csc(-pi*x(i))).^2;
end
% yaklaşık small değeri
i = find(x > 0 & x <= small);
if ~isempty(i)
y(i) = 1./(x(i).*x(i)) + c + c1*x(i);
end
% ( X + N ) >= large olduğunda trigamma(x+n) değerini azalt
while(1)
i = find(x > small & x < large);
if isempty(i)
break
45
46
end
y(i) = y(i) + 1./(x(i).*x(i));
x(i) = x(i) + 1;
end
% X >= large olduğunda asimptotik formülü uygula
i = find(x >= large);
if ~isempty(i)
z = 1./(x(i).*x(i));
y(i) = y(i) + 0.5*z + (1.0 + z.*(b2 + z.*(b4 + z.*(b6 + z.*(b8 + z.*b10))))) ./ x(i);
end
EK-6: flops2.m dosyası
function f = flops2(fl)
% FLOPS
flopcount değişkenini ayarlar.
global flopcount;
if nargin == 1
flopcount = fl;
if nargout == 1
f = fl;
end
else
f = flopcount;
end
46
47
EK-7: addflops2.m dosyası
function f = addflops2(fl)
% ADDFLOPS, flopcount değişkenini artırır.
% ADDFLOPS(fl), FLOPS(FLOPS+FL) ile eşdeğerdir fakat daha % etkilidir.
global flopcount;
if ~isempty(flopcount)
flopcount = flopcount + fl;
end
EK-8: flops2_digama.m dosyası
function fl = flops2_digamma
% FLOPS_DIGAMMA digama fonksiyonu için flops komutudur.
% digama fonksiyonunun uygulanmasından;
fl = 12*(4+flops2_div)+flops2_log+flops2_div+13;
EK-9: flops2_log.m dosyası
function f = flops2_log
% FLOPS_LOG logaritma için flops komutu
47
48
% FLOPS_LOG, skalerlerin logaritmasını hesaplamak için
% gerekli flops sayısını verir.
% eğer bu değişirse, flops_pow da değişmelidir.
f = 20;
%f = 20; % yansız
EK-10: flops2_exp.m dosyası
function f = flops2_exp
% FLOPS_EXP exponantiel için flops komutu
% FLOPS_EXP skalerlerin exponantielini hesaplamak için
% gerekli flops sayısını verir
% eğer bu değişirse,flops_pow da değişmelidir.
f = 40;
%f = 20; % yansız
EK-11: flops2_div.m dosyası
function f = flops2_div
% FLOPS_DIV bölme için flops komutu
% FLOPS_DIV iki skaleri bölmek için gereken flop sayısını verir.
f = 8;
48
49
EK-12: drchrnd.m dosyası
function r = drchrnd(a,n)
% Dirichlet dağılımına uygun veri türetir.
x = length(a);
r = gamrnd(repmat(a,n,1),1,n,x);
r = r ./ repmat(sum(r,2),1,x);
end
EK-13: Dirichlet.m dosyası
clear all
clc
N=100;
for k=1:N
a(k)=2+(0.5)*(k-1);
end
x=drchrnd(a,N);
Dirichlet2_fit_newton(x,a)
format short; varyans=var(x(:));
ssapma=sqrt(var(x(:)));
ortalama=mean(x(:));
mod=mode(x(:));
medyan=median(x(:));
simetri=skewness(x(:));
basiklik=kurtosis(x(:));
EK-14: grafik.m dosyası
N=3;
% Dirichlet dağılımının 3 boyutlu grafiğini çizer.
alpha=2:0.5:N;
49
50
x1 = linspace(0,1);
x2 = linspace(0,1);
[X1,X2] = ndgrid(x1,x2);
X3 = 1 - X1 - X2;
bad =(X1+X2 > 1); X1(bad)=NaN; X2(bad)=NaN; X3(bad)=NaN;
beta=(gamma(sum(alpha))./prod(gamma(alpha)));
F=(X1.^(alpha(1)-1) .* X2.^(alpha(2)-1) .* X3.^(alpha(3)-1))/beta;
figure, surf(X1,X2,F,'EdgeColor','none');
xlabel('x1'); ylabel('x2'); zlabel('f(x1,x2,1-x1-x2)');
view(-160,40);
title(sprintf('alpha=%5.3f', alpha))
figure, surf(X1,X2,X3,F,'EdgeColor','none');
xlabel('x1'); ylabel('x2'); zlabel('x3');
view(-160,40);
title(sprintf('alpha=%5.3f', alpha))
50
51
ÖZ GEÇMİŞ
Mayıs 1990'da Van'da doğmuştur. İlk ve orta öğrenimini Van'da tamamlamıştır.
2008-2012 yılları arasında Yüzüncü Yıl Üniversitesi Fen Fakültesi Matematik
Bölümünde okumuştur. 2012 yılında buradan mezun olmuştur. 2014 yılı ocak ayından
itibaren Yüzüncü Yıl Üniversitesi Fen Fakültesi İstatistik Bölümünde araştırma
görevlisi olarak görev yapmaktadır.
51