MEH535 Örüntü Tanıma

MEH535 Örüntü Tanıma
1.A. Olasılık ve Rassal Değişkenler
Doç.Dr. M. Kemal GÜLLÜ
Elektronik ve Haberleşme Mühendisliği Bölümü
web: http://akademikpersonel.kocaeli.edu.tr/kemalg/
E-posta: [email protected]
Olasılık - Temel Kavramlar
• Olasılık (Probability): Bir rassal deney (random
experiment) gerçekleştiğinde (örn; para atma) oluşan
olayın (yazı/tura) ne sıklıkla gerçekleştiğinin ifadesi
• Örnek Uzayı (Sample Space): Bir rassal deneyin olası
çıktı kümesi (yazı ve tura)
2
Olasılık - Temel Kavramlar
• Aksiyomlar:
1
z
3
PC An
.
P [
.
.
Ejer
D=
30
1
Air
Aj=¢
ise
P[AiUAy]=P[Ai]tPfAj
S
Ak
Ai
Aj
3
Olasılık - Temel Kavramlar
• Özellikler:
1.
o dip¥
2.
3.
4.
5.
6.
0¥
-
7.
-
4
Olasılık - Temel Kavramlar
• Koşullu Olasılık (Conditional Prob.): B olayının oluşması
biliniyorken, A olayının olasılığıdır:
PCAIB )
PIB )
PfAb€
>÷E
-
,
• “B koşuluna bağlı A olasılığı” ya da “verilen B için A’nın olma
olasılığı” olarak ifade edilebilir
5
Olasılık - Temel Kavramlar
• Toplam Olasılık Teoremi (Total Prob. Theorem): B1, B2,…, BN S
örnek uzayında birbirini dışlayan (mutually exclusive) olaylar
olsun
'
¥t#•ppMfNp÷t¥Y¥#
PTAIBFPCB
PCA ) =P (
AAB
=
=µ€PlAlBk
)tPCAnBz )
,
,
+
)+P( AHHPIPZ )
) PIBK
)
,
.
+
+PCAnBn
,
,
.
it
)
PHHBNIPCBN )
6
-
Olasılık - Temel Kavramlar
• Bayes Teoremi: B1, B2,…, BN S örnek uzayının birer parçası
olsun
(priodpnsel
• Koşullu olasılık tanımı ve toplam olasılık teoremini kullanarak:
P#tk
§PHHBj)P§
.pk?j3I.#P*t3O
¥51 :o)
T
alabibilik
(
likelihood )
Kan ,t(
evidence
• İstatistiksel örüntü tanımanın temelini oluşturur
• Bayes Kuralı (Bayes Rule) olarak da bilinir
7
)
Olasılık - Temel Kavramlar
• Örnek: Hasta kişinin ilaç kullanma olasılığı
– İlaç kullanma olasılığı: P(ilaç)=0.005
(P(tedavi yok)=0.995)
w
– İlaç alanların hasta olma olasılığı: P(hasta|ilaç)=0.99
(P(hasta|tedavi yok)=0.01)
www
FEEL
( ;t¥¥¥
-
• Amaç: hasta olup da ilaç kullanma sonsal olasılığını bulmak:
v
P(ilaç|hasta)
= P(hasta|ilaç)P(ilaç)/P(hasta) = ?
-
Px=P ( hwtalilaa
hasty
1
Plilnslhasta )
)
Milas
)
:*
'o
=
0.99×0,005
o#=
.
0,331
8
Olasılık - Temel Kavramlar
• Bayesçi Çıkarım:
go.hu#.
t.to
xi
0
>
(
.
fdndrme
a)
II
xibilinmyn
:S
PWY )
PCN
Db )
.
1
-
yijothn
plylx
alma
)
:
;
oval
ansel
:
;
olabilirlik
Kant
pay
)=PbyYjYI
W
ptslolploltplyklpk )
9
Olasılık - Temel Kavramlar
• Bayes Teoremi ve Örüntü Tanıma:
PCwi1xj-Pk1wilPcwij.nt@XygwYy_Plx1wilPlwtplwilDgwJHwj-i.sinfp1wiW1erix.o
'znitdih
vektoni
hesapwkenortakl
fatlabilir )
10
.
Rassal Değişkenler - Temel Kavramlar
• Rassal Değişkenler (Random Variables): Rassal deney ile
çalışırken, deneyin çıktılarının ölçümü ya da sayısal özellikleri
ile ilgilenilir. Örn;
– Bir sınıftaki öğrencilerin boyları ya da kiloları
– Doktor sırası bekleyen hastaların bekleme süreleri
– 1 saat içerisinde bir mağazaya giren kişi sayısı
• Rassal değişken X ile gösterilir ve bir rassal deneyin örnek
uzayıdaki çıktısını (ζ), X(ζ) ile reel sayıya atayan fonksiyondur
I
,F¥x#ws÷.asm
11
Rassal Değişkenler - Temel Kavramlar
• Rassal değişkenler ayrık ve sürekli olarak iki sınıfa
ayrılmaktadır
– Ayrık: X(ζ) sonucu tamsayı:
• Para atma deneyinde art arda yapılan 5 atışta tura gelme sayısı
• 1 saat içerisinde bir mağazaya giren kişi sayısı
– Sürekli: X(ζ) sonucu sürekli aralıkta:
• Bir sınıftaki öğrencilerin boyları ya da kiloları
• Atılan topun çıkabildiği yükseklik
12
Rassal Değişkenler - Temel Kavramlar
• Birikimli Dağılım Fonksiyonu (Cumulative Distribution Func.):
X rassal değişkeninin cdf’i FX (x) ile gösterilir:
's
• Özellikler:
o#
D
€±Es¥¥n#t
*o<Fxuei
*E;zEw
*
king
.
*Fxla){
*
.
oFxH)=O
Fxlb
)#aEb
Fxlbkhlignofxlbthtfxlb
's
-
8%3
.
13
Rassal Değişkenler - Temel Kavramlar
• Olasılık Yoğunluk Fonksiyonu (Probability Density Func.):
X sürekli rassal değişkeninin pdf’i fX (x) ile gösterilir:
d Fx
Tn
f×lk
(
re
)
• Ayrık rassal değişkenler için pdf’in eşdeğeri olasılık kütle
fonksiyonudur (probability mass function) ve pmf:
*
)
=
BEYT
Is
-
14
Rassal Değişkenler - Temel Kavramlar
• Özellikler:
txln
p(
a
>O
)
<
nc
b)
¥f×H
F×H=§f×(
}
fxln
fx
)
dk
-
Fx
(b)
-
Fx ( a)
tr )
us
=
du
1
FXKHAI
HAH
£
FynA)=
P#]#
#•
15
Rassal Değişkenler - Temel Kavramlar
• pdf ve olasılık:
⇐
Bir kişinin ağırlığının 200 lb olma olasılığı 0.62
Bir kişinin ağırlığının 124.8 lb olma olasılığı 0.43
G±oI¥sxw±
HK
• Olasılık tek bir noktada sıfır ya da sıfıra çok yakın olmalıydı
– pdf olasılık yoğunluğunu tanımlar, olasılığı değil!
– pdf’den olasılığı hesaplamak için belli bir aralıkta integral alınmalı.
– Dolayısıyla olasılık için şu soruyu sormalıyız: bir kişinin ağırlığının
124.8 ± 2 lb aralığında olma olasılığı nedir?
-
16
Rassal Değişkenler - Temel Kavramlar
*
• Rassal Değişkenlerin İstatistiksel Karakterizasyonu:
cdf ve pdf’in yanında rassal değişkenler aşağıdaki ölçütler ile
de karakterize edilirler.
Beklendihdgerlenpectalion )
#
.it#%EduMEW=ElX)=mx=I.ufxmdr
EID ) ]
tdegisinti ( Variance )
:
Var[X]=Var(H=EK
.
*Hhuogmm¥g%tY¥xmdk=
6*2
E[xT={uNf×(
xidn
17
Özel Rassal Değişkenler
• Bernoulli Dağılımı:
–
–
–
–
Çıktısının “başarılı” ya da “başarısız” olduğu denemedir.
Örn; para atma deneyi, hastalık bulaşma, sınav geçme olasılığı…
X rassal değişkeni başarılı/başarısız durumları için 0/1 değerini gösterir
p, denemenin başarılı olma olasılığıdır
P {x= ]
p
-
,
Pk=
.
P{x=o]=
pilnpjti
it
,
it
ion
– Eğer X Bernoulli dağılımlı ise beklendik değer ve değişinti:
E[×]
=p
,
:
Var[×J=ph
plil
=
1
18
Özel Rassal Değişkenler
• İki Terimli (Binomial) Dağılım:
– N eşdeğer ve bağımsız Bernoulli denemesi yapıldığı
taktirde başarılı olma sayısı, iki terimli dağılıma sahip X
rassal değişkenidir
– N denemede i adet başarı olma olasılığı:
p
{
x=i]=( F) picrpiti
,
5=0
.
,
.
.
,
N
– Örn; N=10 kez para atma deneyinde 3 yazı gelme olasılığı
– Eğer X iki terimli dağılımlı ise beklendik değer ve değişinti:
g
E[X]=Np
,Var[x]=Nph
-
p
19
)
Özel Rassal Değişkenler
• N=3
O için:
µI*u*
ejtgq
}
deny
iii:
,
'
PKKHH
F2
,
,÷
,
pl#¥
F3
PLFFFKHPP
'
)=pHpP
says
i¥I÷
!#k
F1
't '
S3
:* .
PCFFS
F3
S2
S3
p(sµ¥pttA
.tk#kEnEif
'
F3
pay
MEISFH
.
S1
's
F2
S3
F3
PIKIS )
,
:p
S2
S3
p(sFs)=pYn-p)
P(s#=pYtp
PASS )
=P
]
)
P{x ]
pYtN
P{X }
=p
20
'
Özel Rassal Değişkenler
• p=0.3 alındığında dağılım:
P{X=0} = (1-p)3
P{X=1} = 3p(1-p)2
P{X=2} = 3p2(1-p)
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
P{X=3} = p3
0.441
0.343
0.189
0.027
0
1
2
3
İki terimli dağılım p = 0.3
21
Özel Rassal Değişkenler
• Çok Terimli (Multinomial) Dağılım:
– K adet birbirini dışlayan çıktıya sahip deneyin N eşdeğer ve
bağımsız denemesi yapıldığı taktirde:
– N deneme sonucundaki olası durumların dağılımıdır
– Her denemede başarı K olası çıktıdan biridir
– Farklı çıktılara ait sayıların toplamı
FE ni on
– X1’in N1 kez,…, Xk’nın Nk kez gelme ortak dağılımı:
Pln
,
,
Nz
,
.
.
.
,
Nk )
=n
!
II BIG
,
– Örn; art arda N=10 kez zar atma (6 ayrı çıktı) deneyinde
P(1,2,1,1,1,4) olasılığı
22
Özel Rassal Değişkenler
• Örnek: Bir şehirdeki üç başkan adayından A %20, B %30 ve C
%50 oy almaktadır.
• Seçilen 6 seçmenin A’ya 1, B’ye 2, C’ye 3 oy atma olasılığı
nedir?
.
61.co.il#e5P
Pr ( A
=
B
1
,
=
2
,
C
=3
)
=
1
=
0
,
2
!
!
3 !
- 35
1
23
Özel Rassal Değişkenler
• Poisson Dağılımı:
– X rassal değişkeni, belli bir aralıktaki olay sayısı
– λ: ortalama olay sayısı
X=r olma olasılığı Poisson dağılımı ile gösterilir:
put
)
=
e.
××÷
,
non
,
2,3
,
24
.
.
.
Özel Rassal Değişkenler
• Örnek: Bir otoyolda bir noktadan saatte ortalama 180 araç
geçiş yapmaktadır. (
]
oral
)
– Trafik yoğunlaştığında dakikada 5’den fazla araç geçme
olasılığı?
dahibada
digi
rassol
X: dakikada geçen
# araç sayısı
λ=3: dakikada geçen ortalama araç sayısı
listen
:p(
×
0,04979
p(
× >
>s )
=L
-
P ( X
pincer
0.149361
5)
=L
0,22404
-
0,24041
E
orb
8031
s
)
0.10082
0.916€
0.91608=0,054
25
Özel Rassal Değişkenler
• Düzgün (Uniform) Dağılım:
– X rassal değişkeni [a,b] aralığında düzgün dağılımlıdır fx
tat#bg
n
={
pcx )
(
k
btaiaexeb
o
,
tiger
– Dağılımın ortalama ve değişintisi:
E[xJ=a¥
,Va¢x]=
HIM
26
)
Özel Rassal Değişkenler
• Normal Dağılım (Gaussian Distribution):
– N(µ,σ2) ile gösterilir
– Ortalama (µ) ve değişinti (σ2) parametreleri tanımı için
yeterlidir
÷
u=#÷apf÷k¥s]
G
birizaffmd
p±h=r
mE¥ >
Nermalleetvmeixvnlmi
'
)
N(
n¥~zGn
91
)
s÷T?
)
;
,
yeo
27
Rassal Değişkenler - Temel Kavramlar
• Rassal Vektör: Rassal değişkenin genişletilmiş şeklidir.
• S örnek uzayındaki her ζ çıktısına bir gerçek vektör atayan
fonksiyon X vektör rassal değişkenidir.
• cdf ve pdf kavramları artık ortak cdf ve ortak pdf olarak ifade
edilir.
pt
**=Kxt×µt
f*#=3IF*h*÷*T
Hex
**e*=Pr*({X,<m}n{×z<m}nnn{
, "
Xknn
}
28
)
Rassal Değişkenler - Temel Kavramlar
• Bir rassal vektör ortak cdf ve ortak pdf ile tamamen
karakterize edilebilirken, alternatif olarak aşağıdaki ölçütler ile
de tanımlanabilir:
f *(*)=fx
,xdunH
• Ortalama vektörü:
,
E[*]=[ ECXPEKD
=[mm
,
.
.E[XDJT
.
.
,
• Ortak değişinti (Kovaryans) matrisi:
)=E=E[(*-#)(*mµ5
.mDT=µm€t¥e¥¥¥n
.ie#.kna...d=fltI
=p Kximiphn
:#
Gv(
'
.
'D
Ehrmann
.
.
]
5
;=9i
-
Ekxruilxvnn )]
.
.
29
Rassal Değişkenler - Temel Kavramlar
• Ortak değişinti matrisi her bir öznitelik çiftinin birlikte değişim
eğilimini vermektedir.
• Özellikler:
–
–
–
–
–
–
Eğer xi ve xk benzer artış eğiliminde ise cik>0 dır
xk artarken xi azalış eğiliminde ise cik<0 dır
xi ve xk ilintisiz ise cik=0 dır
σi, xi nin standart sapması ise, |cij|≤ σi σj dir
cii = σi2 = Var(xi)
cik = ρikσi σk , ρik: ilinti katsayısı
Eli
30
Rassal Değişkenler - Temel Kavramlar
• Ortak değişinti matrisi:
]
µ*t
E[**T
Ee
it[ XP
Vakt]
E[x
'
-
na
-
S
-
.
-
µµt
ihntimakisi
[t#x×3
s
-
.
EFX
.
,
xD
=
Ecxvxi ]
.
.
-
Efxnxw
]]
£=E!a&Mx!iI¥E
:D
?:
.
in
*
ti
mntnj
31
Rassal Değişkenler - Temel Kavramlar
• İlintisiz ve Bağımsız (Uncorrelated vs Independent) RD’ler:
– xi ve xk rassal değişkenleri eğer E[xixk]=E[xi]E[xk] ise ilintisizdir
.
– Bağımsızlık için P[xixk]=P[xi]P[xk] şartı aranmalıdır
– Sonuçta iki rassal değişken bağımsız iken aynı zamanda ilintisiz olurken
(bağımsız→ilintisiz); ilintisiz iken bağımlı (ilintisiz→bağımsız/bağımlı)
olabilmektedir
E[xy]=
=
Hxypuyluiydudy
=fsny
€¥±¥
'
la
no
µF4⇐
.to#pycy)dudy=jupnlYHYBHHDdhv(x,x)=EGttENEtDbynnE5x?E
,e¥
,
Ex
'
)
-
Hint
32
Rassal Değişkenler - Temel Kavramlar
• Çok Boyutlu Gauss Dağılımı:
nibyt
– Tek Boyutta – N(µ,σ2):
fine,÷#enpftE¥]
,
fxays.tt#QpftT&i*jj
– Çok boyutta N(µ,Σ):
hKHk#
– Örn; d=2 boyutta:
K] )
#yD±t
'n
.
"
"
a
MT
a
33
Rassal Değişkenler - Temel Kavramlar
T.MG#
• Gauss dağılımı neden popüler?
–
–
–
–
Dağılımı karakterize etmek için (µ,Σ) parametreleri yeterli
xi ve xk ilintisiz ise (cik=0) aynı zamanda bağımsızdır
Marjinal ve koşullu yoğunluklar da Gauss tipindedir
X = [X1, X2, …, XN] ortak Gauss tipinde ve A NxN boyutlu
tersi alınabilir bir matris ise Y = AX de Gauss tipindedir
(doğrusal dönüşüm)
– Merkezi limit teoremi
34
Rassal Değişkenler - Temel Kavramlar
• Merkezi limit teoremi:
– µ ortalama ve σ2 değişintili dağılım kullanılarak elde edilen
örnek dağılımların ortalama ve değişintisi N örnek sayısı
arttıkça µ ve σ2 değerlerine yakınsar
– Dağılımın tipi ne olursa olsun örnek dağılımı N büyüdükçe
Gauss Dağılımına yaklaşır!
– Örn; düzgün dağılım kullanılarak 500 deney yapılsın.
– N=1 için dağılımdan 1 örnek çekilip ortalaması kaydedilsin.
• Histogram düzgün dağılımlı
"
!
HEIM
"
****Xxe
:
35
Rassal Değişkenler - Temel Kavramlar
– N=4 için dağılımdan 4 örnek çekilip ortalaması alınsın ve bu
şekilde 500 deney yapılsın
– N=7 ve N=10 için
36