Çok Katmanlı Algılayıcılar Dr. Hidayet Takçı [email protected] | http://htakci.sucati.org Perceptron Sınıflandırması Perceptronlar sadece doğrusal sınıflandırma yapabilir. 2 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı ÇKA ile Sınıflandırma Konveks Alanların Birleşimi 3 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Çok Katmanlı Algılayıcılar Gerçek hayatta birçok problem doğrusal olmayan yapıdadır. Çok katmanlı algılayıcılar doğrusal olmayan problemlerin çözümünde en sık kullanılanYSA modelidir. ÇKA için en popüler ağ yapısı Back Propagation (geriye yayılım) ağıdır. • Back Propagation ağı, ilk kez 1974 yılında Werbos tarafından önerilmiştir, şu anda kullanılan versiyon 1986 yılında Rumelhart, Hinton, ve Williams tarafından geliştirilmiştir. 4 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim Mimari : En az üç katmandan meydana gelen, ileri beslemeli, geri yayılımlı ağ Düğüm fonksiyonu (türevi alınabilecek) herhangi bir fonksiyon olabilir fakat en sık tercih edileni: sigmoid function Öğrenim : Genelleştirilmiş delta kuralı Ağırlık güncelleme kuralı : gradient descent (eğim düşümü) 5 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı 6 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim Ağırlıklar : w(1,0)giriş katmanından gizli katmana ağırlık w( 2,1)gizli katmandan çıkış katmanına ağırlık w2(1,1,0)giriş katmanındaki düğüm 1 den gizli katmandaki düğüm 2 ye ağırlık Eğitim örnekleri: {( x p , d p ) p = 1,..., P} şeklinde verilir ve bu örnekler ile denetimli öğrenim yapılır. Giriş örüntüsü: x p = ( x p ,1 ,..., x p ,n ) Çıkış örüntüsü: o p = (o p ,1 ,..., o p ,k ) d p = (d p ,1 ,..., d p ,k ) Hata: l p , j = o p , j − d px,pj uygulandığı zaman çıktı j için hataların kareleri toplamı Beklenen çıktı: P K = ∑∑ (l p , j ) 2 p =1 j =1 7 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim Yeniden Sigmoid fonksiyonu: Fonksiyonun türevi: 1 1 + e−x 1 −x S ' ( x) = − e ⋅ ( 1 + )' −x 2 (1 + e ) 1 −x =− ⋅ ( − e ) −x 2 (1 + e ) 1 e− x = ⋅ −x 1 + e 1 + e−x S ( x) = = S ( x)(1 − S ( x)) zincir kuralı 8 dz dz dy dx if z = f ( y ), y = g ( x), x = h(t ) then = ⋅ ⋅ = f ' ( y ) g ' ( x)h' (t ) dy dx dt Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçıdt Geri Yayılımlı Öğrenim Đleriye doğru hesaplama: Bir x giriş vektörü giriş düğümlerine uygulanır Gizli katmandaki x(1) çıkış vektörü hesaplanır x (j1) = S (net (j1) ) = S (∑ w(j1,i,0) xi ) i Çıktı katmanında çıkış vektörü o hesaplanır ok = S (netk( 2) ) = S (∑ wk( 2, ,j1) x (j1) ) j net, x giriş vektöründen o çıkış vektörüne bir eşleştirmeyi ifade eder Öğrenmenin amacı: Hataların kareleri toplamını azaltmak, P K ∑ ∑ (l p, j ) 2 p =1kadar j =1 verilen eğitim örnekleri için mümkün olabildiği iyi sonuçları elde etmek (eğer olabiliyorsa sıfır hata) 9 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim BP öğrenimin çalışması: Delta kuralı yardımıyla; katman 1’den katman 2’ye ağırlıklar (w(2,1)) güncellenir. Fakat delta kuralı w(1,0) ağırlıklarını güncelleme için uygun değildir, çünkü gizli düğümler için belirlenen değerler bilinmemektedir. Çözüm: Çıkış düğümündeki hataların gizli düğümlere yayılımı sayesinde, gizli düğümlerde hesap edilen ağırlıkların w(1, 0) güncellenmesi sağlanır ve bu hataların geriye yayılımı olarak isimlendirilir. Gizli düğümlerdeki hataların nasıl hesap edildiği anahtar konulardan biridir. 10 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim Genelleştirilmiş delta kuralı: (xp, dp) örneği için sıralı bir öğrenim modu varsayalım E = ∑k (l p ,k ) 2 Ağırlıklar eğim düşümü (gradient descent) ile güncellenir w(2, 1) ağırlığı için : ∆wk( 2, ,j1) ∝ (−∂E / ∂wk( 2, ,j1) ) w(1, 0) ağırlığı için : ∆w(j1,i,0) ∝ (−∂E / ∂w(j1,i,0) ) w(2, 1) için güncelleme kuralının türetimi : E, lk = dk – ok ‘nin bir fonksiyonu, dk – ok , , 11 ( 2,1) ( 2) ‘nin bir fonksiyonu w olduğu için net k k, j Yukarıdaki zincir kuralını yazabiliriz. Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı 2 ) fonksiyonu ve ‘nin net k(bir Geri Yayılımlı Öğrenim (1, 0 ) w j ,i için ok güncelleme kuralının türetimi wk( 2, ,j1) düğüm j gizli düğüm olsun: (1) w(j1,i,0) ağırlığı net jdeğerini etkiler ) bütün çıkış düğümlerine S (net (j1değeri gönderilir ) ∴ E deki bütün K terimleri j w(j1,i,0) ,0) bir fonksiyonudur w(j1‘nin ,i i E = ∑ k ( d k − ok ) 2 , ok = S ( net k( 2 ) ), net k( 2 ) = ∑ j x (j1) wk( 2, ,j1) , x (j1) = S ( net (j1) ), net (j1) = ∑i xi w (j1,i, 0 ) zincir kuralı ile 12 ∂E ∂ok ∂S (netk( 2) ) ∂netk( 2) Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı ∂netk( 2) ∂x (j1) ∂x (j1) ∂net (j1) ∂net (j1) ∂w(j1,i) Geri Yayılımlı Öğrenim Güncelleme kuralları: harici katman ağırlıkları w(2, 1) için : where δ k = (d k − ok ) S ' (netk( 2) ) dahili katman ağırlıkları w(1, 0) için : burada µ j = (∑k δ k wk( 2, ,j1) ) S ' ( net (j1) ) 13 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Çıkış katmanından hataların ağırlıklı toplamı Detaylar x=giri x=girişş de değ ğerleri, y=çıkış y=çıkış de değğerleri olmak üzere eğ eğitim verisi; (x1,t1),(x2,t2),……,(xp (x1,t1),(x2,t2),……,( xp,,tp tp)) Net giriş giriş de değ ğerleri aş aşağıdaki gibidir. kth çıkı çıkışş tabakasındaki herhangi bir nörondaki hata, e= e=ttk- değ ğeri)' eri)'dir dir.. Burada tk=olması gereken çıktı, ok (Hata de ok=fiili çıktıdır. 14 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Delta Kuralı tarafından minimize edilmi edilmişş toplam hata hata:: Bu algoritma ile i. ve j. katman işlem elemanları arasındaki ağırlıklardaki wji(t) de değğişikliğ ikliği hesaplanır hesaplanır.. η(Ö (Öğğrenme katsayısı), α(momentum katsayısı) ve δ ise (j ara veya çıkış katındaki herhangi bir j nöronuna ait bir faktördür) çıkış faktördür).. Buradaki ∆wij ağırlık farkıdır farkıdır.. 15 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı j (gizli katman) ve k (çıkış (çıkış katmanı) düğ düğümleri için çıkış çıkış de değğerleri şu şekilde hesaplanır; Çıkı Çıkışş tabakasında bütün düğ düğümler için eğ eğitme esnasında denklemden hesaplanan bir hata değ değeri; 16 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı De Değğerler hesaplandıktan sonraki adım, backpropagation ba başşlama adımıdır. 17 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı 18 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri Yayılımlı Öğrenim(güçlü yönleri) Güçlü sunum yeteneği Herhangi bir L2 fonksiyonu (kare alma, integral ve diğer matematiksel fonksiyonlar) BP ağı ile sunulabilir Böylesi birçok fonksiyon BP öğrenimi ile yakınsayabilir (gradient descent yaklaşımı) Geniş kullanım alanı Yalnızca kullanılabilir eğitim örneklerinin bir kümesine ihtiyaç duyar Çalışma alanının derin şekilde anlaşılması veya kısmi bir ön bilgiye ihtiyaç duymaz (yapısı iyi olmayan problemleri çözebilir – ill posed) Eğitim örneklerinde gürültü ve kayıp değerleri tolere eder Đyi genelleştirme yeteneği vardır Eğitim kümesi dışındaki girişler için sıklıkla doğru sonuçları üretir 19 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı BP Öğrenimin Kusurları Öğrenim sıklıkla uzun zaman alır Karmaşık fonksiyonlar yüzlerce hatta binlerce çevrim sürer Ağ aslında bir kara kutudur. Giriş ve çıkış vektörleri (x, o) arasında belirlenen bir haritalama sağlayabilir ama neden bir kısım x değerinin bir kısım o ile eşleştirildiği bilgisini sunamaz. Bunun sebebi gizli düğümler ve öğrenilen ağırlıkların açık anlamlara sahip olmamasıdır. Birçok istatistiksel modelin aksine teorik olarak BP öğrenimin bulduğu sonuçların kalitesi ile ilgili bir sonuç verilemez. Eğitilen bir BP ağı için güvenilirlik seviyesi nedir? 20 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Gradient descent yaklaşımı ile ilgili problem Toplam hatanın sadece yerel minimuma indirilmesi garanti edilir, E (hata) sıfır değerine indirilemeyebilir Hata yüzeyinin şekli önemlidir. Yüzey üzerindeki yerel minimum noktalarından herhangi birine düşme ihtimali yüksektir. Olası çareler: Farklı sayıda gizli düğüm ve gizli katman kullanılabilir (onlar farklı hata yüzeylerini oluşturacaktır, bazıları diğerlerinden daha iyi olabilir) Farklı başlangıç değerleri verilebilir (yüzey üzerinde farklı başlama noktaları) 21 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Eğitim seti için hata sıfıra düşürüldüğümde Genelleştirme garanti edilemez. Over-fitting/over-training problemi: eğitilen ağ eğitim örneklerini mükemmel olarak uygunlaştırır fakat test setindeki örneklerde doğru sonuçlar vermeyebilir – Olası çareler: • Daha çok ve daha iyi örnekler • Mümkünse daha küçük ağ kullanımı • Daha büyük hata sınırı kullanımı (erken sonlandırma) • Örneklere katsayılar eklenir – (x1,…, xn) to (x1α1,…, xn αn) • Çapraz doğrulama – Örneklerin bir kısmını (~10%) test verisi olarak kullan (ağırlık güncelleme için kullanma) – Yapay TestSinir verisi üzerinde periyodik hata kontrolleri Ağları ve Uygulamaları Hidayet Takçı 22 – Test verisi üzerindeki hata artmaya başladığında öğrenimi durdur Pratik Hususlar Đyi bir BP ağı öğrenim algoritmalarından daha fazlasına ihtiyaç duyar. Đyi bir performans için birçok parametre dikkatli şekilde seçilmelidir. BP ağlarının kusurları olmasına rağmen bazı pratik yöntemler ile problemler azaltılabilir. Başlangıç ağırlıkları (ve bias değerleri) Rastgele, [-0.05, 0.05], [-0.1, 0.1], [-1, 1] Gizli katman için ağırlıklar normalleştirilir (w(1, 0)) Bütün gizli düğümler için başlangıç ağırlıkları atanır Her bir j gizli düğümü kendi ağırlığı ile normalleştirilir w(j1,i,0) = β ⋅ w(j1,i,0) / w(j1,0) 2 where β = 0.7 n m m = # of hiddent nodes, n = # of input nodes 23 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Ne kadar katman ve her katmanda ne kadar gizli düğüm olmalı? Teorik olarak, L2 fonksiyonları için bir gizli katman (birçok gizli düğüm ile) yeterlidir Gizli katmanların kaç tane olması ile ilgili teorik bir bilgi yoktur Pratik kural: n = # giriş düğümleri; m = # gizli düğümler Unipolar/bipolar veri için: m = 2n Real veri için : m >> 2n Bazı uygulamalarda benzer kalite için daha az sayıda düğüm ile işlem yerine getirilebilir ve az sayıda düğüm daha hızlı eğitilebilir. 24 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Eğitim örnekleri: Öğrenim sonuçlarının kalitesini eğitim örneklerinin kalitesi ve miktarı belirler Örnekler bütün problem uzayını toplu olarak sunabilmelidir Rastgele örnekleme Parçalı örnekleme (problem uzayı hakkında ön bilgi ile) # ihtiyaç duyulan örüntü adedi : Teorik olarak bu konuda ideal bir değer yoktur. Baum and Haussler (1989): P = W/e, W: eğitim için gerekli ağırlıkların toplam adedi (ağ yapısına bağlı) e: kabul edilebilir sınıflandırma hatası Örnek: W = 27, e = 0.05, P = 540. Eğer biz doğru sınıflandırma yapan ağı başarı ile eğitmişsek (1 – 0.05/2)*540 = 526 örnek, ağ diğer girişleri %95 doğrulukla sınıflandıracaktır. 25 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Data representation: unipolar (0,1) ve bipolar (-1,1) Bipolar sunum eğitim örneklerini daha etkin kullanır ∆w(j1,i,0) = η ⋅ µ j ⋅ xi ∆wk( 2, ,j1) = η ⋅ δ k ⋅ x (j1) xi = 0 or x (j1) = 0 eğer ikili sunum olsa idi eğitim olamayacaktı n giriş düğümü ile için örüntülerin adedi : unipolar: 2^ bipolar: eğer bias kullanılmazsa 2^(n-1) Gerçel değerli veri Giriş düğümleri: gerçel değerli düğümler (normalleştirme gerekebilir) Gizli düğümler için çıkış fonksiyonu sigmoid Çıkış düğümleri için sıklıkla doğrusal (hatta identity) Eğitim unipolar/bipolar veriden daha yavaş olabilir (bazen gerçel değerlerin ikili kodlaması kullanılır) ok = ∑ wk( 2, ,j1) x (j1) 26 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Öğrenme Katsayısı (η (η) • Öğrenme katsayısı ağırlıkların değişim miktarını belirler. E E W Eğer öğrenme katsayısı gereğinden büyük olursa problem uzayında rasgele gezinme olur. Bunun da ağırlıkları rasgele değiştirmekten farkı olmaz. 27 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı W Eğer öğrenme katsayısı çok küçük olursa çözüme ulaşmak daha uzun sürer. Öğrenme Katsayısı η Sabit olarak 1 değerinden çok daha küçüktür Büyük η ile başlanır ve dereceli olarak değeri düşürülür Küçük η ile başlanır hata artmaya başlayana kadar büyütülür Öğrenimin her bir aşamasında maksimum güvenli adım bulunur (öğrenim oranı büyürken hatanın minimumda kalmasına çalışılır) Adaptif Öğrenme Katsayısı (delta-bar-delta method) Herbir wk,j ağırlığın kendine ait bir ηk,j öğrenim oranı vardır Eğer aynı yönde kalırsa, ηk,j artırılır (geçerli w değerinin çevresinde E için bir düzgün eğri vardır) Eğer ∆wk , j yönü değişirse, ηk,j azaltılır (geçerli w değerinin çevresinde E için bir düzgün olmayan eğri vardır) ∆wk , j 28 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Momentum Katsayısı (α (α) E Yerel Minimum Plato Momentum katsayısı, yerel çözümlere ve platolara takılmayı önler. Global Minimum Bu değerin çok küçük seçilmesi yerel çözümlerden kurtulmayı zorlaştırır. Değerin çok büyük seçilmesi ise tek bir çözüme ulaşmada sorunlar yaratabilir. W 29 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı ∂E ∆w(t + 1) = −η + α∆w(t ) ∂wij BP ağlarının çeşitleri Momentum terimi eklenerek (öğrenmeyi hızlandırmak için) t+1 anında ağırlıkların güncellenmesi önceki güncellemelerin momentumunu içerir, örn., ∆wk , j (t + 1) = η ⋅ δ k (t ) ⋅ x j + α ⋅ ∆wk , j (t ) Ağırlık güncellemenin ani değişimlerinden kaçınmak mümkündür (öğrenim işleminin düzgünleştirilmesi) Hata monotonik olarak azalır Ağırlık güncellemelerini toplu modu Herbir epoch için birkez ağırlık güncellenir (bütün P tane örnek için toplu güncelleme) Öğrenim örnek sunumların sırasından bağımsızdır Sıralı moddan genellikle daha yavaştır 30 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Durdurma KriterleriHata Hatanın belli bir değerin altına düşmesi sonucu durma ε Đterasyon Hata Belirli sayıda iterasyondan sonra durma t 31 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Đterasyon Ağın Ezberlemesi (Overfitting) Burada Hata durdurulması gerekir Test Seti Hatası Öğrenme Seti Hatası Đterasyon Ağ gereğinden fazla eğitilirse problemi öğrenmek yerine verileri ezberler. Bu da ağın genelleme yapamamasını ve hatalı sonuçlar üretmesine neden olur. 32 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Uygulama Alanları Hemen hemen her alanda örnekleri görülen bir modeldir. Genel Olarak; Sınıflandırma Tahmin etme Tanıma Yorum yapma Teşhis etme alanlarında başarı ile kullanılmaktadır. 33 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri yayılımlı öğrenim Örüntü sınıflandırma: Đki sınıf: 1 çıkış düğümü N sınıf: ikili kodlama (log N) çıkış düğümü 34 N çıkış düğümü kullanılırken bir sınıf daha iyi şu şekilde sunulabilir (0,..., 0,1, 0,.., 0) Sigmoid fonksiyonu kullanıldığında çıkış katmanındaki düğümler asla 1 veya 0 olmayacaktır onun yerine 1 – ε veya ε olacaktır. Doygunluk noktalarında hata azaltma daha yavaş hale gelecektir (ε küçük olduğunda). Hızlı öğrenim için, verilen bir ε sınırı için, eğer |dp,k – op,k| ≤ ε ise hata lp,k = 0 şeklinde set edilir. Bir x girişi eğitilmiş bir BP ağı kullanarak sınıflandırılacağı zaman, eğer bütün l != k için dk. > dl ise giriş kth sınıfa atanır. Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri yayılımlı öğrenim Örüntü sınıflandırma: bir örnek myoelectric sinyallerinin sınıflandırılması Giriş örüntüsü: 3 özellik (NIF, VT, RR), 0 ile 1 arasında gerçek değerlere normalize edilir Çıkış örüntüleri: 2 sınıf: (başarılı, hatalı) Ağ yapısı : 2-5-3 3 giriş düğümü, 2 çıkış düğümü 5 düğümlü 1 gizli katman η = 0.95, α = 0.4 (momentum) Hata sınırı ε = 0.05 332 eğitim örneği Maksimum iterasyon sayısı = 20,000 Durduğu zaman, 38 örüntünün hatalı sınıflandırıldığı anlaşılmıştır. 35 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Geri yayılımlı öğrenim Fonksiyon yakınsama: Verilen w = (w(1, 0), w(2,1)), o = f(x) için: f ‘den bir fonksiyonel haritalama elde edilir. Teorik olarak, doğrusal olmayan düğümlerin en az bir gizli katmanına sahip olan ileribeslemeli ağlar L2 formunda (bütün kare integral fonksiyonları ve hemen hemen genel olarak kullanılan bütün matematik fonksiyonları) herhangi bir fonksiyona yakınsayabilir. Herhangi bir L2 fonksiyonu f (x) bir Fourier serisi tarafından yakınsanır Fourier serileri cosine düğüm fonksiyonunun bir gizli katmanına sahip ileri beslemeli bir ağ ile yakınsanabilir 36 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Applications of BP Nets A simple example: Learning XOR Başlangıç ağırlıkları ve diğer parametreler weights: [-0.5, 0.5] arasında rastgele değerler hidden nodes: 4 düğümlü tek katman (A 2-4-1 net) biases used; learning rate: 0.02 Çeşitleri test edildi Unipolar ve bipolar sunum Farklı durma kriterleri Başlangıç değerleri normalleştirildi (Nguyen-Widrow) ( targets with ± 1.0 and with ± 0.8) Bipolar, unipolar’dan daha hızlı Unipolar için ~3000 epoch, bipolar için ~400 epoch Why? (çünkü unipolar ile kimi zaman eğitim 0 değerlerinde yapılamıyor) 37 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Experimental comparison Training for XOR problem (batch mode) 25 simulations with random initial weights: success if E averaged over 50 consecutive epochs is less than 0.04 results method 38 simulations success BP 25 24 16,859.8 BP with momentum 25 25 2,056.3 BP with deltabar-delta 25 22 447.3 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Mean epochs Data compression Az sayıda gizli düğüm kullanımı ile örüntülerin kendi kendine otomatik eşleştirmesi : training samples:: x:x (x n boyutlu) hidden nodes: m < n (A n-m-n net) V n W m n Eğer eğitim başarılı ise, herhangi bir x vektörü giriş düğümüne uygulanarak çıkış düğümünde aynı x değeri üretilecektir Gizli katmandaki z örüntüsü x’in sıkıştırılmış bir sunumu haline gelecektir (with smaller dimension m < n) Uygulama: iletim maliyetinin düşürülmesi x 39 n V m z z m W Communication Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı sender channel receiver n x Example: karakter resimlerinin sıkıştırılması Herbir karakter 7 x 9 pixel bitmap veya 63 boyutlu bir ikili vektör ile sunulabilir Deneyde 10 characters (A – J) kullanılmıştır Hata oranı: tight(sıkı): 0.1 (off: 0 – 0.1; on: 0.9 – 1.0) loose(serbest): 0.2 (off: 0 – 0.2; on: 0.8 – 1.0) Gizli düğümler, hata aralığı ve yakınsama oranı arasındaki ilişki Hafif hata aralığı hızlanabilir Gizli düğümlerin artırılması ile hız artabilir error range: 0.1 hidden nodes: 10 # epochs 400+ error range: 0.2 hidden nodes: 10 # epochs 200+ error range: 0.1 hidden nodes: 20 # epochs 180+ error range: 0.2 hidden nodes: 20 # epochs 90+ 22 üzerindeki gizli düğümlerde hız artımı farkedilebilir olmayabilir. 40 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Other applications. Tıbbi teşhis Input: belirtiler (semptomlar, lab testleri vs.) Output: olası hastalıklar Problemler: Hiçbir nedensellik ilişkisi kurulamayabilir Girişlerin ne olması gerektiğini belirlemek zordur Aktif çalışmalar sınırlı tıbbi görevler üzerinde odaklanmıştır Örn., standart kan testi tabanlı olarak hepatit B ve prostat kanseri tahmini Proses kontrol Giriş: çevresel parametreler Çıkış: kontrol parametreleri Đyi yapılanmamış fonksiyonlar öğrenilebilir 41 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Stock market tahmini Input: finansal faktörler (CPI (Customer Proximity Index), ilgi oranı, etc.) ve önceki günlerin stok miktarları Output: stok indisleri veya stok ücretlerinin tahmini Training samples: geçen yıllara ait stok market verisi Müşteri kredi değerlendirme Input: kişisel finansal bilgi (gelir, alacak, vergi geçmişi, vs.) Output: kredi puanı Ve daha fazlası Başarılı uygulamalar için anahtar Giriş vektörünün dikkatli tasarımı (önemli büyün özelliklerin seçilmesi): bazı domain bilgileri Đyi eğitim örneklerinin elde edilmesi : zaman ve diğer maliyetler 42 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı Önemli Not Ders notlarının hazırlanmasında; başta Internet olmak üzere çeşitli kaynaklardan faydalanılmış ve bize ait bir son ürün ortaya konmuştur. Faydalandığımız kaynaklar için herkese teşekkürler. Bu kaynağı değiştirmeden kullanacakların ise referans göstererek çalışmamızı kullanmalarında bir sakınca yoktur. Dr. Hidayet Takçı GYTE Bilgisayar Müh. Böl. Öğretim Elemanı 43 Yapay Sinir Ağları ve Uygulamaları - Hidayet Takçı