ANKARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜKSEK
advertisement
ANKARA ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ YÜKSEK LİSANS TEZİ VİDEO GÖRÜNTÜLERİNİN SABİTLENMESİ Gürkan KOCADERE ELEKTRONİK MÜHENDİSLİĞİ ANABİLİMDALI ANKARA 2010 Her Hakkı Saklıdır TEZ ONAYI Gürkan KOCADERE tarafından hazırlanan “VİDEO GÖRÜNTÜLERİNİN SABİTLENMESİ” adlı tez çalışması 26/05/2010 tarihinde aşağıdaki jüri tarafından oy birliği ile Ankara Üniversitesi Fen Bilimleri Enstitüsü Elektronik Mühendisliği Anabilim Dalı’nda YÜKSEK LİSANS TEZİ olarak kabul edilmiştir. Danışman : Doç. Dr. Ziya TELATAR Jüri Üyeleri : Başkan : Yrd. Doç. Dr. Alptekin TEMİZEL Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü Üye : Doç. Dr. Ziya TELATAR Ankara Üniversitesi Elektronik Mühendisliği A.B.D. Üye : Yrd. Doç. Dr. Hakkı Alparslan ILGIN Ankara Üniversitesi Elektronik Mühendisliği A.B.D. Yukarıdaki sonucu onaylarım Prof. Dr. Orhan ATAKOL Enstitü Müdürü ÖZET Yüksek Lisans Tezi VİDEO GÖRÜNTÜLERİNİN SABİTLENMESİ Gürkan KOCADERE Ankara Üniversitesi Fen Bilimleri Enstitüsü Elektronik Mühendisliği Anabilim Dalı Danışman: Doç. Dr. Ziya TELATAR Video görüntüleme aygıtlarının bulunduğu, sabit platform üzerinde belli bir alanı gözleyen, sistemlerde rüzgar, ani darbe vb dış etkenlerin sebep olduğu istenmeyen hareketlerin veya iki eksenli çevre gözetleme sistemlerine sahip platformların rastgele hareketlerinden dolayı video görüntüsüne yansıyan istenmeyen hareketlerin giderilmesi maksadıyla çevresel şartlardan bağımsız (ışık değişimi vb), ve aynı zamanda bilinçli hareketlere karşı hassas, güvenilir bir video görüntü sabitleme algoritması yaratmak amaçlanmıştır. Bu koşullardan yola çıkarak, Ölçekten Bağımsız Öznitelik Dönüşümü (Scale Invariant Feature Transform) tekniği kullanılmış, her görüntü dilimi için bağımsız öznitelikler elde edilmiştir. Daha sonra bu özniteliklerin geçmişe bağımlı olanları haricindekiler elenmiştir. Elde edilen güvenilir öznitelikler yardımı ile birbirini takip eden görüntü dilimleri arasında öznitelik eşleştirmesi yapılmıştır. Eşleştirme yapılırken Öklid mesafesi eşik değeri arttırılarak benzer özellikteki özniteliklerin yanlış eşleşmesi engellenmiştir. Elde edilen eşleştirmeler ile yerel hareket vektörleri bulunmuştur. Yerel hareket vektörleri gruplanarak farklı yönelime sahip yanıltıcı vektörler elenmiştir ve hareket kestirim hataları en aza indirilmiştir. Elde edilen güvenilir yerel hareket vektörleri ile her görüntü dilimi için genel hareket vektörü bulunmuştur. Kare ortalamalarının karekökü yardımı ile elde edilen genel vektörlerin ortalama değer eğrileri alınmış ve bilinçli hareket, rastgele salınımlardan ayırt edilerek hata düzeltmesi yapılmıştır. Elde edilen istenmeyen hareket verileri değerlendirilerek görüntü durağan hale getirilmiştir. Mayıs 2010, 64 sayfa Anahtar Kelimeler : Video Sabitlenmesi, Görüntü Sabitlenmesi, Hareket Kestirimi, Hareket Dengelemesi, Geçmişe Bağımlı Öznitelikler i ABSTRACT Master Thesis VIDEO IMAGE STABILIZATION Gürkan Kocadere Ankara University Graduate School of Natural and Applied Sciences Department of Electronic Engineering Supervisor : Assoc. Prof. Dr. Ziya TELATAR The aim of this study is to develop a video stabilization algorithm to avoid unwanted effects on visualization which is created by random motions of the video capturing platforms and which is independent from environmental conditions (illumination, noise, etc.), and is sensitive and reliable to concious motions at the same time. By providing these requirements, ”Scale Invariant Feature Transform” technique is used and for every frame, independent features are obtained. After that, features which are independent from previous frame features are eliminated. Then, by using these features, each following frame features are matched and with these matches local motion vectors are created. To avoid incorrect matching with similar features, Euclidean distance threshold value is modified and discard incorrect matches. Motion estimation errors are minimized by filtering the local motion vectors. With the obtained reliable local motion vectors, the global motion vector of each frame is created.The average value graphs of global vectors which are obtained by the root mean square method are drawn and by the differentiation of the concious motion and random swinging ,the error correction is done. As a result, all the unconcious motion data are evaluated and the video is stabilized. May 2010, 64 pages Key Words : Video Stabilization, Image Stabilization, Motion Estimation, Motion Compensation, Past Related Features ii TEŞEKKÜR Çalışmalarımı yönlendiren, araştırmalarımın her aşamasında bilgi, öneri ve yardımlarını esirgemeyerek akademik ortamda olduğu kadar beşeri ilişkilerde de engin fikirleriyle yetişme ve gelişmeme katkıda bulunan danışman hocam sayın Doç. Dr. Ziya TELATAR’a (Ankara Üniversitesi Elektronik Mühendisliği A.B.D.), akademik çalışmam süresince bana destek olan iş arkadaşlarıma, çalışmalarımı gerçekleştirirken rahatımı sağlamak için peşimden ayrılmayan Anneme ve Babama, aynı şekilde kendi ailemden ayırmadığım eşimin ailesine ve tabiki uzun geceler birlikte çalıştığım biricik eşim Selay ARKÜN KOCADERE’ye en derin duygularım ile teşekkür ederim. Gürkan KOCADERE Ankara, Mayıs 2010 iii İÇİNDEKİLER ÖZET………………………………………………………………………………….....i ABSTRACT…………………………………………………………………………….ii TEŞEKKÜR……………………………………………………………………………iii KISALTMALAR………………………………………………………………………vi ŞEKİLLER DİZİNİ.……………………………………………………………….....vii ÇİZELGELER DİZİNİ..…………………………………………………………….viii 1. GİRİŞ ................................................................................................................... 1 1.1 Görüntü Sabitleme Teknikleri ......................................................................... 1 1.1.1 Elektromekanik görüntü sabitleme .................................................................. 1 1.1.2 Optik görüntü sabitleme .................................................................................... 2 1.1.3 Sayısal görüntü sabitleme .................................................................................. 3 2. KURAMSAL TEMELLER ................................................................................ 8 2.1 Histogram .......................................................................................................... 8 2.2 Gradyan ............................................................................................................. 8 2.3 Hareket Analizi.................................................................................................. 9 2.3.1 Görüntü kayması ................................................................................................ 9 2.3.2 Görüntü dönmesi .............................................................................................. 10 2.3.3 Ölçek değişimi .................................................................................................. 11 2.3.4 Görüntü eğrilmesi ............................................................................................ 12 2.3.5 Hareket kestirim modeli .................................................................................. 13 2.4 Laplacian Of Gaussian (LoG) ........................................................................ 14 2.5 Difference Of Gaussian (DoG) ....................................................................... 15 2.6 Gauss Çekirdeği Ölçek Uzayı ......................................................................... 17 2.7 Ölçekten Bağımsız Öznitelik Dönüşümü (ÖBÖD) ....................................... 18 2.7.1 Ölçek uzayı uç noktalarının bulunması ......................................................... 19 2.7.2 Anahtar noktaların yerleştirilmesi ve dengeli noktaların seçimi ................ 23 2.7.3 Yönelimlerin atanması ..................................................................................... 27 2.7.4 Anahtar nokta tanımlayıcılarının tespiti ....................................................... 29 2.8 Görüntü Özniteliği ve Öznitelik Eşleştirme .................................................. 31 2.9 En Küçük Kareler Yöntemi (EKK) ............................................................... 33 iv 3. MATERYAL VE YÖNTEMLER.................................................................... 36 3.1 Materyal ........................................................................................................... 36 3.2 Yöntem ............................................................................................................. 36 3.2.1 Geçmişe bağımlı öznitelikler ........................................................................... 39 3.2.2 Eşleştirme eşik değeri ile güvenilir YHV’lerin bulunması ........................... 46 3.2.3 Bilinçli hareket kestrimi .................................................................................. 50 4. BULGULAR ...................................................................................................... 54 5. TARTIŞMA VE SONUÇ.................................................................................. 57 KAYNAKLAR………………………………………………………………………...59 ÖZGEÇMİŞ…………………………………………………………………………...64 v KISALTMALAR AFT Ayrık Furier Dönüşümü AHVE Adaptif Hareket Vektörü Entegrasyonu AMVI Adaptive Motion Vector Integration BBF Best Bin First DFT Discrete Fourier Transform DOG Difference Of Gaussian DTW Dynamic Time Warping DZE Dinamik Zaman Eğrilmesi EKK En Küçük Kareler EYK En Yakın Komşu GBÖ Geçmişe Bağımlı Öznitelik GF Gauss Farkı GHV Genel Hareket Vektörü HGÖ Hızlandırılmış Güvenilir Öznitelikler ILSM Iterative Least Square Method İEİB İlk En İyi Bin KOK Kare Ortalamalarının Karekökü LOG Laplacian of Gaussian NN Nearest Neighbour ÖBÖD Ölçekten Bağımsız Öznitelik Dönüşümü PFM Parabolic Fitting Method PYY Parabolik Yerleştirme Yöntemi RMS Root Mean Square SIFT Scale Invariant Feature Transform SURF Speeded-Up Robust Features TEKKT Tekrarlayan En Küçük Kareler Tekniği YHV Yerel Hareket Vektörü vi ŞEKİLLER DİZİNİ Şekil 1.1 Optik görüntü sabitlemede kullanılan mercek kayması ..................................... 3 Şekil 2.1 Görüntü ve görüntüye ait gri histogram grafiği ................................................. 8 Şekil 2.2 ekseni ve ekseni boyunca ve kadar görüntü kayması .................. 10 Şekil 2.3 Orijin merkezli dönme hareketi ....................................................................... 11 Şekil 2.4 Görüntü kaynak noktasına yakınlaşması ile oluşan görüntü büyümesi ........... 12 Şekil 2.5 ekseni ve ekseni yönünde kadar eğrilme hareketi ................................. 12 Şekil 2.6 Farklı değerleri için ölçek uzayı ................................................................... 17 Şekil 2.7 Oktavların tanımlanması .................................................................................. 21 Şekil 2.8 Oktav bazında DoG’un hesaplanması .............................................................. 22 Şekil 2.9 Yerel maksimum ve minimumların bulunması................................................ 23 Şekil 2.10 Anahtar noktalarının elenmesi ile gerçek anahtar noktalarının tespiti........... 27 Şekil 2.11 Görüntü gradyanı ve anahtar nokta tanımlayıcılar......................................... 30 Şekil 2.12 k-d ağacı uygulaması ..................................................................................... 33 Şekil 2.13 EKK yöntemi ile bulunan fonksiyon eğrisi ................................................... 35 Şekil 3.1 Görüntü sabitleme algoritma adımları ............................................................. 38 Şekil 3.2 Görüntünün yer değiştirmesi ile belirlenen ortak öznitelikler ......................... 40 Şekil 3.3 Hareketli görüntü ortak alanı ........................................................................... 41 Şekil 3.4 Geçmişe bağımlı özniteliklerin bulunması ...................................................... 41 Şekil 3.5 Farklı görüntülerin GBK ile öznitelik ilişkileri ............................................... 44 Şekil 3.6.a. Geçmişe bağımlı olmayan, b. Geçmişe bağımlı olan öznitelikler ............... 45 Şekil 3.7 YHV’den GHV’ünün tanımlanması ................................................................ 46 Şekil 3.8 Eşleşme eşik değerinin arttırılması ile yanlış eşleşmelerin giderilmesi........... 47 Şekil 3.9.a.b. Farklı yönelim gösteren öznitelikler ......................................................... 49 Şekil 3.10 Bilinçli hareket etrafındaki istenmeyen hareket eğrisi................................... 50 Şekil 3.11 x ekseni için hareketin bütününden bilinçli hareketin tespiti........................ 53 Şekil 3.12 y ekseni için hareketin bütününden bilinçli hareketin tespiti........................ 53 vii ÇİZELGELER DİZİNİ Çizelge 3.1 Farklı görüntülerin GBK ile öznitelik ilişkileri ........................................... 43 Çizelge 3.2 Eşleştirme eşik değerinin hatalı eşleşme üzerindeki etkisi .......................... 48 Çizelge 5.1 Örnek görüntü dilimleri için işlem yükü dağılımı ....................................... 59 viii 1. GİRİŞ Canlılara özgü algılama yeteneklerinin belki de en önemlilerinden görme duyusunun günümüz teknolojileri ile gerçeklenmesinin somut örneklerinden olan görüntüleme cihazlarına, gerçekliğe yakın olması için özellikler kazandırılmaya çalışılmaktadır. Bu özelliklerden birisi de; görüntüleme aygıtlarındaki istenmeyen veya planlı bir hareketin elde edilen görüntüye aksetmesini engellemek üzere geliştirilen görüntü sabitleme teknikleridir. Görüntüleme aygıtı; bulunduğu platformun istenmeyen hareketinden ötürü algıladığı görüntülere bu hareketi yansıtır. Bu, algılanan görüntü için istenmeyen bir durumdur. Nitekim insan gözü, vücudu hareket halindeyken bile odaklandığı nesneden ayrılmayarak hareketleri ile kendi sabitlemesini yapabilmektedir. Benzer teknikler görüntüleme aygıtları için de kullanılabilir. 1.1 Görüntü Sabitleme Teknikleri Üç farklı görüntü sabitleme türü mevcuttur (Nulph 2009) Bunlar; Elektromekanik Görüntü Sabitleme (EGS), Optik Görüntü Sabitleme (OGS) ve Sayısal Görüntü Sabitleme (DGS)’dir. 1.1.1 Elektromekanik görüntü sabitleme Görüntüleme aygıtının bulunduğu platformun planlı veya istenmeyen rastgele hareketi, ivme ölçer, açısal algılayıcılar, manyetik algılayıcılar gibi hareket tespit cihazları ile algılanarak aygıtın normalini sabit tutabilecek ters yönlü mekanik hareket uygulanması ile hareketten en az seviyede etkilenmesi sağlanabilir. Hareketin, bahsi geçen ölçüm cihazları ile algılanarak işlenmesi ve mekanik yapıya görüntünün sabit kalması için ters yöndeki hareketin sağlanması için geçen süre tam anlamı ile bir görüntü sabitleme 1 gerçekleştiremeyeceği için görüntüde bulanıklığa neden olacaktır. Bu sebeple, bazı teknikler (Bayrak ve Ulusoy 2009) ile bu yöntem desteklenmelidir. Kullanılan ölçüm cihazlarının ve mekanik yapının boyutları ve maliyetleri bu uygulamanın küçük boyutlu, düşük maliyetli cihazlarda kullanımını elverişsiz kılmaktadır. Diğer yandan; hareket halindeki, askeri amaçlı arazi araçlarında veya deniz araçlarında kullanılan silah platformları gibi hareket kabiliyeti olan elektromekanik platformlardan gelen veriler bu platformlarda kullanılan görüntüleme aygıtlarını da destekleyecek yapıda olması sebebi ile kullanılabilirler. 1.1.2 Optik görüntü sabitleme Optik görüntü sabitleme; elektromekanik görüntü sabitleme ile benzer mantık üzerine kurulmuştur. Burada tek fark, ters hareketin aksettirildiği mekanik yapı’nın görüntüleme aygıtı üzerindeki algılayıcısına görüntünün düşmesini sağlayan lens olmasıdır. Bu tip uygulamalarda, görüntüleme aygıtlarında kullanılan lens yerleşimindeki lensler arasındaki uzaklıklar, odaklanan görüntünün kırınımını değiştirerek görüntü algılayıcısının her zaman aynı yerine düşmesini sağlayıcı şekilde yatay veya düşey hareket etmektedir (Şekil 1.1). Bu yöntem elektromekanik yapıya göre daha başarılı sonuç vermesine karşılık lenslerin, hareketi için fiziksel bir alana ihtiyaç duyması ve görüntüleme hassasiyetini bozmadan bu hareketin aksettirilmesinin pahalı bir çözüm olması sebebi ile her zaman tercih edilmemektedir. Kaliteli el kameralarında yaygın kullanılan bir tekniktir. Ayrıca stüdyo çekimlerinde kullanılan video kameralarda elektromekanik sabitleme düzeneklerini destekleyici olarak kullanılır. 2 Şekil 1.1 Optik görüntü sabitlemede kullanılan mercek kayması 1.1.3 Sayısal görüntü sabitleme Fazladan bir donanım gerektirmediği için bahsi geçen yöntemlerden en ucuzudur. Aynı zamanda sürekli geliştirilebilir olmaya açık bir yapıdadır. Bu sebeple, cep telefonu kamerası, gibi boyutları küçük görüntüleme aygıtlarında yaygın olarak kullanılmaktadır. Bu yöntem gerçek zamanlı görüntüler üzerinde kullanılabileceği gibi kayıt edilmiş görüntüler için de uygulanabilir. Sabitlenecek görüntünün yönelim verisi, kendi çerçevelerinin birbirleri ile olan ilişkisinde işlenmek sureti ile bulunur fakat bu yöntem uygulanırken görüntüdeki nesnenin hareketinin görüntüleme aygıtının hareketinden mi yoksa nesnenin kendi hareketinden mi kaynaklandığının belirlenmesi gerekmektedir. Video sabitleme teknikleri genellikle hareket kestirimi ve hareket düzeltme algoritmaları barındırır. Farklı kategorilerde değerlendirilen video sabitleme teknikleri (Nulph 2009) arasında incelenen sayısal görüntü sabitleme tekniklerinden olan ve Ertürk (2003) tarafından geliştirilen teknik, genel görüntüden elde edilen dört alt görüntünün her birinin yerel hareketinin faz ilintisi tabanlı hareket kestirimi tekniği ile 3 genel hareketin bulunması prensibine dayanmaktadır. Alt görüntülerin faz ilinti yüzeylerinin tepe noktalarına göre genel hareket vektörüne karar verilmektedir. Alt görüntülerin faz ilintisi yüzeyleri, genişlemeden dolayı oldukça düşük tepe noktalarına sahip alt görüntülerin güvenilir yerel hareket vektörlerini ortaya çıkarabilmektedir. Kalman Süzgeci genel yer değiştirme vektörünün bulunabilmesi için görüntü dilimlerindeki genel hareket vektörlerini biriktirerek sabitlemede kullanır. Ertürk ve Dennis (2000)’in yayınladığı diğer bir teknikte ise Ayrık Furier Dönüşümü (AFT) (Discrete Fourier Transform (DFT)) tabanlı faz ilinti yüzeyinden elde edilen ortalama hareket vektörü ile görüntü dilimleri arasında hareket kestirimi ortaya çıkarılabilmektedir. Bu yöntem ile bilinçli hareketler korunurken istenmeyen titreşimler ayırt edilebilmektedir. Foroosh vd. (2002) tarafından yayınlanan teknikte, alt örneklemesi gerçekleştirilmiş görüntünün faz ilintisinin analitik ifadesi çıkartılmış ve bu faz ilintisinde, yalın tepe noktalarında sinyalin yoğunlaşmadığı gösterilmiştir. Bunun yanında, tutarlı tepe noktalarından çoğunun birbirine komşu olduğu gösterilmiştir. Bu yoğun tepe noktaları kayıt noktasında tanımlı süzgeçlenmiş birim etkinin çok fazlı dönüşümüne karşılık gelmektedir. Bu analitik sonuç, alt piksel dönüşüm kestirimini sağlamakta ve bu kestirim hata analizinin detaylandırılmasında kullanılmaktadır. Alt piksel dönüşümü ile farklı tayf bantlarında oldukça başarılı sonuçlar elde etmişlerdir. Ko vd. (1999) gerçekleştirdikleri çalışmada ardışık görüntülerin gri seviye kodlanmış bit yüzeylerini kullanarak hızlı ikili eşleştirmesi ile hareket kestirim algoritması geliştirmişlerdir. Aynı zamanda, mevcut yerel hareket vektörlerini ve geçmişteki genel hareket vektörlerinin istatistiksel sonucunu kullanarak hesaplama yapabilen hareket düzeltme algoritması içeren sayısal hareket sabitleme algoritması önermişlerdir. Paik vd. (1992) yayınladıkları çalışmada, farklı bir tam sayısal, kenar motifi eşleştirmesine dayanan yeni bir teknik ile yeni adaptif hareket karar metodu geliştirmişlerdir. İşlemin güvenilirliğinin yanında kenar motiflerinin yaratılması çok fazla işlem yükü gerektirmektedir (Ko vd. 1999). 4 Vella vd. (2002) tarafından yayınlanan çalışmada, blok hareket vektörleri kullanılarak hareket kestirimi yapılmıştır. Görüntüdeki her bloğa ait hareket vektörleri ile yapılan hesaplamalar sonucu istenmeyen hareketler tespit edilmektedir. Burada her blok vektör güvenilir değildir. Bunun sebebi homojen bir görüntüdeki homojen bir blok farklı yönelime sahip yanıltıcı vektörler verebilmektedir. Bu sebeple algoritma homojen dağılım gösteren yüzeylerde başarı sağlayamamaktadır. Nesnenin görüntünün ortasında olduğu varsayılarak orta kısım ve arka kısım olmak üzere iki farklı blok üzerinde işlem yapılır. Her iki alan için blok hareket kestirimi yapılarak hareket vektörleri hesaplanır. Daha sonra her iki alan için genel hareket vektörleri bulunur. Şayet her iki genel hareket birbirine eşit ise görüntüde bulunmak istenilen hareket vektörü belirlenmiş olur. Bu iki vektör birbirlerine eşit değil ise istenmeyen hareketin hangi bölgede olduğu tespit edilir. Kwon vd. (2005) tarafından yayınlanan çalışmada, Kalman Süzgeç tabanlı genel hareket kestirim ve faz ilinti tabanlı hareket düzeltme algoritması sayısal görüntü sabitlemesi için beraber kullanılmıştır. Genel hareketi, faz ilintisinde elde edilen birçok adaptif ortalama yerel hareket ile kestirilmiştir. Faz ilintisinin yayılımı yerel hareket vektörlerini belirlerken genel hareket bu yerel vektörlerin ortalamasından elde edilmektedir. Her görüntü dilimindeki yerel vektör bir araya getirilerek mevcut görüntü dilimindeki en uygun hareket vektörü hesaplanabilmektedir. Böylelikle kamera titremelerine veya istenmeyen hareketlere bağlı durağan olmayan durumlar görüntüdeki nesnenin hareketi ne olursa olsun düzeltilebilmektedir. Faz ilintisi veya blok eşleştirme algoritmaları genellikle iyi sonuç vermekle birlikte, görüntü içerisinde hareket eden nesneler sebebi ile özgün tanımlayıcı bloklar görüntü dilimleri boyunca takip edilememektedir ve yanlış yönlendirmeler olabilmektedir. Bosco vd. (2007) yayınladıkları çalışmada, Dinamik Zaman Eğrilmesi (DZE) (Dynamic Time Warping (DTW)) tekniği kullanılarak görüntü dilimleri arasındaki genel hareket kestirimi tekniğini sunmuşlardır. Bu yöntem, geçici eksen boyunca doğrusal hattı korumak için eğrilme dizisini ve bunlar arasındaki açı benzerliğini kullanmaktadır. Bu teknik, ışık değişimine ve hareketli nesnelere karşı dayanıklıdır. 5 Censi vd. (1999) tarafından yayınlanan çalışmada, görüntü içerisindeki özniteliklerin takibi ile görüntü eğriltilerek kamera hareketleri dengelenmiştir. Hareketli nesnelerin üstesinden gelebilmek için homografi tekniği uygulanmıştır. Buna ek olarak eğrilme hesabının kullanılması öznitelik pozisyonlarının tahmininde daha güvenilir olmuştur. Güllü vd. (2002) tarafından yayınlanan çalışmada, birbirine paralel olarak çalışan ve biri diğerinin yönlendiricisi olarak kullanılan iki farklı Kalman Süzgeci’ne bağlı olarak yapılan bulanık kontrol işlemi ile yeni bir Kalman Süzgeci katsayısı elde edilmiştir. Bu yeni değer ile çalışan Kalman Süzgeci ile işlem gürültüsüne daha etkin bir adaptiflik kazandırılarak Kalman Süzgeç’li sabitleme sisteminin daha verimli çalışması sağlanmıştır. Bu kazanım, etkin bir sabitleme gerçekleştirilirken aynı zamanda kasıtlı kamera hareketlerini de koruyan, gerçek zamanlı çalışan verimli bir görüntü sabitleme sistemi sunmuştur. Lowe (2004)’ün yayınladığı çalışmasında Ölçekten Bağımsız Öznitelik Dönüşümü (ÖBÖD) (Scale Invaiant Feature Transform (SIFT)) tabanlı görüntü öznitelik belirleme algoritmalarından yararlanan Yang vd. (2006) bu algoritmalardan elde edilen görüntü hareket kestirimlerini Kalman Süzgeci ile bilinçli hareketlerden arındırarak daha düşük hata ile sabitleme sağlayabilmişlerdir. Battito vd. (2007) tarafından yayınlanan çalışmada, video görüntülerinden SIFT tabanlı özniteliklerin belirlenmesi ve bu özniteliklerin takip edilmesi ile görüntü sabitlemesi gerçekleştirilmektedir. Video görüntülerinden SIFT tekniği ile elde edilen özniteliklerin eğrilmeleri hareket kestirimi hesaplaması için kullanılmaktadır. Kestirim hatalarının önüne geçmek amacı ile değiştirilmiş Tekrarlayan En Küçük Kareler Tekniği (TEKKT) (Iterative Least Square Method (ILSM)) adapte edilmiştir ve öznitelikler video sabitlemesini sağlamak için bir sonraki görüntü dilimi ile takip edilmiştir. Bilinçli kamera hareketleri Adaptif Hareket Vektörü Entegrasyonu (AHVE) (Adaptive Motion Vector Integration (AMVI)) ile süzgece sokulmuştur. Feng vd. (2009) basitleştirilmiş kutupsal örneklemeye dayanan, özellikle dönme, ölçekleme ve eğrilme gibi hareket parametrelerinin doğru kestirilmesine yönelik, yeni bağımsız öznitelik tanımlayıcıları önerilmiştir. 6 Özniteliklerin tanımlanmasında kullanılan ve Lowe (2004)’ün önerdiği Gauss penceresinin merkezden dışa doğru ağırlıklandırılması yöntemi yerine düzgün dağılım gösteren ağırlıklandırılmış pencere yöntemini kullanmıştır. İntegral haritalama vasıtası ile gradyan yönelim histogramı daha hızlı hesaplanarak verimlilik arttırılmıştır. Hu vd. (2007) SIFT kullanarak bulduğu özniteliklerden faydalanarak yarattığı hareket modelinde, bilinçli hareketi, istenmeyen hareketten ayırmak için iki farklı süzgeçleme yöntemini bir arada kullanmıştır. Hareketin yumuşatılması için öncelikle Gauss yumuşatması uygulanmış daha sonra Parabolik Yerleştirme Yöntemi (PYY) (Parabolic Fitting Method (PFM)) uygulanarak hareket biraz daha yumuşatılmış ancak bilinçli hareket kaybedilmemiştir. 7 2. KURAMSAL TEMELLER 2.1 Histogram Histogram; görüntü seviyesinin frekans dağılımını ifade eder. Örneğin gri görüntü için görüntü içerisinde her bir gri seviye değerine sahip kaç adet piksel olduğunu grafiksel olarak gösterir. Görüntünün ne kadar karanlık veya aydınlık olduğunu tanımlamaya yarar. Grafiğin dikey ekseni piksel sayısını, yatay ekseni ise gri değeri ifade ettiği düşünülürse, 8 bit gri seviyeye sahip bir görüntüde, yatay eksen 0-255 arasında gri seviye değerlerini dikey eksen de her bir gri seviyeden görüntü içerisinde kaç adet olduğunu gösterir (Şekil 2.1). Şayet dikey eksendeki piksel sayıları toplanır ise görüntünün barındırdığı toplam piksel sayısı öğrenilebilir. Bunun sebebi her pikselin bir Piksel Sayısı gri değere sahip olmasıdır. Piksel Değeri Şekil 2.1 Görüntü ve görüntüye ait gri histogram grafiği 2.2 Gradyan Bir görüntünün gradyan’ı o görüntüdeki parlaklık değişiminin hangi yönde ve ne büyüklükte olduğunu ifade eder. Gradyan büyüklüğü görüntüdeki parlaklık değişiminin ne kadar çabuk olduğunu verirken yönelim vektörü de hangi yönde daha hızlı değişim olduğunu gösterir. 8 Gradyan’ın yönelimi ve büyüklüğü olması sebebi ile bu bilgi vektör olarak ifade edilebilir. Vektör boyu büyüklüğü, yönü ise gradyan yönelimini belirtir. Gradyan her noktada farklı olacağından her nokta için farklı bir vektör ile tanımlanabilir. Bazı kenar tanımlama algoritmaları veya öznitelik eşleştirme algoritmaları gradyan vektörünü kullanmaktadır. Gradyan vektörü noktası ile noktası arasındaki kısmi türevdir. Öyleyse; iki boyutlu gri seviye bir görüntü için gradyan vektörü aşağıdaki gibi tanımlanabilir. , , , , , tan , 2.3 (2.1) (2.2) Hareket Analizi Durağan olmayan görüntünün bütünü, hareketli nesneler için tanımlanan hareket analizi ile ifade edilebilir. Bunun sebebi görüntü bütününün aslında görüntü içerisinde hareket eden bir nesne gibi algılanabilmesidir. Bu nedenle görüntünün durağan hale gelmesi için gerekli olan analiz teknikleri aşağıdaki gibidir. 2.3.1 Görüntü kayması Görüntü içerisinde nesnenin yer değiştirmesini ifade eder. Burada görüntünün yer değiştirmesi iki eksende gerçekleşir. Herhangi bir dönme veya eğimlenme söz konusu değildir (Şekil 2.2). 9 Öyleyse aşağıdaki formül ile ifade edilebilir. (2.3) Burada ve nesnenin ilk pozisyonunu ifade ederken ve ise nesnenin ve kadar kayma gerçekleştikten sonraki yerini ifade etmektedir. Şekil 2.2 ekseni ve ekseni boyunca ve kadar görüntü kayması (Alharbi 2006) 2.3.2 Görüntü dönmesi Dönme işlemi, görüntüleme aygıtının dönme eğiliminin görüntüye ters yönde etki etmesi ile gerçekleşir. Dönme hareketi bir merkeze ve dönme açısına sahip olmak zorundadır (Şekil 2.3). Bu nedenle dönme merkezi ve dönme açısı olmak üzere iki değişken ile ifade edilebilir. 10 Şekil 2.3 Orijin merkezli dönme hareketi (Alharbi 2006) Öyleyse görüntü dönmesinden elde edilen yeni nesne konumu dönme açısı olmak sureti ile dönmeyi gerçekleştiren bütün noktalar aşağıdaki formül ile ifade edilebilir. cos sin "sin cos (2.4) 2.3.3 Ölçek değişimi Bir diğer hareket tipi de görüntü ölçek değişimidir. Görüntüleme aygıtının görüntünün kaynak noktasına yakınlaşması veya uzaklaşması ile oluşan görüntüdeki büyüme veya küçülmedir (Şekil 2.4). Aşağıdaki formül ile ifade edilebilir. % $0 0 ' (2.5) ve görüntü alanının tüm koordinatını ifade ederken, ve ölçek değişimi geçirmiş görüntü alanının yeni koordinatını ifade etmektedir. Şayet % ve (1 ise yeni görüntü eskisinin büyümüş halini ifade ederken % ve )1 ise yeni görüntü eskisinin küçülmüş halini ifade etmektedir. Şayet % ve negatif ise görüntü 11 aynı zamanda negatif ölçekleme değer ekseni yönünde dönme hareketi gerçekleştirmiş demektir. Şekil 2.4 Görüntü kaynak noktasına yakınlaşması ile oluşan görüntü büyümesi (Alharbi 2006) 2.3.4 Görüntü eğrilmesi Görüntünün açısal eğrilmesinden oluşan hareketi ifade eder. Görüntü her iki eksende de eğrilme gösterebilir (Şekil 2.5) ve ekseni için eğrilme modeli formülü aşağıdaki gibidir. Bu model’de ve eğrilme yönünü ise eğrilme açısını belirtir. Öyleyse; cos sin sin cos (2.6) Şekil 2.5 ekseni ve ekseni yönünde kadar eğrilme hareketi (Alharbi 2006) 12 2.3.5 Hareket kestirim modeli Durağan olmayan bir görüntünün hareket modeli, yalnızca yukarıdaki modeller ile sınırlı olduğu varsayılır ise, görüntünün durağan hale getirilmesi için uygulanacak düzeltme süreci aşağıdaki gibi olacaktır. % $0 0 cos ' sin sin cos cos sin "sin cos (2.7) Bu formülde referans görüntünün noktasal yatay koordinatını, referans görüntünün noktasal dikey koordinatını, yeni görüntünün noktasal yatay koordinatını, yeni görüntünün noktasal dikey koordinatını, ve iki görüntü arasındaki kayma miktarını, ve dönme ve eğrilme açılarını ise ölçek değişim katsayısını vermektedir. Öyleyse A dönme, eğrilme ve ölçek değişimi olduğu varsayılır ise * şeklinde ifade edilebilir. 13 (2.8) 2.4 Laplacian Of Gaussian (LoG) Laplacian of Gaussian; görüntüdeki hızlı yoğunluk değişimlerini ortaya çıkartır. Bu hızlı değişim genellikle kenar bölgelerde olduğu için kenar algılamada kullanılır. LoG gürültüye duyarlı olduğu için uygulanmadan önce görüntü yumuşatma algoritmalarından birisi kullanılmalıdır. LoG uygulanmadan önce görüntünün Gauss çekirdeği ile katlama yapılarak yumuşatılması sağlanır. +, ,- 1 √21 23 4" 5 2 (2.9) Öyleyse LoG operatörü aşağıdaki gibi tanımlanabilir. ∆7+, ,- 8-,-9 7∆+, ,-9 8 ,- :;+ 8 ,- (2.10) Katlama işlevinin birinci dereceden türevi aşağıdaki özelliği taşıdığı için; (2.11) < < < < 7>= 8 =9 ? @>= " @<@ ? @ >= " @<@ = >= <= <= <= <= Laplacian of Gaussian ∆+, ,- aşağıdaki gibi tanımlanarak görüntü ile katlama işlemine sokulabilir. A A A A A A +, ,- 2 % B /, " 2 % B /, % % 14 (2.12) % A B A/,A 1 % A B A/,A " % A B A /,A , + 2 " 2 2 % , D D (2.13) Aynı şekilde; " % A B A/,A , + 2 , D (2.14) Öyleyse LoG operatörü veya katlama çekirdeği aşağıdaki gibi ifade edilebilir. (2.15) " 2 % A B A /,A :;+ E ∆+, ,- +, ,- +, ,- 2 D 2.5 Difference Of Gaussian (DoG) Görüntüdeki kenar bölgelerinin ve diğer ayrıntıların ortaya çıkarılmasında kullanılır. Benzer algoritmalar, yüksek frekans noktalarını açığa çıkartmaktadır. Rastgele gürültü yüksek frekans içerdiğinden bu arzu edilen bir durum değildir. DoG, yüksek frekans ayrıntılarını yok etmesi sebebiyle bu tür gürültüleri de yok edebilmektedir. Görüntüye farklı çekirdekteki Gauss süzgecinin uygulanarak birbirinden çıkartılması ile DoG çekirdeği elde edilebilir. LoG’da olduğu gibi görüntü öncelikle Gauss çekirdeği uygulanarak yumuşatılmalıdır. +,F ,- 1 G21 15 23 4" 5 2 (2.16) için H ,- +,F ,- 8 ,- (2.17) iken, aynı şekilde farklı ölçek uzayı için; H ,- +,A ,- 8 ,- (2.18) Farklı iki Gauss yumuşatmasına maruz kalmış görüntünün farkı o görüntü için kenar algılamada kullanılabilir. (2.19) H ,- " H ,- +,F 8 ,- " +,A 8 ,- I+,F " +,A J 8 ,- K;+ 8 ,- Öyleyse DoG operatörü veya katlama çekirdeği aşağıdaki gibidir. K;+ E +1 " +2 1 1 1 A A A A A A $ - 2 % B /,F " - 2 % B /,A ' √21 1 2 16 (2.20) 2.6 Gauss Çekirdeği Ölçek Uzayı Ölçek uzayı sinyallerin farklı ölçeklerde değerlendirilmesini tanımlamaktadır. En çok uygulandığı alan iki boyutlu görüntülerdir. (2.16) eşitliği için farklı değerlerinde elde edilen Gauss çekirdeği ile katlama işlemine sokulmuş aynı görüntünün çıktıları aşağıdaki gibidir (Şekil 2.6). 1,00 2,01 4,03 8,06 16,12 32,25 Şekil 2.6 Farklı değerleri için ölçek uzayı 17 2.7 Ölçekten Bağımsız Öznitelik Dönüşümü (ÖBÖD) Ölçekten Bağımsız Öznitelik Dönüşümü (ÖBÖD) (Scale Invariant Feature Transfor (SIFT)), görüntüdeki özniteliklerin belirlenmesi ve eşleştirilmesinde kullanılmasından ötürü görüntü işleme algoritmaları arasında önemli bir yere sahiptir. Öznitelik belirleme, robotik sistemlerde nesne tanımlama ve takip etme, fotoğrafçılıkta mozaikleme gibi farklı birçok görüntü işleme uygulamasında kullanılabilir. Lowe (2004) tarafında geliştirilen bu algoritma tek bir görüntü dilimini giriş olarak almakta ve bu görüntü üzerindeki öznitelik bilgilerini vermektedir. Her öznitelik noktası, konum, ölçek, yönelim ve tanımlama vektörü içermektedir. Tanımlama vektörü ve tanımlanan nokta, bakış açısına, ışık değişimine ve ölçek değişimine bağımlı değildir. Bu özellikler, hareketli görüntüler üzerinde çalışılabilmesi için oldukça kullanışlıdır. İyi bir yerel öznitelik aşağıdaki durumlara bağımlı olmamalıdır: -Görüntüdeki gürültü -Işık değişimi -Ölçek değişikliği -Dönme -Bakış açısındaki önemsiz değişimler. Öznitelik çıkarım yöntemi olan SIFT ve farklı iki görüntü dilimindeki bu özniteliklerin eşleştirilmesi aşağıdaki gibi adımlandırılabilir. -Ölçek uzayının oluşturulması ve bu ölçek uzaya ait her noktanın DoG kullanılarak ölçek değişimi ve yönelime karşı bağımsız olası ilgi noktalarının bulunması. -Her aday nokta için istikrarlı anahtar noktaların bulunması. -Anahtar noktaların yerel gradyan yönelimleri göz önünde bulundurularak, bir veya birden fazla yönelim atanması. -Her anahtar noktanın, seçildiği ölçek alanı etrafındaki yerel gradyanları ölçülerek ışık değişimlerine karşı bağımsızlık kazandırılması. 18 -Farklı iki görüntü arasındaki özniteliklerin birbirleri ile karşılaştırılarak en olası eşleşmenin hesaplanması. Bu özelliklere sahip özniteliklerin belirlenmesi için kullanılan yöntemler sırası ile aşağıdaki gibidir. 2.7.1 Ölçek uzayı uç noktalarının bulunması Ölçek değişiminden bağımsız anahtar noktaların bulunmasındaki ilk adım anahtar nokta adaylarının konumlarının ve ait oldukları ölçeklerin bulunmasıdır. Bu işlem için ölçek uzayında tanımlanmış her ölçek için istikrarlı noktaların konumları belirlenir. noktaların bulunmasında kullanılacak ölçek uzayının tanımlanması, görüntünün, farklı değerlerinde elde edilen Gauss çekirdeği (2.16) eşitliği ile katlama İstikrarlı işlemine sokulması ile gerçekleştirilir (Eşitlik 2-17). İşlemde tanımlı ve değişkenleri piksel koordinatlarını vermektedir. Ölçek uzayındaki istikrarlı anahtar noktaların bulunması için; ölçek uzaydaki yan yana farklı ölçekteki Gauss çekirdeği ile katlamaya girmiş görüntünün birbirinden (2.19) eşitliğinde ifade edildiği gibi çıkartılarak (Şekil 2.8) kullanılması önerilmiştir (Lowe (1999)). (2.19) eşitliğinde verilen ve arasındaki çarpım faktörü Q kadardır. Lowe (2004) bu değerin 1’e yakınsaması teoride yaklaşım hatasının sıfıra ulaşmasını sağlasa da pratikte Q √2 gibi bir değer için istikrarlı uç noktaların bulunmasında nerede ise etkisinin olmadığı gözlenmiştir. Öyleyse (2.19) eşitliğinde verilen ve sonraki her ölçek için Q √2 çarpım faktörü kabul edilir ise Gauss çekirdeği ölçek uzayı standart sapma değeri her ölçek için; 19 (2.21) Q √2 R Q 2 … Q I√2J (2.22) (2.23) (2.24) olur. Ölçek uzayı, çarpım faktörü Q 2⁄S olacak şekilde her biri S+3 adet yumuşatılmış görüntü içeren oktav adı verilen serilere ayrılır ve ikinci seri, ilk serinin 2’sı kadar alt örneklenmiş ve yarı oranına indirgenen görüntü ile başlar ve her seri için bu işlem bir önceki seri kullanılarak oktav sayısı kadar tekrarlanır (Şekil 2.7). 20 Şekil 2.7 Oktavların tanımlanması 21 Ölçek uzayı belirlenen görüntünün her oktavı için DoG hesaplanır (Şekil 2.8). Uç noktalarının bulunması için, her bir DoG görüntüsünün kendi ölçeğinin her pikseli çevresindeki 8 piksel ve komşu ölçeklerdeki 9’ar piksel olmak üzere toplamda 26 piksel ile karşılaştırılır. Şayet piksel o bölgenin yerel maksimumu veya yerel minimumu ise aday öznitelik olarak belirlenir (Şekil 2.9). Her piksele tek tek bakılması işlem sayısını arttırıyormuş gibi gözükse de birkaç adım sonra çoğu örnek noktası elenmiş olacağından işlem yükü azdır. Her oktav için görüntü yarı oranına indirgendiğinden yerel maksimum veya yerel minimum olarak tespit edilen anahtar nokta ve koordinatları bulunduğu oktav indirgenme oranı ile çarpılarak kaydedilir. Aynı şekilde tespit edildiği ölçek değeri de kaydedilmeden önce bulunduğu oktava göre hesaplanarak saklanmalıdır. Şekil 2.8 Oktav bazında DoG’un hesaplanması 22 Ö L Ç E K Şekil 2.9 2. Yerel maksimum ve minimumların bulunması 2.7.2 Anahtar noktaların yerleştirilmesi tirilmesi ve dengeli noktaların seçimi Bundan sonraki adım seçilen aday anahtar noktalarının kesin konum ve ölçek bilgisinin detaylı olarak yerleştirilmesi tirilmesi ve ana büküm oranının tespit edilmesidir. Bu bilgi kenar boyunca sıralanmış noktaların ve gürültüye gü hassas düşük şük kontrastlı kontras bölgelerin elenmesine imkan verir. Farklı oktav değerleri erleri için bulunan yerel maksimum ve yerel minimumların konum ve ölçek bilgileri oktav değerine de erine göre oranlanarak aday öznitelik bilgileri elde edilmişti. edilmi Brown vd. (2002)’un 2002)’un geliştirdiğii yöntem ile örnek noktanın merkezlenmesi ile elde edilen bu değerlerin, erlerin, bu örnek noktaların 3D ikinci dereceden fonksiyona yerleştirilerek yerle hesaplanabileceğii bulunmuştur. bulunmu 23 Bu yöntem, hesaplanan yerel maksimum ve yerel minimum noktalarının ve konum bilgisi, ölçek bilgisi olmak üzere, K, , ölçek uzayı fonksiyonunun ikinci türevinden Taylor serisini kullanır. U , , V (2.25) örnek noktasından ofset olmak üzere; K ve K’nin türevi örnek noktasından hesaplanabilir. KV 1 K KU K U UV U U 2 U (2.26) W Bu eşitliğin türevi, uç noktalarında sıfıra eşit olması gerekmektedir. Uç noktası U eşitliğin sağ tarafının türevinin alınarak sıfıra eşitlenmesi ile bulunabilir. K K W " U U U (2.27) Şayet ofset değeri herhangi bir boyutta 0,5’den büyük çıkar ise bunun anlamı uç noktanın başka bir örnek noktaya yakın olmasıdır. Bu koşulda örnek noktanın yeri ofset kadar değiştirilir ve işlem yeniden gerçekleştirilir. Yeni ofset değeri her boyut için de 0,5’den küçük ise bu ofset değer kadar kaydırılır ve anahtar noktanın gerçek konum ve ölçek bilgisi elde edilir. W değerinin (2.27) eşitliği, (2.26) eşitliğindeki yerine konularak Uç noktalarda KU hesaplanması ile düşük kontrastlı bölgelerdeki kararsız uç noktaların elenmesi sağlanabilir. 1 KV W K W KU U 2 U 24 (2.28) |KU W| değerinin 0,03’den küçük olduğu bütün uç noktalar elenebilir. Pratik uygulama sonucu piksel değerlerinin [0,1] arasında olduğu durum için Şekil 2.10’da bulunan tüm uç noktaların kararlı olmayan düşük kontrastlı olanları elenmiştir. Bir sonraki adım ise kenar noktalardaki kararsız aday anahtar noktaların elenmesidir. DoG fonksiyonu yapısı gereği kenar boyunca güçlü tepkiye sahiptir. Bu sebeple bu alanlarda kararlı olmayan anahtar noktaların oluşmasına sebep olabilmektedir. DoG fonksiyonunda tanımlı zayıf tepe noktaları kenar boyunca geniş ana büküme sahiptir, bunun yanında dik yönde bu daha ufaktır. Özdeğerinin bahsedilen ana büküm ile orantılı olması sebebi ile 2x2 Hessian matrisi ana bükümün hesaplanmasında kullanılır. K%% K K K K% K (2.29) (2.30) (2.31) Aday anahtar noktanın bulunduğu koordinat ve ölçekteki DoG görüntüsünün türevleri ve komşu örnek noktalarının farkı alınarak bulunmak üzere Hessian matrisi aşağıdaki gibidir. Y $ K%% K% K% ' K (2.32) Matrisin özdeğerinden çok, değersel oranından çıkarım yapılacağı için yalnızca oransal olarak ilgilenmek yeterli olacaktır. 25 Öyleyse; en büyük değerdeki özdeğeri Z en küçük değerdeki özdeğeri ise Y matris izi bu değerlerin toplamı, determinantı ise bu değerlerin çarpımı olarak bulunur. [\Y K%% K Z K2=Y K%% K " IK% J Z (2.33) (2.34) Determinantın negatif olması durumunda bükümün farklı işarete sahip olmasından ötürü nokta elenir. \ Z (2.35) olması durumunda, ayrı ayrı özdeğerleri yerine yalnızca oranlarına bağımlı eşitlik aşağıdaki gibidir. [\Y Z \Z Z \ 1 K2=Y Z \Z \ (2.36) Özdeğerlerin eşit olduğu durumda \ 1 ⁄\ minimum değere sahiptir ve \ ile birlikte artar. Öyleyse ana bükümün belli bir eşik değeri altındaki oranını bakmak yeterli olacaktır. [\Y \ 1 ) K2=Y \ (2.37) Şekil 2.10’da kenar bölgelerdeki aday anahtar noktalardan eşik değerin altındakiler elenmiştir. 26 Şekil 2.10 Anahtar noktalarının elenmesi ile gerçek anahtar noktalarının tespiti 2.7.3 Yönelimlerin atanması Her anahtar noktaya, yerel özelliklerine bağlı yönelim bilgisi atanabilirse görüntü dönmelerine karşı bağımlılığı da ortadan kaldırılabilir. Her anahtar noktanın, merkezinde kendisinin olduğu ve komşu pikseller ile gradyan yönelim bilgisi içerdiği bir alanda olduğu düşünülürse, görüntüde oluşacak bir dönmenin sebep olduğu çevre gradyan yönelimleri her bileşen için eşit dönmeye sahip olacaktır. Bu özellik kullanılarak anahtar noktaların dönmeye karşı bağımsızlığı sağlanabilir. Seçilen anahtar noktanın ölçek bilgisi kullanılarak elde edilen yumuşatılmış görüntü anahtar noktanın yöneliminin hesaplanması için kullanılır. Böylece tüm hesaplamalar ölçekten bağımsız şekilde gerçekleştirilmiş olur. (2.17) eşitliğinden yola çıkarsak pikseller arasındaki farklılıktan gradyan büyüklüğü ve yönelimi hesaplanabilir. Öyleyse :, , , ölçekli yumuşatılmış görüntü, , gradyan büyüklüğü ve , yönelim açısı olmak üzere (2.1) ve (2.2) eşitliğinden; :, , +, , 8 , (2.38) :, +, 8 , (2.39) ölçek değerinden bağımsız durum göz önüne alınır ise 27 büyüklük değeri (2.40) , G: 1, " : " 1, :, 1 " :, " 1 yönelim açısı ise , tan :, 1 " :, " 1 : 1, " : " 1, (2.41) olarak tanımlanır. Her biri diğerinden 10 derece açı farkına sahip olmak üzere 360 derecelik alanı kapsayan 36 adet bin’den oluşan yönelim histogramı oluşturulur. Bu histogram anahtar noktanın bulunduğu ölçek olan ’nın 1,5 katı kadar genişlikteki Gauss dairesel penceresi içindeki örnek noktaların gradyan büyüklük değerinin eklenmesi ile oluşturulur. Örneğin pencere içerisindeki pikselin yönelimine en yakın bin’in değerine o pikselin gradyan büyüklüğü eklenir. Bu işlem pencere içerisindeki tüm pikseller için uygulanır. Oluşturulan histogram bir veya birden fazla tepe noktası içerebilir. En yüksek tepe noktasına sahip bin yönelim açısı baskın değeri vermekle beraber, bu değerin %80’inden büyük diğer tepe noktalarına sahip yönelimler kullanılarak aynı noktada fakat farklı yönelime sahip anahtar noktalar oluşturulur. Bu durum yönelimin kararsızlığına sebep oluyormuş gibi gözükmekle beraber eşleşme için anahtar noktanın benzersiz bir yapıya kavuşmasını sağlayarak dengeyi sağlar. Çoklu yönelime sahip anahtar noktalar, tüm anahtar noktaların %15’ini geçmez. Son adım olarak tepe noktalarının ait olduğu yönelime daha hassas bir değer sağlayabilmek için tepe noktasına en yakın histogram değerlerine ait yönelim açıları interpole edilerek doğru bir yönelim açısı elde edilir. 28 2.7.4 Anahtar nokta tanımlayıcılarının tespiti Her anahtar nokta için tanımlayıcıların belirlenmesi anahtar noktaların ışık değişimine karşı bağımlı olmamasını sağlar. Anahtar noktanın bu bağımsızlığı elde etmesini sağlamak için merkezi kendisi olmak üzere bulunduğu ölçek ile orantılı mesafedeki çevre piksellerin görüntü gradyan büyüklükleri ve yönelim açısı belirlenir. Merkeze uzak piksellerin sonuç değerine etki edecek yönelim ve gradyan büyüklük hatalarının en aza indirilmesi için merkezden uzaklaştıkça oransal olarak etki ağırlıklarının azaltılması ani değişimlere karşı vereceği tepkinin daha az hassas olmasını sağlayacaktır. Bu ağırlık oranının hesaplanması için merkezi anahtar nokta olan Gauss penceresi kullanılır. Pencerenin boyu tanımlayıcı penceresinin boyundan 1,5 kat daha büyüktür. Pencere ağırlığı merkezden başlayarak düzgün şekilde dışa doğru azalmaktadır. Her anahtar nokta etrafında, 16x16 boyutunda örnekleme alanı kullanılarak birbirleri arasında 45 derece açı farkı olan 8 yönelime sahip yönelim histogramı içeren 4x4 örnekleme alanı oluşturulur. Her okun yönelimi histogramın yönelim bilgisini büyüklüğü ise gradyan büyüklüğünü ifade eder. Her örnek noktasının ani değişimlerdeki sınır etkisini azaltarak 8 yönelime sahip histograma olan etkisini düzgün şekilde dağıtmak için, üç boyutlu sistemlerdeki çevre faktörlerinin ağırlık merkezine etkisini ifade eden üçlü-doğrusal (tri-linear) interpolasyon uygulanır. Burada amaç ağırlık merkezinin yerini bulmak yerine, her örnek noktasının, anahtar noktasının sabit yerleşime sahip 4x4 örnek histogram alanındaki 8 farklı yönelime olan ağırlığını dağıtmaktır. Burada, 4x4 örnek histogram alanının merkezinden köşe noktaya olan mesafe 1 kabul edilir ve örnek alanın merkeze olan uzaklığı da < alınır ise her örnek noktanın bu örnek alanın yerleşim eksenleri ve yönelim açısının ağırlığı, örnek noktanın bu bileşenlerinin |1 " <| ile çarpılmasındna elde edilir. 29 Sonuç olarak örnek noktaların, kendi bileşenlerinin, Gauss pencere ağırlığının ve merkeze olan uzaklık ağırlığının oranına göre örnek histogram alanına etkisi hesaplanarak 8 yönelime sahip örnek histogram alanı oluşturulur. Her biri 8 yönelimden oluşan 4x4 histogram alanına sahip anahtar nokta 4x4x8=128 öznitelik vektörüne sahip olur. Işık değişiminin doğrusal olması halinde her piksel değerini aynı değişim katsayısı kadar etkileyeceği için değişimdeki etki öznitelik vektörlerinin normalize edilmesi ile giderilir. Histogram değeri piksellerin birbirleri arasındaki farkların ortaya konulması mantığına dayandığı için ışık değişimi bu durumu etkilemez ve ışık değişiminden bağımsız öznitelik elde edilmesini sağlar. Görüntüleme cihazının doyuma girmesi veya üç boyutlu yüzeylerin farklı yönelmelerde farklı değişimler göstermesi ışık değişiminin doğrusal olmamasına sebep olabilir. Bu gibi durumlarda gradyan büyüklüklerinde yönelim açılarına nazaran büyük değişikliklere sebep olabilir. Bu durumu engellemek için 0,2 eşik değerine sahip normalize vektörü uygulanır. Bu değer aynı üç boyutlu nesne için farklı ışık değerleri altında uygulama yapılarak deneyimsel olarak bulunmuştur. Şekil 2.11 Görüntü gradyanı ve anahtar nokta tanımlayıcılar (Lowe 2004) 30 2.8 Görüntü Özniteliği ve Öznitelik Eşleştirme Farklı iki görüntüden elde edilen özniteliklerin eşleştirilmesi için özniteliklere ait histogram yönelim vektörleri karşılaştırılır. İki özniteliğin vektörlerinin birbirine eşit olması iki özniteliğin eşleştirilmesi anlamına gelse de bu durum çoğunlukla mümkün olmamaktadır. Birbirine en yakın histogram yönelim vektörüne sahip iki özniteliği eşleştirmek için Öklid mesafesine bakılmalıdır. ] vektör indeks sayısı; 3 , ^ vektörünün elementi; ve _ , ` vektörünün elementi olmak üzere; <3, _ G3 " _ 3 " _ a 3 " _ <3, _ bc3 " _ (2.42) (2.43) d ] 1,2,3, … f dir (2.44) İki farklı görüntüden, referans görüntüsündeki öznitelik ile diğer görüntüdeki tüm öznitelikler arasındaki Öklid mesafesine bakılır. En yakın mesafeye sahip vektör ve en yakın ikinci mesafeye sahip olan vektör seçilir. Bu iki mesafe karşılaştırılır. Şayet, en yakın mesafe, verilen eşik değeri kere diğer en yakın mesafeden küçük ise iki vektör birbiri ile eşleşmiş kabul edilir. Aksi halde elenir. Yukarıdaki üç adım referans görüntüdeki bütün vektörler için tekrarlanır. Aradaki mesafenin sıfır çıkması durumunda mükemmel eşleşme bulunmuş demektir. En yakın ve ikinci en yakın mesafe arasında eşik değeri kullanılmasını sebebi, yanlış eşleşmelerin 31 önüne geçmektir. Bu değer deneyimsel olarak 1,5 olarak hesaplamıştır (Lowe 2004). Eşik değerinin arttırması elde edilecek eşleşme sayısını azaltmakla birlikte doğru eşleşme oranını arttıracaktır. Düşük yoğunluktaki öznitelik sayısında tablo yapılarak en yakın eşleştirme kolayca bulunsa da yüksek yoğunluktaki yapılar için bu tür bir karşılaştırma verimli olmayacaktır. Bu sebeple yüksek yoğunluktaki yapılarda arama yapabilmek için k-d ağacı (k-d tree) algoritması (Cormen vd. 2001) farklılaştırılarak İlk En İyi Bin (İEİB) (Best Bin First (BBF)) algoritmasını kullanılmıştır (Beis ve Lowe 1997). k-d ağacı (Şekil 2.12) algoritması bulunduğu uzayın sürekli olarak farklı boyutlarda, o boyutun elemanlarının ortalaması göz önünde bulundurularak ikiye bölünmesi ile gerçekleştirilir. Örneğin iki boyutlu uzayda sırası ile ve eksenlerindeki elemanların ortalamalarının alınarak bölütlenmesine dayanır. a3,12, g5,3, h7,14, <9,8, 211,1, 19,15 iki boyutlu uzayın elemanları olmak üzere; birinci basamak x ekseni için ortalama değer elemanı 9 ikinci basamak y sol kol için ortalama değer elemanı 12 sağ kol için 15 üçüncü basamak x sol kol için ortalama değer elemanı 5 sağ kol için 7 üçüncü basamak için x sol kol için ortalama değer elemanı 1 olmak üzere ağaç yapısı aşağıdaki gibidir. BBF algoritması k-d ağacı algoritmasının bazı özelliklerinin değiştirilmesi ile oluşturulmuştur. Tarama yapılırken bulunması beklenen En Yakın Komşu (EYK) (Nearest Neighbour (NN)) çoğunlukla aynı bin’dedir. Bulunan bu komşuya uzak bölgeler elenerek işlem yükü azaltılır. Ancak bu durum çok boyutlu uzay için verimli değildir. Bir diğer işlem ise karşılaştırma için gezilecek eleman sayısının sınırlı tutulmasıdır. 32 <l, 8 ekseni m3, no g5,3 19, np h17,14 211,1 ekseni ekseni Şekil 2.12 k-d ağacı uygulaması 2.9 En Küçük Kareler Yöntemi (EKK) Bir veri tablosuna en iyi uyan fonksiyonu bulma sürecine regresyon analizi denir. En küçük kareler yöntemi regresyon analizinde kullanılan yöntemlerden en çok bilinenidir. (Golayoğlu 2009). Yapılan ölçümlerin doğası gereği, k 1,2, … ] için (2.45) (2.46) olacak biçimde bir fonksiyonun var olduğu, ölçümlerde yapılan hata nedeniyle bu eşitliklerin bazıları veya hepsinin sağlanmadığı kabul edilebilir. Bu düşünceyle, ölçülen değeri için yaklaşık değer kabul edilerek bu yaklaşımdaki hatanın minimum olduğu fonksiyonu belirlenmeye çalışılır. Bu amacı gerçekleştirmek için fonksiyonunun bir takım parametrelere bağlı bir ifadesi bulunduğu varsayılıp eldeki veriler yardımıyla bu parametreler belirlenmeye çalışılır. 33 Örneğin, fonksiyonu g (2.47) ifadesinde olduğu gibi bir doğrusal fonksiyon veya m g h (2.48) ifadesinde olduğu gibi bir karesel fonksiyon olabilir ki bu durumda belirlenmesi gereken parametreler m, g, h, dir. değeri için yaklaşık değer, q , kabul edilince yapılan hata " (2.49) olarak verilir ve amaç, bu hatalar minimum olacak şekilde bir fonksiyonu bulmaktır. EKK yönteminde aranan fonksiyon, ya da onun parametreleri, tüm artıkların kareleri toplamı olan, cI " J I " J a I " J d ifadesini minimum yapacak şekilde belirlenir. 34 (2.50) Şekil 2.13 EKK yöntemi ile bulunan fonksiyon eğrisi (Golayoğlu 2009) 35 3. MATERYAL VE YÖNTEMLER 3.1 Materyal Geliştirilen yöntemin uygulaması 2GHz Intel Core 2 Duo işlemci ve 4 GB 667 MHz DDR2 SDRAM içeren ve üzerinde Mac OS X Ver. 10.5.8 işletim sistemi çalışan Macbook bilgisayarda gerçekleştirilmiştir. Yöntem; Matlab R2008b ortamında gerçeklenmiş ve Andrea Vedaldi tarafından geliştirilen SIFT ver. 0.9.12 algoritması üzerine inşa edilmiştir. Yöntemin uygulamasında kullanılan video görüntüleri Canon firmasına ait, aşamalı (progressive) çekim yapabilen PowerShot G11 sayısal fotoğraf makinası ile kaydedilmiştir. Kaydedilen video görüntüleri 320x240 piksel çözünürlüğe sahip, H.264 sıkıştırma biçiminde ve saniyede 30 film karesinden oluşmaktadır. Uygulamada kullanılan farklı çözünürlükteki video görüntüleri 320x240 piksel çözünürlüğünde kaydedilen görüntülerin, görüntü özelliklerini yitirmeden tıraşlanması ile elde edilmiştir. 3.2 Yöntem Görüntü sabitlemesi için kullanılacak yapı, görüntü içerisindeki her görüntü dilimine ait öznitelik noktalarının belirlenmesi ve bu öznitelik noktalarının ardışık görüntü dilimleri arasındaki yer değiştirmesinden elde edilen Yerel Hareket Vektörleri (YHV) yardımı ile hareket kestirim modeline dayanmaktadır. Görüntü sabitlemesi için gerekli olan öznitelik noktalarının dönme, eğrilme, ışık değişimi gibi özniteliklerin yönelimlerini ve büyüklüklerini etkileyebilecek durumlar doğrudan hareket kestirimini etkileyeceği için seçilecek özniteliklerin güvenilir olması gerekmektedir. Bu sebeple özniteliklerin tespiti için yukarıdaki durumlara bağımlılığı bulunmayan öznitelikler yaratan SIFT algoritması tercih edilmiştir. 36 Her görüntü dilimi için SIFT algoritması kullanılarak oluşturulan öznitelikler geçmişe dönük görüntü dilimlerinin öznitelikleri ile karşılaştırılarak süreklilik arz eden öznitelikler elde edilmesi için Geçmişe Bağlı Öznitelik (GBÖ) algoritması kullanılmıştır. Bu algoritma, görüntüdeki istenmeyen hareketten ve anlık etkilerden kaynaklanan ve bir önceki görüntü diliminde bulunmayan ve belki bir sonraki görüntü diliminde de bulunmayacak özniteliklerin elenmesini sağlamaktır. Bu yöntem, eşleştirme işleminde yanlış eşleşmeye sebep olacak ve yanlış YHV’lerin oluşumuna sebep olacak öznitelikleri elemekle beraber takip edilmek istenilen nesne’nin merkezde olduğu düşünülürse nesneye ait özniteliklerin yoğunluğunun arttırılmasında kullanılmıştır. Geçmişe bağımlı öznitelikler durağan olması istenilen merkez nesne üzerinde yoğunlaşmış olsa da arka tarafta nesneden bağımsız hareketlerin geçmişe bağımlı özniteliklere sahip olması, istenilen merkez sabitlemesine ait YHV’lerin dışında farklı büyüklük ve yönelime sahip YHV’lerinin oluşmasına ve GHV’ün hesaplanmasında hataya sebep olmaktadır. Daha önceki süzgeçleme ile YHV’lerinin yoğunluğunun merkeze yakın bölgelerde arttırılması aynı zamanda sabitlemeye ait YHV’lerinin diğer yönelim vektörlerine göre yoğunluğunun artması anlamına gelmesi sebebi ile eşleştirmeden elde edilen YHV’leri yer değiştirme büyüklüklerine göre sıralanarak yoğunluğu az olan vektör kümesi elenmiştir. Benzer özelliklerdeki özniteliklerin yanlış eşleşmesi GHV’ünün hesaplanmasında hataya sebep olacağı için eşleşme algoritmasında kullanılan Öklid mesafesi eşik değeri arttırılarak yanlış eşleşmeler giderilmiştir ancak bu değerin, farklı özellikteki görüntüler için değişkenlik arz ettiği gözlenmiştir. Çalışma içerisinde yapılan uygulamalarda, eşik değeri deneysel olarak tespit edilmiş ve uygulanmıştır. Sabit platform üzerindeki iki eksenli çevre gözetleme sistemlerinde istenmeyen hareketlerin dışında sistemin yapısı gereği bilinçli hareketler de mevcuttur. Bu hareketlerin istenmeyen hareketlerden ayrılarak görüntünün yöneliminin devam ettirilmesi ancak istenmeyen hareketlerin de giderilmesi gerekmektedir. Kare Ortalamalarının Karekökü (KOK) kullanılarak bilinçli hareket kestirimi yapılmıştır. 37 Sistem şeması özetle aşağıdaki gibidir. GİRİŞ Özniteliklerin ...... Belirlenmesi Özniteliklerin Belirlenmesi Geçmişe Bağlı Özniteliklerin Bulunması f Öznitelik Eşleştirme ve Güvenilir YHV’lerin bulunması Ara Bellek GHV’ünün Bulunması ...... Ara Bellek ...... KOK ile Bilinçli Hareketlerden Arındırma Görüntü Sabitleme ÇIKIŞ Şekil 3.1 Görüntü sabitleme algoritma adımları 38 Ara Bellek 3.2.1 Geçmişe bağımlı öznitelikler Her görüntü dilimine ait bağımsız özniteliklerin, ardışık görüntü dilimlerindeki eşleşmeleri ile elde edilen özniteliklerin yer değiştirme bilgisi görüntünün bütününden bağımsız ele alınabilir. Burada iki görüntü diliminden ilki referans olarak alınır ise eşleştirilecek ikinci görüntüde, görüntünün hareketinden kaynaklanan yeni özniteliklerin oluşması (yeni görüntü öğelerinin görüntüye girmesi) ve/veya eski özniteliklerin kaybolması (eski görüntü öğelerinin görüntüden çıkması) olasıdır. Bu durum, iki görüntü dilimi arasındaki eşleşmeye uygun öznitelik sayısını azaltmaktadır ve yanlış eşleşmelere sebep olabilmektedir, yanlış eşleşen öznitelikler de hatalı YHV’lerin elde edilmesine sebep olmaktadır. İstenmeyen hareketlerin sebep olduğu yeni özniteliklerin ortaya çıkması ve/veya eski özniteliklerin kaybolması çoğunlukla görüntünün kenarlara yakın bölgelerinde gerçekleşmektedir (Şekil 3.2). Bunun sebebi, istenmeyen hareketin ardışık iki görüntü dilimi arasındaki yer değiştirmeye etkisinin saniye bazındaki örnekleme sayısının yoğunluğuna bağlı olarak az olmasıdır. Öyleyse iki görüntü dilimi arasında eşleşecek özniteliklerin, referans görüntünün merkezine yakın özniteliklerden seçilmesi yanlış eşleşen özniteliklerin elenmesinde kullanılabilir. Bahsedilen eleme işleminde kullanılan yöntem aslında doğru eşleşmesi beklenen ortak özniteliklerin alanının daraltılarak yoğunluğunun arttırılmasına dayanmaktadır, fakat bu yöntem için kullanılması gereken alanın şeklinin ve büyüklüğünün, istenmeyen hareketin belirsizliği sebebi ile hesaplanması oldukça zordur. Bu nedenle harekete göre kendini adapte edebilen alanın şekli ve büyüklüğü belirlenerek doğru eşleşmesi kesin öznitelikler elde edilebilir. 39 Şekil 3.2 Görüntünün yer değiştirmesi ile belirlenen ortak öznitelikler Sistem yapısı gereği ardışık görüntü dilimlerinden oluşmaktadır ve görüntünün sürekliliği düşünülürse her görüntü dilimi kendisinden önceki ve sonraki görüntü dilimlerinden görüntü öğesi içermektedir. İşte bu görüntü dilimlerinin ortak kesişimi, harekete bağlı oluşan yeni görüntü öğelerinin özniteliklerinden arınmış, geçmişe bağlı süreklilik arz eden güvenilir özniteliklerin bulunduğu alanın tanımlanmasını sağlar (Şekil 3.3). Bu alan hareketin yoğunluğuna göre kendi şekil ve büyüklüğünü adapte eder. 40 Şekil 3.3 Hareketli görüntü ortak alanı Önceki görüntü dilimlerinin özniteliklerinin, YHV’lerinin bulunması amacı ile hesaplandığını düşünürsek, geçmişe bağımlı özniteliklerin bulunması için görüntü dilimlerinin kesişim alanının tanımlanması yerine geçmişten gelen özniteliklerin işlenecek görüntü dilimine kadar olan ortak paydası bulunarak ortak alan içerisinde bulunan öznitelikler doğrudan elde edilmiştir (Şekil 3.4). Şekil 3.4 Geçmişe bağımlı özniteliklerin bulunması 41 İşlenecek görüntü dilimi için kendisinden önceki bütün geçmiş görüntü dilimlerinin ortak paydasını almak biriken her görüntü dilimi için fazladan eşleştirme ve eleme için işlem yükü getirmekle beraber, geçmişten gelen her öznitelik bir önceki görüntü diliminden elenerek geldiği için sayısı ortak paydanın alanının azalması ile azalmaktadır ancak ortak paydanın kalmaması öznitelik sayısını sıfır yapar. Bu durum geçmişte referans alınan ilk görüntü diliminin kapsadığı alanın dışına çıkıldığında gerçekleşir. Bunun önüne geçmek ve görüntünün sürekliliğine bağlı olarak oluşacak yeni güvenilir özniteliklerin de işleme katılmasını sağlamak için işlenecek görüntüden geriye doğru belli sayıdaki görüntü dilimine ait öznitelikler hesaba katılmalıdır. Öyleyse; r , n. görüntü diliminin geçmişe bağlı süreklilik arz eden öznitelikler kümesi s , n. görüntü dilimi öznitelikler kümesi ve N, geçmişe bağımlılık katsayısı (GBK) ise r st u stB u stB u … s (3.1) olarak tanımlanabilir. vs , n. görüntü dilimi öznitelikler kümesinin eleman sayısı olmak üzere; Bu karşılaştırmaya bağlı işlem yükü W; w vst 8 vstB vst u stB 8 vstB (3.2) vst u stB u stB 8 vstBR … vst u stB u stB u … s 8 vs dir. Geçmişe bağlılık katsayısı, istenmeyen hareketin frekansı ve yer değiştirme miktarı ile ilişkili olmakla birlikte, istenmeyen hareketin yansıdığı en basit platform olan el kamerası ile yapılan görüntü kayıtları değerlendirilmiştir. Sonuç olarak el kamerası ile çekilen görüntüler vücudun yumuşatma etkisinden ötürü mekanik platformlara ve 42 çevresel darbelere göre daha düşük frekanslı istenmeyen hareket üretmesi sebebi ile üretilecek geçmişe bağlılık katsayısı bahsedilen platformları da doğruluk olarak kapsayacaktır. Yine de işlem yükünün azaltılması için uygulanacak platformun aşağıdakine benzer bir analizi yapılarak doğru sonuca varılabilir. Çizelge 3.1 Farklı görüntülerin GBK ile öznitelik ilişkileri 1.Görüntü 2.Görüntü 3.Görüntü 4.Görüntü Öznitelik Sayısı Öznitelik Sayısı Öznitelik Sayısı Öznitelik Sayısı 1 719 598 161 262 2 514 351 101 159 3 382 254 73 120 4 314 200 45 75 5 275 175 39 55 6 250 160 33 45 7 229 150 33 39 8 198 144 28 30 9 174 135 24 25 10 156 133 22 22 11 142 125 22 18 12 134 121 21 17 13 127 118 16 15 14 125 114 14 13 15 124 111 14 13 16 123 102 14 13 17 120 96 14 13 18 116 91 14 13 19 113 88 13 13 20 109 83 13 13 GBK 43 ’den elde edilen şekil 3.5’de, el kamerası ile çekilmişş durağan dura olmayan farklı Çizelge 3.1’den çözünürlüklerdeki dört farklı görüntüye ait 30. dilimlerinin geçmişe geçmi bağımlı öznitelik sayılarının, geçmişe şe bağımlılık ba katsayısı ile ilişkisi gösterilmiştir. 800 700 Öznitelik Sayısı 600 500 400 300 200 100 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Geçmişe Bağımlılık Katsayısı 1. Görüntü 2. Görüntü 3. Görüntü 4. Görüntü Şekil 3.5 3. Farklı görüntülerin GBK ile öznitelik ilişkileri iliş Grafikten de gözlendiği gözlendi gibi; geçmişe bağımlılık ımlılık katsayısı ilk birkaç değerde de hızla düşmekte mekte daha sonra sabite yakın azalan bir eğri e izlemektedir. Deneysel eneysel olarak yapılan çalışmalarda malarda geçmişe bağımlılık ba katsayısı 8 olarak belirlenmiştir. Geçmişe bağımlı özniteliklerin niteliklerin tespitindeki bir diğer di er önemli avantaj ise görüntünün hareketinden bağımsı ğımsız anlık ortaya çıkan etkenlerin (hızlıca bir cismin ortaya çıkıp kaybolması, rüzgarın ağaç a dalına verdiğii hareket sebebi ile görüntüde beliren anlık öznitelikler, küçük ölçek ö değişimlerinin sebep olduğuu anlık beliren öznitelikler vb.) sistemin hafızalı yapıya sahip olması sebebi ile ortadan kaldırılabilmesidir. Şekil 3.6’da aynı görüntü diliminden birincisinde geçmişe bağımlılık ğımlılık katsayısı 1 alınmış alınmı (geçmişe bağımlılığı ğı olmayan) ol diğerinde ise 8 alınarak öznitelikler geçmişe bağımlı 44 kılınmıştır. Elde edilen sonuç bahsi geçen tüm etkenlerden arınmış doğruluğu kesin ve geçmişten gelen güvenilir özniteliklere sahip görüntü dilimidir. (a) (b) Şekil 3.6.a. Geçmişe bağımlı olmayan, b. Geçmişe bağımlı olan öznitelikler 45 3.2.2 Eşleştirme eşik değeri ile güvenilir YHV’lerin bulunması Bilinçli veya istenmeyen hareketlerin sebep olduğu, görüntü üzerindeki özniteliklerin ardışık görüntü dilimlerinde yer değiştirmesi ile görüntüdeki genel hareketin kestiriminin yapılabilmesi için birbiri ile doğru eşleşen özniteliklerin yer değiştirmesi kullanılmıştır. Aslında bu eşleşme YHV’lerin yönünü ve büyüklüğünü vermektedir. İşte bu YHV’ler yardımı ile görüntüdeki Genel Hareket Vektörü (GHV) bulunmuştur (Şekil 3.7). YHV GHV Şekil 3.7 YHV’den GHV’ünün tanımlanması Görüntü’deki her YHV görüntü’nün genel yer değişimini vermeyecektir. Bunun sebebi; birbirine yakın özelliklere sahip özniteliklerin bulunmasıdır. GHV tespiti için iki görüntü dilimi arasındaki yakın özellikteki özniteliklerin yanlış eşleşmesinden elde edilen bütün YHV’lerinin değerlendirilmesi yanlış yönelmelere sebep olmaktadır. Bunun önüne geçmek için eşleştirme algoritmasındaki eşik değeri değiştirilerek eşleştirme işlemi hassaslaştırılmış ve eşleştirme algoritmasından hemen sonra yanıltıcı YHV’leri elenmiştir. 46 Eşleştirme algoritmasında, Öklid mesafesine bakılarak eşleştirilen öznitelikler için kullanılan eşik değeri yanlış eşleşmelerin önüne geçmek üzere değiştirilebilir. Bu durum eşleşen öznitelik sayısında değişikliğe sebep olacaktır. İki boyutlu uzayda hareket kestirimi için bir çift doğru özniteliğin birbiri ile eşleşmesi yeterli olduğu göz önünde bulundurulur ise doğru vektör yoğunluğuna ne kadar ulaşılırsa GHV doğruluğu da o derece artmaktadır. Diğer taraftan eşik değerinin yükseltilmesi ile doğru eşleşen özniteliklerin elenmesinden kaçınılmalıdır (Şekil 3.8). Şekil 3.8 Eşleşme eşik değerinin arttırılması ile yanlış eşleşmelerin giderilmesi Çizelge 3.2’de 210x110 piksellik bir görüntünün farklı Öklid mesafesi eşik değeri için eşleşme sayıları ve hatalı eşleşme sayıları verilmiştir. 47 Çizelge 3.2 Eşleştirme eşik değerinin hatalı eşleşme üzerindeki etkisi Eşik Değeri 1.5 1.7 1.9 2.1 2.3 2.5 2.7 2.9 3.1 3.3 3.5 3.6 3.7 Eşleşme 60 48 45 42 37 37 34 31 29 25 21 19 18 6 4 4 2 2 2 2 2 2 1 1 0 0 Hatalı Eşleşme Bölüm 2.3’de bahsi geçen hareket analizi süreci göz önüne alınır ise görüntünün genel hareketi üç parametreye bağlıdır. Bunlar dönme, yakınlaştırma-uzaklaştırma (ölçek değişimi), ekseni yönünde kayma ve ekseni yönünde kaymadır. Sabit platform üzerinde sabit alanı gözleyen sistemlerde rüzgar, ani darbe vb dış etkenlerin sebep olduğu hareketin veya iki eksenli çevre gözetleme sistemlerinde, eğrilme açısı, dönme ve ölçek değişimi görüntünün tümü için geçerli olmadığı varsayılır ise (2.8) eşitliğindeki * 1 kabul edilerek eşitlik aşağıdaki gibi düzenlenebilir. (3.3) Yukarıda bahsi geçen eleme tekniklerinden elde edilen öznitelikler, ardışık görüntü dilimlerinde eşleştirilmiştir. Eşleşen özniteliklerin yer değiştirme miktarından ve yönünden (3.3) eşitliğindeki ∆ ve ∆ değerleri elde edilmiştir. Referans görüntü ile karşılaştırılan görüntü diliminin "∆ ve "∆ kadar kaydırılması ile iki görüntü üst üste bindirilerek görüntünün sabitlenmesi sağlanmıştır. Hareketin sürekliliği göz önünde bulundurulursa özellikle içerisinde hareket eden bir nesnenin bulunmadığı görüntülerde neredeyse bütün hareket vektörlerinin yönelimi ve büyüklüğünün birbirine eşit veya yakın olduğu gözlenmiştir. Ancak görüntü içerisinde hareket eden nesne veya nesneler var ise hareket vektörlerinin yönelimleri ve büyüklüklerinin farklı olduğu görülmüştür. Bu durum görüntü içerisinde takip edilen ve görüntüde oldukça fazla oranda yer kaplayan nesnenin görüntülenmesinde gözlenmiştir. Örneğin şekil 3.9.a.’da ilerleyen araba görüntülenirken sabitlenmesi gereken nesnenin 48 araba olduğu düşünülürse, arabanın sağında ve solunda yola ait olan öznitelikler, hareket halindeki arabanın yol ile farklı bağıl hızlara sahip olması sebebi ile farklı yer değiştirme göstermiştir. Aynı şekilde, şekil 3.9.b.’de gösterildiği gibi gözlenmekte olan kavşaktaki hareket halindeki minibüsün hareket halinde olması kavşaktaki görüntü sabitlemesine yanlış yönelim bilgisi verecek farklı hareket vektörlerin oluşmasına sebep olmuştur. (a) (b) Şekil 3.9.a.b. Farklı yönelim gösteren öznitelikler Yönelim hatası veren bu vektörlerden kurtulmak için tüm hareket vektörleri bir tabloda sıralanmış, birbirine yakın hareket vektörleri gruplanmıştır. Çoğunluk vektör grubu tutularak geri kalan vektör grubu elenmiştir. 49 3.2.3 Bilinçli hareket kestrimi Yukarıdaki süzgeçler kullanılarak elde edilen YHV’leri, GHV’ünün hesaplanması için güvenilirdir. YHV’lerinin ve yönündeki yönelimlerinin ve büyüklüklerinin ayrı ayrı ortalaması GHV’ünün yönelimini ve büyüklüğünü vermektedir. Yalnız bilinçli yapılan hareketler ile titreşimlerden kaynaklanan istenmeyen hareketlerin birbirinden ayrılması gereklidir. Bu ayrımı sağlamak için elde edilen güvenilir GHV’lerin ekseni yönündeki yer değiştirme ve ekseni yönündeki yer değiştirme değerleri ayrı ayrı ele alınmıştır (Şekil 3.10). 70 60 Yer Değiştirme (Piksel) 50 40 30 20 10 0 0 20 40 60 80 100 120 Görüntü Dilimi Şekil 3.10 Bilinçli hareket etrafındaki istenmeyen hareket eğrisi Görüntü dilimleri arasındaki düzeltilmesi gereken hareketler yumuşak olmasa dahi bu hareketler görüntüyü yönlendiren bilinçli hareketlerin çevresinde rastgele olarak gerçekleştiği ve sinüzoidal bir yapıya benzediği varsayılır ise tahmini ortalama değer Kare Ortalamalarının Karekökü (KOK) (“Root Mean Square” (RMS)) ile hesaplanmıştır.(3.4) eşitliği xy , ekseni yönünde kayma hareketlerinin KOK’unu hesaplarken, (3.5) eşitliği xy , ekseni yönünde kayma hareketlerinin KOK’unu hesaplamaktadır. ] değeri ise hesaba katılan parametre sayısını belirtmektedir. 50 xy xy a ] (3.4) a ] (3.5) ] 1,2, … f (3.6) KOK’dan elde edilen değerin güvenilirliğini arttırmak için her bir görüntü diliminin öncesindeki ve sonrasındaki ]/2 mesafedeki görüntü dilimleri hesaba katılarak bulunan değer o görüntü dilimine ait bilinçli hareketi temsil edecek şekilde göz önüne alınmıştır. ] değerinin tek sayılardan oluşması simetri açısından gereklidir ve 1’den büyük olması koşulunda ortalama bir değerden bahsedilebilir. Öyleyse yeni ] değerleri ] 3,5,7, … f (3.7) şeklindedir. Bu durum giriş ve çıkış arasında ]/2*(görüntü dilimleri arasındaki süre) kadar bir gecikmeye sebep olmuştur. ] değeri genişledikçe ortalama değere yaklaşılsa da görüntüdeki gecikmeyi arttıracağından en uygun değer belirlenmelidir. Yumuşak geçişlerin ve titremelerin yaşandığı bir durumda ani değişimler söz konusu olur ise ] değerine adaptiflik kazandırılarak bu durum telafi edilebilir. Bilinçli hareket tespiti sayesinde, istenmeyen hareketlerin düzeltmesi yapılırken bilinçli hareket hataları göz önünde tutularak düzeltme gerçekleştirilmiştir. 51 Gerçekleştirilen uygulamada, 100 adet görüntü diliminden oluşan ve eksenin boyunca -40/+150 aralığında yer değiştirme, ekseni boyunca ise 0/+130 aralığında yer değiştirmeye sahip görüntünün grafiği şekil 3.11 ve şekil 3.12’de verilmiştir. Kırmızı renk ile elde edilen eğri her görüntü diliminin, ilk görüntü dilimine karşılık gelen yer değiştirme miktarını vermektedir ve bu yer değiştirme eğrisinden KOK için hesaba katılan parametre sayısı 7 olarak alındığında 2 görüntü dilimi kadar gecikme ile istenmeyen hareketin etrafında salınım yaptığı mavi renkli bilinçli hareket eğrisi elde edilmiştir. Öyleyse ekseni ve ekseni için elde edilecek YHV vektörünün büyüklüğü :Yz% xy " (3.8) ve :Yz xy " (3.9) dir. Burada YHV’nin işareti yer değiştirmenin hangi tarafa doğru olacağını vermektedir. Dikkat edilmesi gereken bir konu, xy ve xy değerlerinin işlemin yapısından ötürü her zaman pozitif çıkmasıdır. Halbuki yönelime göre ve değerleri negatif tarafa geçebilir. Bu sıfır geçiş hatasını ortadan kaldırmak için yer değiştirmenin hiçbir zaman gerçekleşmeyeceği büyüklükte ofset eklenmiştir. Örnek verilen görüntü için bu ofset değeri 100 piksel olarak alınmıştır. Burada elde edilmesi beklenen sonuç iki parametrenin birbirine göre durumu olması sebebi ile her iki değişkene de eklenecek ofset sonucu etkilemeyecektir. 52 Şekil 3.11 x ekseni için hareketin bütününden (kırmızı çizgi) bilinçli hareketin (mavi çizgi) tespiti Şekil 3.12 y ekseni için hareketin bütününden (kırmızı çizgi) bilinçli hareketin (mavi çizgi) tespiti 53 4. BULGULAR Görüntü serisindeki her görüntü dilimine ait bağımsız öznitelikler, SIFT algoritması kullanılarak bulunmuştur. Bu öznitelikler eşleştirilerek ardışık görüntü serileri arasındaki görüntünün yer değiştirme miktarı ve yönü hesaplanmıştır ancak görüntüdeki her özniteliğin doğru eşleştirme gerçekleştiremediği gözlenmiştir. Bu durumun yer değiştirme hesaplamasında kestirim hatasına sebep olduğu bulunmuştur. Doğru eşleşmenin sağlanabileceği kararlı özniteliklerin bulunabilmesi için görüntü dilimlerini bağımsız ele almak yerine geçmişe bağlı süreklilik arz eden öznitelikleri ortaya çıkartan Geçmişe Bağımlı Öznitelik algoritması kullanılmıştır. Bu algoritma, öznitelik noktaları çıkartılan görüntü diliminin geçmişteki görüntü dilimlerindeki öznitelikler ile ortak paydasına ait özniteliklerin tutularak geri kalanların elenmesine dayanmaktadır. Bu nedenle, elde edilecek geçmişe bağımlı öznitelik noktalarının, görüntü diliminin kendisinden önceki görüntü dilimlerinde de bulunması gerekmektedir. Görüntü dilimlerinde ortak paydanın bulunmaması geçmişe bağımlı öznitelik sayısını sıfıra indirdiği gözlenmiştir. Bu durumun önüne geçmek için ortak paydanın aranacağı görüntü dilimi sayısı sınırlandırılmıştır. Yapılan deneyler neticesinde hareketli bir görüntüde en iyi sonucun 8 görüntü diliminde alındığı bulunmuştur. Ayrıca bu eleme ile yalnızca hareketten kaynaklı oluşan veya kaybolan öznitelikler elenmekle kalınmamış, bir cismin görüntüde anlık olarak belirmesi veya rüzgar etkisi ile ağaç dallarının hareketinden oluşan geçici ve yanıltıcı özniteliklerin de elenmesi sağlanmıştır. Elde edilen geçmişe bağımlı öznitelikler kararlı yapıda olsa da birbirine benzer özelliklere sahip özniteliklerin yanlış eşleştiği gözlemlenmiştir. Bu durumun önüne geçmek için eşleştirme algoritmasında kullanılan Öklid eşik değeri arttırılarak benzer özniteliklerin elenmesi sağlanmış ve yanlış eşleşmelerin önüne geçilmiştir ancak bu değerin, farklı özellikteki görüntüler için değişkenlik arz ettiği gözlenmiştir. Çalışma içerisinde yapılan uygulamalarda, eşik değeri deneysel olarak tespit edilmiş ve 54 uygulanmıştır. Görüntüleme aygıtının kullanılacağı ortama göre bu değer başlangıç değişkeni şeklinde seçilebilir. Durağan hale getirilmek istenilen görüntünün ilgilendiği ve görüntüde büyük yer kaplayan nesne dışında kalan bölgelerdeki eşleşmelerin veya genel bir görüntüde yer değiştiren küçük nesnelerin, eşleşme sonucu elde edilen yerel hareket vektörlerinde farklı yönelmelere sebep olduğu gözlenmiştir. Bu durum genel hareket vektörünün hesaplanmasında kullanılacak bu yönelmelerde hatalı sonuçlar doğurmaktadır. Bu ilgi dışındaki yönelim vektörlerinin elenmesi için tüm yönelim vektörleri yönelim büyüklüklerine göre gruplandırılmış ve yoğun grubun dışındaki vektörler elenmiştir. Görüntüye yansıyan istenmeyen hareketin yanında bilinçli hareketlerin de varlığı söz konusu olabilmektedir. Yüksek frekanslı istenmeyen hareketten alçak frekanslı bilinçli hareketin ayırt edilebilmesi için KOK yöntemi kullanılarak bilinçli hareket kestirimi yapılmıştır. Bilinçli ve istenmeyen hareketin tam olarak ayırt edilmesi mümkün olmadığından düzeltme tam anlamı ile gerçekleştirilememiş fakat harekette yumuşama gözlenmiştir. Uygulamada kullanılan her bir görüntü diliminin işlenme süresi, görüntü diliminin çözünürlüğüne ve bulunan öznitelik sayısına göre 0,5 ile 1,5 saniye arasında değiştiği gözlenmiştir. Kullanılan uygulama araçları ile gerçek zamanlı durağanlık sağlanamamış ancak görüntü serilerinin kayıt sonrası düzeltilmesinde sonuca ulaşılmıştır. Görüntü serilerinin gerçek zamanlı düzeltilmesini olumsuz yönde etkileyen bir nokta da bilinçli hareket tespitinde kullanılan KOK yönteminin yapısı gereği, hesaba katılan parametre sayısının geleceğe bağlı bileşenler içermesidir. Bu geleceğe bağlı görüntü dilimi bileşenleri, hesaba katılan parametre sayısı ve saniyedeki görüntü dilimi sayısına bağlı olarak sabit bir düzeltme gecikmesi yaratmaktadır. SIFT ile benzer yapıya sahip ve Bay vd. (2006) tarafından yayınlanan Hızlandırılmış Güvenilir Öznitelikler (HGÖ) (Speeded-Up Robust Features (SURF)), güvenilir özniteliklerin bulunmasında SIFT’e göre daha hızlı olduğunu kanıtlamıştır. SURF algoritmasında, her görüntü dizisinden elde edilen farklı ölçeklerde süzgeçlenmiş 55 görüntü piramidi yerine, farklı ölçeklenerek oluşturulan süzgeç, sabit boyuttaki görüntü dizilerine uygulanarak, her görüntü dizisi için ayrı bir işlem yapılmasına gerek bırakmamış ve işlem yükünü azaltmıştır. Juan vd. (2009)’un çalışmasına göre SIFT’ten elde edilen öznitelik sayısının daha fazla olması ölçek değişimine karşı daha güvenilir bir yapı sergilemesine karşılık, SIFT ve SURF için doğru öznitelik eşleştirme oranı oldukça yakındır. İki boyutlu uzayda hareket kestirimi için bir çift doğru özniteliğin birbiri ile eşleşmesi yeterli olduğu ve ölçek değişiminin olmadığı göz önünde bulundurulur ise SURF algoritması ile elde edilecek doğru eşleşmiş öznitelikler hareket kestirimi için yeterli olacaktır. Böylece hareket dizilerinin durağanlığının gerçek zamanlı sağlanmasına yaklaşılmış olacaktır. Eşleşen özniteliklerin ölçek değerlerini de barındırdığını göz önünde bulundurursak, eşleşen özniteliklerin ölçek bilgisi kullanılarak eşleşme neticesine karar verilebilir. Bu bilgi, ardışık görüntü dilimleri arasında farklı ölçeklerdeki özniteliklerin eşleşme esnasında elenmesinde ve böylece işlem yükünün azaltılmasında kullanılabilir. Sabit platform üzerinde sabit alanı gözleyen sistemlerde rüzgar, ani darbe vb dış etkenlerin sebep olduğu hareketin veya iki eksenli çevre gözetleme sistemlerinde, iki eksenli yer değiştirme haricinde yaygın olarak kullanılan bir bileşen de yakınlaştırmauzaklaştırmadır. Bu değişkenin öznitelikler üzerindeki etkisi, özniteliklerin görüntü diliminin merkezinden dışarıya doğru veya dışarıdan görüntü diliminin merkezine doğru yer değiştirmesi şeklinde olacaktır. Yüksek hızlı yakınlaşma-uzaklaşma etkisi görüntüleme aygıtının kendi hareketinden çok içerisindeki merceklerin kullanıcı tarafından mekanik olarak hareket ettirilmesi ile sağlanacağı varsayılır ise, hareketin hangi yönde ve hangi miktarda olduğu bilinmektedir. Bu değişim miktarı, özniteliklerin yakınlaştırma-uzaklaştırma etkisinden ne şekilde etkileneceğinin hesaplanmasında kullanılarak düzeltme yapılabilir. 56 5. TARTIŞMA VE SONUÇ Battito vd. (2007) tarafından gerçekleştirilen çalışmada, doğruluğu kesin YHV’lerin bulunması için gerçekleştirilen eleme süzgeçlerinin kesinliğinin geçmişe bağımlı öznitelikler ile belirlenmesi yerine özniteliklerin doğrudan eşleştirilerek piksel bazındaki yer değiştirmesindeki ilişki incelenmiştir. İlk adım olarak eşleşen özniteliklerden elde edilen YHV’lerinden büyüklükleri çok fazla olanlar elenmiştir. Daha sonra eşleşen her özniteliğin bir sonraki konumu EKK yöntemi kullanılarak tahmin edilmiş ve farklı yönelim gösteren öznitelikler elenmiş ve yanlış eşleşmelerin önüne geçilmiştir. Hareketin sürekliliği varsayılarak geçmiş YHV’leri ile yeni elde edilen YHV’leri karşılaştırılmış ve süreklilik arz eden harekete sahip YHV’leri haricindekiler elenmiştir. Gerçekleştirilen deneysel uygulamalarda yüksek frekansa sahip istenmeyen hareketlerde hareketin sürekliliğinin azaldığı ve hatta sürekliliğinin ortadan kalktığı, birbiri ile ardışık görüntü dilimlerinde bile farklı yönelimlere sahip ancak doğru YHV’lerin ortaya çıktığı görülmüştür. Bu koşullar altında hareketin sürekliliğinden bahsedilememekte ve yukarıda bahsedilen algoritma ile bu hareket vektörleri de elenmektedir. Bu hareket vektörlerinin elenmesi doğru yönelime sahip hareket vektörlerinin de yoğunluğunu azaltarak ilgi dışındaki hareket vektörlerinin yoğunluğunu arttırmakta ve daha sonra hesaplanacak hareket modelini yanıltmaktadır. Diğer taraftan, geçmişe bağımlı özniteliklerin kullanılması ile hareketin sürekliliği yerine o hareketi belirleyecek özniteliklerin sürekliliği kullanılarak hareketi sürekli olmasa dahi doğru olduğu bilinen YHV’lerinin yoğunluğu korunmuştur. Censi vd. (1999)’de benzer bir teknikle öznitelik noktalarının hareket kestirimini ardışık görüntü dilimlerini kullanarak sağlamaya çalışmıştır. Bu yöntem ilk görüntü diliminin kapsadığı alanın diğer görüntü dilimlerinde de var olduğu ve istenmeyen hareketin Battito vd. (2007)’de olduğu gibi bir doğrusal sürekliği olduğu varsayımından hareket edilmiştir. Bu varsayımlar ışığında kenar noktalardan belirlenen özniteliklerin daha sonraki görüntü dilimlerindeki hareketleri Doğrusal Kalman Süzgeci kullanılarak 57 tahmin edilmiş ve takip edilmiştir. Bu işlem her özniteliğin tüm görüntü diliminde takip edilmesi yerine, merkezi, referans alınan öznitelik olan ve belli bir yarıçapa sahip bir alanda kestirim yapılmıştır. Bu yöntem uygulanabilir olmakla beraber yer değiştirme büyüklüğünün fazla olduğu sistemlerde kestirim alanın yarıçapının arttırılması gerektiğinden işlem yükü artacaktır ve geçmişe bağımlı öznitelikler tekniğinde olduğu gibi yer değiştirme büyüklüğünden bağımsız bir uygulama gerçekleştirilemeyecektir. Aynı zamanda, elde edilen özniteliklerin ışık değişimi, gürültü gibi koşullardan etkilenmesi de algoritmanın güvenilirliğini azaltmaktadır. Görüntüdeki farklı yönelime sahip nesnelerin bulunması ise doğru genel yönelimin ayırt edilmesini mümkün kılmamaktadır. Hu vd. (2007) SIFT algoritması kullanarak bulduğu öznitelikleri ile elde ettiği hareket eğrisini yumuşatarak bilinçli hareketi korumak için iki farklı yumuşatma algoritması kullanmıştır. Öncelikle Gauss fonksiyonu ile hareket eğrisini katlamaya sokarak yumuşatmış daha sonra EKK yöntemine dayanan PYY uygulayarak bilinçli hareketi kaybetmeden ikinci bir yumuşatma sağlamıştır. Bu uygulama bir katlama ve bir kestirim modeli içermesi sebebi ile işlem yükü oldukça fazladır. Ayrıca Gauss fonksiyonunun Gauss çekirdek değerinin arttırılması yumuşatmayı arttırarak bilinçli hareketin kaybedilmesine sebep olmaktadır. KOK yöntemi kullanılarak yapılan yumuşatma hesaba katılan örnek sayısına bağlı olarak gecikmeye sebep olsa bile işlem yükü oldukça azdır (Çizelge 5.1). Ayrıca hareketin frekansına göre adapte edilebilir yapıdadır. Farklı çözünürlükteki görüntüler için görüntü düzeltme algoritması adımları işlem yükü açısından incelendiğinde, SIFT algoritmasının diğer işlem adımlarına göre daha fazla zaman aldığı görülmüştür (Çizelge 5.1). Bir diğer önemli nokta SIFT algoritması sonucunda elde edilen öznitelik sayısı arttıkça GBÖ çıkarım işlem süresinin de uzamasıdır. Bunun nedeni her görüntü dilimi için yapılan geçmişe dönük öznitelik karşılaştırma sayısının (3.2) eşitliğinde verildiği gibi görüntü dilimlerindeki öznitelik sayısı ile bağlantılı olmasıdır. Buradaki işlem yükünü azaltmak için GBÖ çıkarımından önce yapılacak birtakım öznitelik elemeleri ile öznitelik sayısı azaltılabilir. Bu eleme 58 işlemi yerel maksimum ve yerel minimum bulma işlemlerindeki eşik değerinin değiştirilmesi ile elde edilebilir. Çizelge 5.1 Örnek görüntü dilimleri için işlem yükü dağılımı Görüntü Her Çözünürlüğü Görüntü (Piksel) Dilimi ve İçin SIFT GBÖ Eşleşme Her Görüntü Ortalama (%) (%) (%) Dilimi İçin Öznitelik 203 83,49 14,13 309 76,64 245 YHV’lerin YHV’lerin GHV’lerin Hareketin Bulunması Elenmesi Bulunması Yumuşatılması (%) (%) (%) (%) 0,07 0,01 0,12 0,21 0,01 1,96 21,38 0,08 0,01 0,14 0,16 0,01 1,51 86,95 10,40 0,03 0,01 0,13 0,14 0,01 2,33 254 85,54 11,87 0,09 0,02 0,16 0,13 0,01 2,28 261 85,25 12,18 0,08 0,01 0,16 0,13 0,01 2,18 720 60,34 36,09 1,02 0,03 0,17 0,04 0,01 1,49 529 75,79 21,54 0,32 0,02 0,16 0,05 0,01 2,11 548 73,85 23,48 0,43 0,02 0,16 0,05 0,01 2,00 643 66,12 31,32 0,65 0,02 0,17 0,04 0,01 1,67 524 75,45 21,94 0,30 0,02 0,16 0,05 0,01 2,07 596 70,38 26,86 0,56 0,02 0,16 0,05 0,01 1,96 586 71,87 25,50 0,49 0,02 0,16 0,05 0,01 1,90 602 68,66 28,70 0,63 0,02 0,16 0,05 0,01 1,77 604 68,47 28,81 0,65 0,02 0,16 0,05 0,01 1,83 İşlem Süresi Sayısı (sn) (Adet) 150x110 0,51 sn 150x110 0,63 sn 200x160 0,53 sn 200x160 0,54 sn 200x160 0,57 sn 310x230 1,43 sn 320x240 1,21 sn 320x240 1,24 sn 320x240 1,36 sn 320x240 1,14 sn 320x240 1,28 sn 320x240 1,31 sn 320x240 1,30 sn 320x240 1,34 sn 59 Düzeltme (%) Sonuç olarak; hareketli bir görüntüye ait her bir görüntü dilimindeki öznitelikler SIFT algoritması kullanılarak bulunmuş ve bu özniteliklerin geçmişe bağımlı olmayanları elenerek kararlı güvenilir öznitelikler elde edilmiştir. Daha sonra ardışık görüntü dilimlerindeki kararlı öznitelikler eşleştirilmiştir. Eşleştirme algoritmasında kullanılan Öklid mesafesi eşik değeri arttırılarak benzer özellikteki özniteliklerin yanlış eşleşmesinin önüne geçilmiştir. Eşleşen özniteliklerden yerel yer değiştirmeyi veren Yerel Hareket Vektörleri elde edilmiştir. Bu vektörler büyüklük ve yönelim benzerliklerine göre gruplanarak az sayıdaki yanıltıcı vektörler elenmiştir. Kalan YHV’lerinin ortalaması alınarak Genel Hareket Vektörü elde edilmiş ve bu vektör yardımı ile görüntüde ters yönlü bir düzeltme sağlanmıştır. Tek noktayı gözlemleyen sabit platformların aksine, iki eksenli çevre gözetleme sistemlerinde istenmeyen hareketlerin haricindeki bilinçli hareketin kestirimi amacı ile KOK uygulanarak hareketin yumuşatılması sağlanmış ve yüksek frekanslı yer değiştirmeler ortadan kaldırılmıştır. 60 KAYNAKLAR Alharbi, M. A. 2006. Departmant Of The Air Force Air University Air Force Institute Of Technology Master Thesis. Wright-Patterson Air Force Base, Battiato, S., Puglisi, G. and Bruna, A. R. 2008. A robust video stabilization system by adaptive motion vector filtering. Multimedia and Expo, 2008 IEEE International Conferance on Multimedia and Expo. pp. 373-376 Battiato, S., Gallo, G., Puglisi, G. and Scellato, S. 2007. SIFT features tracking for video stabilization. 14th Int. Conf. on Image Analysis and Processing. pp. 825-830 Bay, H., Tuytelaars. T. and Gool, V. L. 2006. Speeded-up robust features (SIFT). 9th European Conferance on Computer Vision. Vol. 3951, pp. 404-417 Bayrak, S. ve Ulusoy, İ. 2009. Gerçek zamanlı görüntü sabitlemede birleşik yöntem. SİU 2009 Beis, J.S. and Lowe, D.G. 1997. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'97) pp. 1000-1001. Blair, B. and Murphy, C. 2007. Difference of Gaussian Scale-Space Pyramids for SIFT1 Feature Detection. Final Project Report. Massachusets Institute of Technology. Bosco, A., Bruna, A., Battiato, S. and Bella, G.D. 2007. Video stabilization through dynamic analysis of frames signatures. IEEE International Conference on Consumer Electronics. Brown, M. and Lowe, D. 2002. Invariant features from interest point groups. In British Machine Vision Conference. pp. 656-665 Censi, A., Fusiello, A. and Roberto, V. 1999. Image stabilization by features tracking. International Conference on Image Analysis and Processing. pp. 665-667 Cormen, T.H., Leiserson, C.E. and Rivest, R.L. 2001. Introduction to Algorithms Second Edition, MIT Press and McGraw-Hill, Chapter 10. Ertürk, S. and Dennis, T.J. 2000. Image Sequence Stabilization based on DFT filtering. IEE Proc. Vision Image Signal Processing, Vol. 147, No. 2, pp. 95-101 61 Ertürk, S. 2003. Digital image stabilization with sub-image phase correlation based global motion estimation. IEEE Transactions on Consumer Electronics, Vol. 49, No. 4, pp. 1320-1325 Feng, H., Zhao, D. and Jiang, Z. 2009. Video stabilization based on modified invariant feature. Optoelectronic Letters, Vol. 5, No. 6, pp. 464-467 Foroosh, H., Zerubia, J. and Berthod, M. 2002. Extension of phase correlation to subpixel registration. IEEE Transactions on Image Processing, Vol. 11, No. 3, pp. 188-200 Golayoğlu, A. 2009 Genel Matematik 2 Ders Notları. Başkent Üniversitesi, http://www.baskent.edu.tr/~afet/dersler/genel_matematik_2/genel_matematik_a nasayfa.htm Güllü, M.K., Yaman, E. ve Ertürk, S. 2002. Bulanık denetleç uygulaması kullanılan kalman süzgeci ile görüntü sabitleme. ELECO 2002 Hu, R., Shi, R., Shen, I. and Chen, W. 2007. Video stabilization using scale invariant features. 11th International Conference Information Visualization. pp. 871-877 Juan, L. and Gwun, O. 2009. A coparison of SIFT, PCA-SIFT and SURF. Internetional Journal of Image Processing. Vol. 3, pp. 143-152 Ko, S., Lee, S. J., and Kang, E. 1999. Fast digital image stabilizer based on gray-coded bit plane matching. IEEE Transactions on Consumer Electronics, Vol. 45, No.13, pp. 598-603 Kwon, O., Shin, J. and Paik, J. 2005. Video Stabilization Using Kalman Filter and Phase Correlation Matching. Kamel, M. And Campilho A. (eds), ICIAR 2005, LNCS 3656, pp. 141-148 Lowe, D.1999. Object recognition from local scale-invariant fetures. International Conference on Computer Vision, Vol. 2, pp. 1150-1157 Lowe, D. 2004. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110 Nulph, R.G. 2004. The end of shaky camera, http://www.videomaker.com/article/9999/. Paik, J., Park, Y. and Kim, D. 1992. An adaptive motion decision system for digital image stabilizer based on edge pattern matching. IEEE Transactions on Consumer Electronics, Vol. 38, No. 3, pp. 607-615 62 Vella, F., Castorina, A., Massimo, M. and Messina, G. 2002. Digital image stabilization by adaptive block motion vectors filtering. IEEE Transactions on Consumer Electronics, Vol. 48, No. 13, pp. 796-801 Yang, J., Schonfeld, D., Chen, C. and Mohamed, M. 2006. Online video stabilization based on particle filters. IEEE Inter. Conf. on Image Processing. pp. 1545-1548 63 ÖZGEÇMİŞ Adı Soyadı : Gürkan KOCADERE Doğum Yeri : Ankara Doğum Tarihi : 13.01.1980 Medeni Hali : Evli Yabancı Dili : İngilizce Eğitim Durumu (Kurum ve Yıl) Lise : Özel Yüce Fen Lisesi (1994-1997) Lisans : Başkent Üniversitesi Elektrik Elektronik Mühendisliği (1998-2003) Yüksek Lisans : Ankara Üniversitesi Fen Bilimleri Enstitüsü Elektronik Mühendisliği Anabilim Dalı (Temmuz 2010) Çalıştığı Kurum/Kurumlar ve Yıl Deka Digital Ltd. Şti. (2003-2006) Novalit Elektronik İletişim Sanayi ve Ticaret A.Ş. (2006-2008) Yüksel Savunma Sistemleri A.Ş. (2008--) 64
