Video Kamera ile Nabız Ölçümünde Yeni Bir Yaklaşım Serdar

TIPTEKNO‘14
25 – 27 Eylül 2014
Perissia Hotel & Convention Center
KAPADOKYA
TIP TEKNOLOJİLERİ ULUSAL KONGRESİ
Biyomedikal Ölçüm
3. Gün 27 Eylül 2014 Cumartesi (09.45-10.45)
Video Kamera ile Nabız Ölçümünde Yeni Bir Yaklaşım
A New Approach to Measuring Heart Rate with Video Camera
Serdar Alptekin Ürer, Metin Yıldız
Biyomedikal Mühendisliği Fakültesi
Başkent Üniversitesi
[email protected] , [email protected]
1. Giriş
Özetçe
Nabız atımı kalp ve sinir sistemi rahatsızlıkların tespiti
için önemli bir parametredir. Klinikte kalp atım hızı tespiti,
elektrokardiografi (EKG), fotopletismografi, pletismografi
gibi yöntemler ile gerçekleştirilir. Son yıllarda kalp atım
hızının kişiye elektriksel bir temas olmadan tespit edilmesine
dönük çalışmalar artmıştır. Balistokardiyografi, kalp
seslerinden ve kaydedilmiş parmak veya yüz görüntüsü
videolarından nabız atımı tespiti bu çalışmalara örnek olarak
gösterilebilir[1,2]. Bunlar içinde kamera ile kalp atım hızı
tespit sistemleri kişiye temas etmeden, kamerası bulunan
herhangi bir cihaz ile sadece bir yazılım vasıtası ile tespit
edilebilmesi dolayısıyla öne çıkmaktadır.
İlk olarak Chihiro ve Yuji [4] tarafından gerçekleştirilen
kamera ile kalp atım hızı tespitinde, otoregresif spektral analiz
yöntemi kullanılmıştır. Daha sonra gelişmiş sinyal ve görüntü
işleme yöntemleri kullanılarak yapılan iyileştirmeler ile kalp
atım hızının daha doğru tespitine yönelik çalışmalar
yapılmıştır.
Standart kameralar ile nabız ölçen sistemler genel olarak
parmaktan ve yüzden ölçüm yapanlar olarak ikiye
ayrılmaktadır. Parmaktan nabız ölçen sistemlerde parmak bir
led yardımı ile aydınlatılır ve fotopletismografi mantığına
benzer bir yaklaşımla alınan kamera görüntülerinden kalp atım
hızı tespiti yapılır. Yüzden ölçüm yapan sistemlerde ise yüzde
bulunan damarların kanlanma esnasındaki gözle görülmeyen
renk değişimlerinin kamera ile tespit edilebilmesine
dayanmaktadır.
Yüzden ölçümün gerçekleştirildiği çalışmalarda kalp atım
hızı tespit edilirken insanın tüm yüzünün görüntüsü
kullanılmıştır. Bu sistemlerin kalp atım hızı tespitindeki hata
oranları kullanılan algoritmalara ve ortam aydınlatmasına göre
%5 ile %10 arasında değişmektedir. Bu çalışma; damarların
yoğunlaştığı bölgeler yerine tüm yüzün görüntüsünün
alınmasının önceki sistemlerde % 10’a varan hatanın kaynağı
olabileceği hipotezi üzerine kurulmuştur.
Bu çalışmada; tüm yüzden alınan ve damarların
yoğunlaştığı
alın
bölgesinden
kaydedilen
video
görüntülerinden kalp atım hızı tespiti yapılmıştır. Altın
standart olarak EKG ile elde edilmiş kalp atım hızı verisi
kullanılarak, hipotezimizin doğruluğu hata paylarının
karşılaştırılması ile test edilmiştir. Bundan sonraki bölümlerde
kullanılan materyaller ve deney düzeneği anlatılmış,
karşılaştırmalı sonuçlar verilmiştir.
Nabız ölçümü kalp ve sinir sistemi hastalıklarının tespiti
açısından fizyolojik sinyaller arasında önemli bir yere
sahiptir. Son yıllarda kalp atım hızının kişiye elektriksel bir
temas olmadan tespit edilmesine dönük çalışmalar artmıştır.
Bunlardan biri olan yüzün kamera görüntüsünden kalp atım
hızı tespiti ile ilgili çalışmalarda tüm yüzün görüntüsü
kullanılmaktadır. İnsan yüzündeki damar dağılımı dikkate
alınmadan gerçekleştirilen bu yaklaşım ile % 5-10 arasında
bir hata ile kalp atım hızı tespit edilebilmektedir.
Bu
çalışmada,
damarların
yoğunlaştığı
alın
görüntülerinden faydalanılarak kalp atım hızının tespiti için
bir algoritma önerilmiştir. Elektrokardiyogramdan elde
edilen kalp atım hızı ile yapılan karşılaştırmalar sonucunda;
tüm yüz görüntüsünden elde edilen kalp atım hızının % 4-7
oranında, alın bölgesinden alınan görüntülerden elde edilen
kalp atım hızının ise %2-3 oranında hatalı olarak tespit
edilebildiği görülmüştür. Alın bölgesinden alınan kamera
görüntüleri ile yapılan kalp atım hızı tespitinin tüm yüze göre
daha doğru olacağı sonucuna varılmıştır.
Abstract
Pulse measurement has a crucial place among the
physiological signals that are used to detect heart and neural
system diseases. Recently there has been an increase in the
number of studies on the detection of heart beat rate without
any electrical contact. During the studies on the detection of
heart beat rate by video footage of face, which are one of these
recent studies, full face images are used. With this approach,
which is carried out without taking the distribution of vessels
into consideration, heart rate can be detected with a margin of
error of 5-10%.
In this study, an algorithm is proposed for the detection of
heart beat rate using video footages of forehead where vessels
are dense. Comparative results of heart beat rate that have
been obtained from ECG suggest that heart beat rate obtained
from full face footage can be ascertained with a margin of
error of 4-7 % and with a margin of error of 2-3 % from the
footage of forehead region. Therefore, the detection of heart
beat rate using the video images obtained from forehead
region will be more accurate when compared to that of full
face.
225
TIPTEKNO‘14
25 – 27 Eylül 2014
Perissia Hotel & Convention Center
KAPADOKYA
TIP TEKNOLOJİLERİ ULUSAL KONGRESİ
Biyomedikal Ölçüm
3. Gün 27 Eylül 2014 Cumartesi (09.45-10.45)
2. Kullanılan Materyaller
Bu çalışmada; Lenovo Y580 Laptop ve dahili olarak
bulunan standart 1280x720 web kamerası kullanılmıştır.
Kamera saniyede 30 kare resim alacak şekilde
ayarlanmıştır. Görüntü alma ve işleme uygulamaları
Matlab Image Acqusition ve Signal Processing araç
kutuları(Matlab 2013a) kullanılarak yapılmıştır.
Kamera ile kaydedilen görüntüden tespit edilecek
kalp atım hızının doğruluğunu test etmek için; 3
denekten 30 saniye boyunca insan yüz görüntüsü ile
birlikte eş zamanlı olarak Biopac MP-36 fizyolojik veri
toplama ünitesi ile EKG kaydı alınmıştır. 0.05-150 Hz
arası band geçiren filtreden geçirilen sinyaller, 1kHz’lik
örnekleme frekansı ile sayısal ortama aktarılmıştır. Şekil
1 de deney düzeneği görülmektedir.
R,G,B
Kanalların
ortalaması
Analiz
Edilecek
Bölge seçimi
0.8Hz-4Hz
Bant
Geçiren
Filtre
Görüntüden
elde edilen
bir kare
Normalizasyon
Kayan
Ortalama
Filtresi
R,G,B
kanallara
ayırma
Bağımsız
Değişken
Analizi
Fourier
Transform
Şekil 2: Kullanılan sinyal işleme algoritması
Ardından bu kanalların sayısal ortalaması alınarak
yeni bir dizi oluşturulmuştur. Sonrasında sinyalin
ortalaması sinyalden çıkarılıp ve standart sapması ile
oranlanarak normalizasyon işlemine tabii tutulmuştur.
Normalizasyon işleminden geçen sinyaller J.F.
Cardoso’nun geliştirdiği bir çeşit bağımsız değişken
analizi yapan joint approximate diagonalization of
eigen-matrices algoritmasından geçirilerek birbirinden
bağımsız 3 farklı sinyale ayrıştırılır. Bunlardan ikinci
sinyal kanlanma dolayısı ile kamera sensörlerinin tespit
ettiği renk değişimlerini gösteren ve nabız sinyalini elde
edeceğimiz sinyal olarak ele alınmıştır.
Bu sinyal, içerisindeki hareket kaynaklı gürültülerin
giderilmesi için, 0.8 Hz – 4 Hz arasını geçiren ikinci
derece Butterworth filtresinden geçirilmiştir. Böylece 45
ile 240 kalp atımlık bölgeye yoğunlaşılmıştır. Sinyal
üzerindeki ani zıplamaların giderilmesi için ise 5
örneklik kayan ortalama filtresinden geçirilmiştir. Bu
işlemden sonra; sinyal içerisindeki en yüksek güce sahip
frekans bileşenini bulmak için, Yule-Walker yöntemi
kullanılarak 2048 nokta için güç spektral yoğunluğu
hesaplanmıştır. En yüksel güçlü bileşen frekansından
(kaf: kalp atım frekansı);
Şekil 1:Deney düzeneği
3. Yöntem
Öncelikle, kaydedilen EKG sinyalindeki R tepelerinin
zamanları tespit edilerek, ortalama kalp atım hızı
belirlenmiştir. Yüzden nabzın tespiti ise, şekil 2’deki
algoritmaya göre gerçekleştirilmiştir.
İlk olarak analiz edilecek bölgenin bulunduğu piksel
aralıkları Matlab’ın kürsör konumunu gösteren
cursorposition uygulaması kullanılarak tespit edilmiştir.
Alınan renkli görüntü kırmızı, yeşil ve mavi
bileşenlerine ayrılıp her bir kare için her bir kanalın
ortalama parlaklık değerleri hesap edilerek 3 farklı
diziye atılmıştır.
Kalp atım hızı = 60 * kaf
1
tespit edilmiştir.
4. Sonuçlar ve Yorum
Şekil 3’te alın bölgesinden elde edilen görüntülere
yukarıdaki algoritmanın uygulanması sonucu elde edilen
sinyal ile EKG sinyali birlikte gösterilmiştir.
226
TIPTEKNO‘14
25 – 27 Eylül 2014
Perissia Hotel & Convention Center
KAPADOKYA
TIP TEKNOLOJİLERİ ULUSAL KONGRESİ
Biyomedikal Ölçüm
3. Gün 27 Eylül 2014 Cumartesi (09.45-10.45)
Tablo 1:EKG den elde edilen ile tüm yüz ve alından elde
edilen kalp atım hızlarının karşılaştırılması
Şekil 3:Alın görüntüsünden elde edilen kalp atımı
değişimi sinyali ve EKG sinyali
Elde edilen sinyalin EKG sinyalini belli bir faz farkı
ile takip ettiği ve her bir kalp atımına karşılık sinyalde
bir tepe ve çukurun varlığı görülmektedir. Bu sinyal
fotopletismografi cihazları ile elde edilen sinyalle
benzemektedir.
5. Kaynakça
[1] Xia, H., Bao, Z., & Jiang, H. Mobile cardiac pulse
measurements. Electrical Engineering, Stanford//URL:
http://www.stanford.edu/class/ee368/Project_12/Reports/Jia
ng_Bao_Xia_Mobile_cardiac_pulse_measurements. pdf.
[2] KWON, Sungjun; KIM, Hyunseok; PARK, Kwang Suk.
Validation of heart rate extraction using video imaging on a
built-in camera system of a smartphone. In: Engineering in
Medicine and Biology Society (EMBC), 2012 Annual
International Conference of the IEEE. p. 2174-2177, 2012.
[3] Poh, M. Z., McDuff, D. J., & Picard, R. W. “Non-contact,
automated cardiac pulse measurements using video imaging
and blind source separation.” Optics Express, 18(10),
10762-10774, 2010.
[4]
TAKANO, Chihiro; OHTA, Yuji. “Heart rate
measurement based on a time-lapse image.” Medical
engineering & physics, 29.8: 853-857, 2007.
[5] POH, Ming-Zher; MCDUFF, Daniel J.; PICARD, Rosalind
W. “Advancements in noncontact, multiparameter
physiological measurements using a webcam.” IEEE
Transactions on Biomedical Engineering, 58.1: 7-11, 2011.
[6] Cardoso, Jean-François. "High-order contrasts for
independent component analysis." Neural computation 11.1:
157-192, 1999.
Şekil 4:Analiz sonucunda elde edilen frekans bileşeni
Alın bölgesinden elde edilen kalp atımı hızı sinyalinin
güç spektrumu şekil 4’ te görülmektedir. En yüksek
güçlü bileşenin frekansı: 1.479 olarak görülmektedir.
Buna göre kalp atım hızı 88.74 atım/dakikadır.
Tablo 1’de EKG den, tüm yüzün kamera
görüntüsünden ve alın bölgesinin kamera görüntüsünden
elde edilen kalp atım hızı değerleri görülmektedir. Aynı
tabloda, EKG sinyalinden elde edilen değerler referans
kabul edilerek, kamera görüntülerinden elde edilen kalp
atım hızlarının hata payları da gösterilmiştir. Üç farklı
deneme için hata payları incelendiğinde tüm yüzden
elde edilen kalp atım hızının literatürdeki benzer
çalışmalara uygun olarak %4-7 arasında olduğu, yüzde
damarların yoğunlaştığı bölgeler ile yapılan çalışma
sonucu hata paylarının %2,3- 3’e düştüğü görülebilir.
Yapılan çalışmalar sonucunda, yüzün damarların
yoğunlaştığı bölgesinden alınan kamera görüntüleri ile
yapılan kalp atım hızı tespitinin daha doğru sonuçlar
verdiği tespit edilmiştir.
227