Göz Hareketlerinin Takibi ve Kaydedilmesi

Artık bilgisayara komut vermek için klavye ve farenin yanında gözlerimizi de kullanabileceğiz.

Göz hareketlerinin takip edilmesinin ve kaydedilmesinin geçmişi 1930'lara kadar gidiyor. Ilk kez, 1936'da Mowrer, göz hareketlerini otomatik kaydeden bir sistem geliştirdi. Böylece gözün nereye baktığı ve baktığı yöndeki nesneleri algılamak (görmek) için nasıl hareketler yaptığı incelenebilir oldu.

Göz takibi veya bakış takibi olarak adlandıracağımız bu teknik aslında kişinin nereye baktığının bulunmasını sağlar. Uygulamada yapılan ise, gözün hareketlerinin ve bu hareketler sırasında gözbebeğinin durumunun kaydedilmesidir. Yüksek hassasiyet gerektiren bu işlemler, genel olarak "Eye Tracker - göz takipçisi" olarak adlandırabileceğimiz cihazlarla yapılır. Bu tip cihazlarla ilgili bilgiler, yazının ilerleyen bölümlerinde verilecektir.

Bir yazı okuma veya bir resme bakma anında, gözün hareketleri incelenerek, insanın okuduğu/baktığı objeyi nasıl algıladığını ve bu görsel bilgiyi, hafızasında varolan eski bilgilerle nasıl eşleştirdiğini konu alan birçok bilimsel çalışma yapılmıştır. Göz hareketlerinin takip edilmesi, insan-bilgisayar etkileşimi konusunda da önemli gelişmelere yol açmıştır. Gözün takibi ile insandan bilgisayara doğru olan veri akışının kapasitesi artırılmış ve potansiyel bir hız kazancı sağlanmış olur.

Göz takibinin veriye dönüştürülebilmesi için, kaydedilen göz hareketlerinin işlenmesi gerekir. Bu işleme sırasında, gözün hareketine dair bazı temel özellikler göz önünde bulundurulur. Bakılan nesneyi net olarak görmek için, nesneden gelen ışınlar gözün sarı nokta (fovea) olarak adlandırılan bölgesine düşene kadar, göz küresi hareketini sürdürür. Bu sayede, gözün pozisyonu incelenerek kişinin nereye baktığı tespit edilebilir. Gözün sürekli olarak yaptığı iki hareket sıçrama (saccade) ve "sabitleme"dir (fixation).

Sıçrama olarak adlandırdığımız hareket, iki sabitleme noktası arasında gerçekleşen yapılan çok ani kaymadır. Sıçramayı takip eden sabitleme ise, gözün 200 ile 600 ms'lik bir zaman dilimi boyunca durağan kalmasıdır. Aslında göz, bu sabitleme sırasında bile hareketlidir, ancak bu hareketlilik, sıçrama olarak adlandırılamayacak kadar küçük bir hareketliliktir. Bu küçük hareketlilikler, özellikle bakılan cisim de hareketli ise kolaylıkla gözlemlenebilir. Gözün, sabitleme ve sıçrama dışında, "nystagmus", "vergence" gibi hareketleri de vardır. Ancak bu hareketler, bilgisayar ile etkileşim sırasında önem arzetmezler.

Bu durumda, bilgisayar karşısında oturmakta olan kişinin göz hareketlerini, sabitlemeler ve bu sabitleme noktaları arasında yapılan ani sıçramalar olarak tanımlayabiliriz. Gözün tam olarak sabit kaldığı çok nadir karşılaşılan bir durumdur. Sabitleme olarak adlandırdığımız hareket sırasında bile durmayıp, sürekli aksiyon halinde olan gözün 3 dakika boyunca gösterilen bir resim karşısında nasıl bir hareketlilik gösterdiği aşağıdaki şekilde açıkça görülebilir.



Fare vb. cihazları kontrol eden ellerimize göre çok daha hızlı ve hareketli olan gözlerimizi, bilgisayarla etkileşim sırasında bir girdi aracı olarak kullanmak isteriz. Bunun için, göz hareketlerinin çok iyi analiz edilmesi; gözün en ufak bir hareketini bile yakalayıp işlemeye çalışmak yerine, kişinin bu hareketler esnasında dikkatini nereye verdiğini, bir başka deyişle ne yapmayı düşündüğünü anlamalıyız. Göz hareketlerinin takibinin 3 ana yöntemi vardır:

1. Göze yöneltilen ışın sayesinde, gözbebeğinin tepkilerinin kaydedilmesi. Bu yöntemde çoğu zaman kızılötesi ışınlar kullanılır. Böylece hem kişiye zarar verilmemiş olur, hem de odada yanan ampul vb. çevresel etkenlerin etkisinden kaçınılmış olur.
2. Gözün çevresini kaplayan derideki elektriğin ölçülmesi.
3. Göze takılan özel lenslerle hareketin izlenmesi.

Bu üç teknikten üçüncüsü,kişiye en çok fiziksel temasın yapıldığı, ilki ise, çoğu zaman hiçbir temasın gerekmediği yöntemler olarak dikkat çekiyorlar.

Birinci yöntem kendi içinde 5 ayrı alt yöntem barındırır:

1. Limbus izleme
2. Gözbebeğini izleme
3. Kornea ile gözbebeği etkileşimi
4. Kornea ve göz imajının yapay sinir ağları ile işlenmesi
5. Purkinje imaj izleme

Bu yöntemler, çalışılan ortama, kişinin baktığı/okuduğu objenin özelliklerine bağlı olarak, kesinlik/doğruluk ve hız gibi konularda farklılılar gösterirler.

Göz hareketlerinin izlenmesi üzerine kurulan araştırmalar, insan - bilgisayar etkileşimi konusundan, psikolojiye kadar birçok alanı kapsar. Biz de bu çalışmamızda, yapılmış bazı uygulamaları inceleyecek ve ileriye dönük olarak, ne tür geliştirmeler yapılabileceğine değineceğiz.

The EyeCatcher ve The Little Prince

Danimarka, Roskilde'deki Risq Milli Araştırma Laboratuvarı'nda, tamamen gözle kontrol edilen bir sistem, 1 Haziran 1995'te kullanıma açıldı. Aralarında Lego ve Kopenhag Telefon Şirketi'nin de bulunduğu 10 sponsor bu projeye destek vermişti. EyeCatcher olarak adlandırılan bu sistemde ekranda EyeCon adını verdikleri bir buton vardı. Seçilebilecek objelerin hemen üzerine bu buton yerleştirilmişti. Butonun üzerindeki göz imajı, ona bakıldığı sürece kapanmaya başlıyordu. Göz tamamen kapandığında, ilgili buton seçilmiş oluyordu. Ilk etapta bu sistemle metinler okunuyor, resimlere bakılıyor ve kısa klipler izlenebiliyordu. Projeye sponsor olan firmalar da kendi ürünleri ile ilgili incelemeler yapıyorlardı. Lego firması, insanların, özellikle de çocukların, Lego parçacıklarına nasıl baktıklarını inceliyor, daha dikkat çekici ürünler oluşturmak için veri topluyordu. Kopenhag Telefon Şirketi de, deneylerde, telefon rehberlerinin sarı sayfalarını kullanıyordu. Böylece bu sayfalara konulacak reklamların yerlerini ve fiyatlandırmalarını düzenleyebilmişlerdi.

Bir süre sonra EyeCatcher adlı sistem üzerinde yeni bir uygulama geliştirildi. Adını ve temasını Antoine de Saint Exupery'nin kitabı "The Little Prince"den (Küçük Prens) alan bu uygulama, çocuklara bir animasyon kurgusu ile dünyanın oluşumunu ve bazı bilimsel olayları anlatmayı amaçlıyordu. Çocuk ekranda nereye baksa, o bölge ile ilgili kısa bilgiler içeren bir metin çıkıyor, bazı seslendirmelerle çocukların ilgisi ve dikkati yüksek tutulmaya çalışılıyordu.

EyeCatcher sistemi kurulduktan 2 yıl sonra yaklaşık 9000 kişi tarafından ziyaret edilmiştir.

The Reading Assistant

2000 yılında, ABD, George Washington Üniversitesi'nden John L. Sibert, Mehmet Göktürk ve Robert A. Lavine'in ortak projesi olan bu çalışmanın amacı, okuma zorluğu çeken, özellikle ilkokul öğrencilerine, bu konuda yardımcı olacak bir sistem geliştirmekti.

Yapılan incelemelerde, sabitlemenin süresinin okuma zorluğu ile bağlantılı olduğu ortaya çıktı. Okunması ve anlaşılması zor olan kelimeler, normalden daha uzun süreli sabitlemelere sebep oluyordu. Işte GWGazer Reading Assistant, göz hareketlerini takip eden ve kaydeden bir sistem ile metni sese dönüştüren bir sistemin biraraya gelmesiyle oluşmuştu.

Göz takipçisi, kızıl ötesi ışınlar kullanarak gözün hareketlerini izliyor ve ekran üzerinde baktığı noktanın koordinatlarını hesaplıyordu. Bu koordinatlar GWGazer'a gönderiliyor, GWGazer'da bu koordinatlar ile ekrandaki metni gerçek zamanlı olarak eşleştiriyor ve okuyucunun hangi kelime üzerinde olduğunu yakalıyordu. Reading Assistant'ın yardımcı motoru, kelimenin ne zaman renklendirileceğine ve ne zaman seslendirileceğine karar vermek için o kelime üzerindeki sabitleme süresini girdi olarak alan bir algoritma kullanıyordu. Seslendirme için ise metin örneğindeki her kelimeye ait (*.wav) uzantılı ses dosyaları kütüphanelenmişti.

Bir sabitleme süresini yaklaşık 100 ms. olarak kabul eden sistem, bir kelimenin anlaşılabilmesi için bir sabitlemenin yetersiz olduğunu, bunun yerine bir veya birkaç sabitleme ve bu sabitlemeler arasındaki kısa sıçramaların bir bütünü olarak tanımlanan "dwell" teriminin kullanılmasını öngörüyordu. "Dwell"e ait iki sınır değer belirlenmişti. İlk sınır değer aşıldığında o kelimenin, o anda bakılan kelime olduğu anlaşılıyor ve kelime renklendiriliyordu. İkinci sınır değer aşıldığında ise kelimenin tanınmasında ve okunmasında zorluk yaşandığı hesaplanıp, o kelime sistem tarafından seslendiriliyordu. Bu seslendirme işlemi, ses kütüphanesinden ilgili dosyanın alınması ve çalıştırılması şeklinde yapılıyordu.

Sistem yaşları 10 ile 14 arasında değişen 8 çocuk üzerinde denenmiştir. Bu çocuklardan dördü, öğrenme zorluğu çektikleri için bu konuda yardım alan çocuklardan seçilmiştir. Yapılan deneyler sonucunda, okuma hızı, doğru okuma, sabitleme süresi gibi birçok kriter test edilmiş ve deneklerin gözle görülür bir ilerleme kaydettikleri saptanmıştır. Tablo 1'de deneklerin metni ilk okumaları ve ikinci kez okumaları karşılaştırılıyor ve ölçülen değerler sunuluyor.



Amerika'daki 50.000 okulda öğrenme zorluğu çeken tahminen 10 milyon çocuğa yardımcı olmayı hedefleyen bu sistem halen birçok okulda kullanılmaktadır.

Özürlülere Yardımcı Olan Uygulamalar

Göz takipçisi sistemlerin, laboratuvar çalışmaları kadar sık kullanıldığı alanlardan birisi, özürlü insanların çevreleri ile iletişim kurmalarını sağlamaktır. "Locked-in" sendromu olarak da adlandırılan, göz dışında çevreyle iletişim kuracak organların çalışmaması gibi durumlarda kullanılabilecek en uygun sistemler göz takipçisi sistemleridir. Konuşamayan ve ellerini kullanamayan, ellerini kullanamadığı için yazı yazamayan engelliler gözlerini kullanarak, göz takipçisi sistemlerin bağlı olduğu bilgisayarlar aracılığıyla çevreleri ile iletişim kurabiliyorlar.

LC Technologies firmasının EyeGaze adlı göz takipçisi sistemleri üzerinde, John L. Sibert ve Mehmet Göktürk tarafından geliştirilen bir uygulama, sadece gözlerini kullanabilen engelli insanların göz hareketleri ile yazı yazmalarını ve yazdıklarının sistem tarafından seslendirilmesini sağlamıştır.

EyeGaze sistemi, göz hareketlerinin takibi için, kornea ile gözbebeği etkileşimini (Pupil Center Corneal Reflection, PCCR) kullanır. PCCR metodunun altında yatan teori, kamera görüntüsünde, korneadan gözbebeğinin merkezine doğru oluşan vektörün, bakışın yönü ile doğrudan ilişkili olduğudur. EyeGaze sisteminin çalışma prensibi resim 2'de anlatılmıştır.

Tekerlekli sandalyeye monte edilmiş bir EyeGaze sistemini Resim 3'te görebilirsiniz.





Bu sistemde, kalibrasyonun ardından ekrana gelen klavye (Resim 4) aracılığıyla kişi yazı yazabilir. Bu yazı yazma esnasında, The Reading Assistant uygulamasında olduğu gibi ardışıl sabitlemeler ve bu sabitlemeler arasındaki sıçramalardan oluşan dwell baz alınır. Belirlenen sınır değeri aşan bir süre boyunca aynı harfe bakılırsa o harf seçilmiş/yazılmış olur. Yazmak istediği ifadeyi bitiren kişi, gözünü, yine klavye üzerinde bulunan KONUŞ butonu üzerinde, sınır değeri aşacak bir süre boyunca tuttuğunda, yazılan metin seslendirilmektedir. Bu seslendirilme işlemi, Boğaziçi Üniversitesi'nden Levent Arslan tarafından geliştirilen GVZ sisteminin sisteme entegre edilmesiyle sağlanmaktadır. GVZ sistemi, yazılan herhangi bir Türkçe metnin, seslendirilmesi amacıyla geliştirilmiş çok başarılı bir uygulamadır. (Sistemin çalışmasını gösteren bir videoya buradan erişebilirsiniz.)

Sonuç

Uygulama geliştirme konusunda yüksek potansiyel barındıran göz takibi konusunda, özellikle çocuklara ve özürlülere yönelik ciddi çalışmalar geliştirilmeye devam ediyor. Amerika'da, okuma zorluğu çeken ilkokul öğrencilerine yönelik bazı yardımcı uygulamalar, farklı dildeki metinleri göz hareketleri üzerinde etkilerini inceleyen çalışmalar, tamamlanmış veya henüz devam etmekte olan araştırmalardan sadece birkaçı. Cihazın şu andaki yüksek fiyatının biraz düşmesi, daha fazla üniversite laboratuvarının bu cihazı almasını ve birçok yeni çalışmanın başlamasını sağlayacaktır. Bu konuda Türkiye'nin öncü çalışmalar çıkarabilmesi umuduyla...


H. Coşkun Gündüz, 2005

Referanslar

1- Glenstrup, Arne J., Engell-Nielsen, Theo. Eye Controlled Media, 1995, http://www.diku.edu/~panic/eyegaze/article.html
2- Jacob, R. J. K. The use of eye movements in human-computer interaction techniques: What you look is what you get. 1991. ACM Transactions on Information Systems. LC Technologies. The Eyegaze Computer System^TM