Herhangi Bir Metnin Hangi Dilden Olduğunu Hızlıca Anlama

Yapay zekâ dersim için Prolog ile boğuşurken ve comp.lang.prolog haberleşme/tartışma grubunu mesaja boğarken oraya katkıda bulunan bir hocanın, Gertrand Van Noord'un enteresan bir çalışması dikkatimi çekti.

Perl ile yazılmış bir tür dil kategorizasyon programı. Yani bir GİRDİ'ye bakıp, "hmm bu Türkçe" diyor, başka bir girdiye bakıp "hmm, bu da Portekizce" diyor ve bunu kısa sürede, yüksek başarım oranı ile, 69 farklı dil için yapıyor. Açık kodlu, özgür yazılım kategorisinde alan TextCat'in bir de web demosu var.

Van Noord, TextCat'in ticari ve ticari olmayan rakiplerini de sıralamış. Kendi yazılımına dil sayısı olarak en çok yaklaşan yazılım XEROX Language Identifier ticari bir yazılım ve 40 civarı dil ayırt edebiliyor.

Hep birlikte tekrarlıyoruz: Özgür Yazılımı Seviyoruz! :)

Görüşler

abakana
19 yıl önce

Türkçe' ye özgü ışğ karakterlerinin bulunmadğı metinleri unknown olarak gösteriyor. Bu arada ışğ olmaması kesinlikle kullanılmaması anlamında algılanmalıdır. ı -> i ğ -> g gibi bir dönüşüm yapılmadı.

roktas
19 yıl önce

Hmm... Bu denemeyi hangi ortamda yaptınız? (Tarayıcı + OS) Burada böyle bir sorun yok (Firefox + Debian 3.1 Sarge). Ayrıca ı (idotless) gibi Türkçeye çok özgü karakterleri içeren girişler programa kopya vermek gibi olmuyor mu? :-) Xerox'taki ile kıyaslandığında başarım oranını daha düşük bulsam da programı beğendim. Stallman'in sözlerini unutmamak lazım, özgürlük teknolojiden evladır. ;-)

abakana
19 yıl önce

Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.5) Gecko/20041107 Firefox/1.0

Slackware GNU/Linux 9.1

redline99
19 yıl önce

bende turkce karakterleri kullanmadan bir iki cumle denedim, bazilarini bildi bazilarini bilemedi. Ama bencede basarili bir program.

FZ
19 yıl önce

Türk diline özgü düşük seviyeli doğal dil işleme (morfoloji, deASCIIfying, dil tanıma (Türkçe mi değil mi), imla kontrolü,vs.) konuları ile uğraşan arkadaşlara hararetle tavsiye olunur:

http://tspell.dev.java.net/

Daha önce FM'de haberini geçmiştik:

http://www.fazlamesai.net/modules.php?name=News&file=article&sid=2337

Az zamanda, epey kısıtlı kaynakla çok iş çıkarmış sağlam bir ekibin sırtlandığı bu açık kodlu proje herkesin her türlü desteğine açık, bilginize. Türkçe için yapılan çalışmalar neden bu kadar az ve kısır diye şikayet edeceğinize siz de karınca kararınca (ya da belki aslan payını hedefleyebilecek iddialı bir programcı olarak, belli mi olur ;-) katkıda bulunabilirsiniz.

The_Patch_Mode
19 yıl önce

Az önce web sürümünü denedik arkadaşımla. Fakat programı başarılı bulmadık. Mesela program Türkçe'ye özgü karakterleri içeren kelimeleri hemen tanıyabiliyor. ı, ğ ,ş gibi. Ama bu harfleri içermeyen başka Türkçe kelimeleri yazdığımızda tanıyamıyor. Daha doğrusu yazdığım hiçbir Tütkçe kelimeyi tanımadı diyebilirim.

FZ
19 yıl önce

Kelimeler?

Burada sanırım bir yanlış anlama söz konusu. Program istatistiksel yöntemle çalışıyor gördüğüm kadarı ile, dolayısı ile dillere dair açık bir semantik bilgi içermiyor ve dolayısı ile verdiğiniz metin ne kadar uzun olursa o kadar iyi tahmin yapabiliyor. Mesela aşağıdaki paragrafı "Turkish" olarak kategorize ediyor:

--------------------------------------------------------------------------
Merhaba, bu basit bir deneme. Anadilime ait herhangi bir harf kullanmazsam acaba anlayabilecek misin benim anadilim nedir, hatta noktalama da kullanmazsam olur herhalde. Madem o kadar yetenekliyim diyorsun de bana marifetini.

Pekala, tek bir paragrafla olmuyor demek ki. Bir de bunu dene.

Gene mi bulmak kolay olmayacak emin misin. Belki bu sana daha kolay gelebilir, bir ihtimal, hadi kolay gelsin.
--------------------------------------------------------------------

Yukarıdaki metne aşağıdaki cümleleri ekleyip denediğimde yine aynı sonucu alıyorum:

--------------------------------------------------------
Peki ya bir iki laf daha eklersem o zaman da problem olmadan bana kabul edilebilir bilgi verebilecek misin
------------------------------------------------------

Tabii Türkçeye özgü harf kullanmadan yazacağım diye göbeğim çatladı o ayrı :) Ama programın performansını göstermesi açısından fena değil gibi görünüyor.

Not: Noktalama kullanmayacağım derken, doğru kullanmayacağım manasında, yani mesela soru işareti gereken yere yazmamak gibi ancak tabii bunun programı etkileyeceğini düşünmüyorum çünkü noktalama dağılımının konu ile alakası yok.

Görüş belirtmek için giriş yapın...

İlgili Yazılar

0x7D3, Perl, NTP, vs.

FZ
2 Ocak 2003, 7 dakika okuma süresi

Yeni yılda FM için yazacağım ilk makaleye başlamadan önce tüm okurlara ve katılımcılara barış dolu bir ömür diliyorum.

Bilen bilir zaman konusunda biraz hassasımdır. Hayır yani aşırı değil ama benimle "adama bak, ofisteki PC saatini California'daki bir atom saatine göre senkronize ediyor, deli midir nedir?" şeklinde dalga geçilmesine yol açacak kadar hassasım :).

YZC Sözlük v0.0.4 Çıktı

anonim
18 Eylül 2006, 1 dakika okuma süresi

YZC Sözlük yapısal birkaç iyileştirme ile 0.0.4 versiyona ulaşmıştır. Bu versiyonda:

+ Ezberletici kullanılabilir duruma gelmiştir, detaylı ayarlamalar ile.
+ Harf duyarlı kelime arama özelliği eklenmiştir. SQLite veritabanın gücü ile arama fonksiyonlarımız ilerleyen sürümlerde güçlendirilecektir.
+ Sınavcı çalışmalarına başlanmıştır.

Tüm bunlara ek Web Sitesi çalışmalarımızda devam etmektedir. Sözlüğün güncel versiyonuna, ve kaynak kodlarına sitemiz, http://yzcsozluk.yaz-ar.com/'dan ulaşabilirsiniz.

Bir MPEG Çözücü Nasıl Çözülür ;-)

FZ
29 Ağustos 2003, 1 dakika okuma süresi

Meşhur çip seti ve anakart üreticisi VIA´nın EPIA-M anakartları üzerinde gömülü bir CLE266 MPEG çözücü (decoder) mevcut. Bu özellik söz konusu anakartı multimedya uygulamaları için ideal hale getiriyor. Ancak küçük bir problem var, VIA´nın ürettiği yegane sürücü kapalı kod olarak geliyor. Tabii bu durumda da devreye `hacking´ ve `reverse engineering´ ruhu giriyor! Tabii planlı programlı çalışmanın da önemi yadsınamaz ;-)

İlginç Bir Röportaj

FZ
20 Nisan 2003, 1 dakika okuma süresi

1995 yılında kuruldu. Şu anda bünyesinde 70 kişiyi istihdam ediyor. Geliştirdikleri ve şirketle aynı isimle anılan açık kaynak kodlu yazılım 4.000.000 yerde kurulu ve sorunsuz olarak çalışıyor. Kendileri ile ticari olarak iş yapan 4.000 müşterileri mevcut. Yahoo! 400 adet gerçek zamanlı, görev kritik uygulamasında bu şirketin yazılımını kullanıyor. Yahoo UK ise tamamen bu yazılıma güveniyor. FIFA World Cup sitesi de aynı yazılımdan faydalanıyor. Bu başarı öyküsünün başındaki adam yani şirketin genel müdürü de Linus Torvalds gibi Finlandiya'lı (ancak Linus'tan farklı olarak Helsinki Teknik Üniversitesi'ne gitmiş, Linus'un Helsinki Üniversitesi'ne gidişini yanlış bir karar olarak değerlendiriyor ve bu iki üniversite arasındaki farkı Berkeley ve Stanford arasındaki farka benzetiyor).

Anahtar sözcüğü hala bulamayanlar bu röportaja göz atabilirler.

Windows XP, 2000 ve 2003 kurulumunu katılımsız hale getirmek

pulkas
15 Mart 2006, 1 dakika okuma süresi

Windows kurulumunu hiç bir zaman bu kadar otomatik hale getiremeyeceğiz.

unattended.msfn.org adresinde İngilizce, windocs.org adresinde de Türkçe olarak anlatılanlarla tamamen size özel ve hiçbir kurulum yönergesinin takip edilmek zorunda kalınmadığı otomatik, katılımsız, kurulum cd'si hazırlanabiliyor.