Herhangi Bir Metnin Hangi Dilden Olduğunu Hızlıca Anlama

Yapay zekâ dersim için Prolog ile boğuşurken ve comp.lang.prolog haberleşme/tartışma grubunu mesaja boğarken oraya katkıda bulunan bir hocanın, Gertrand Van Noord'un enteresan bir çalışması dikkatimi çekti.

Perl ile yazılmış bir tür dil kategorizasyon programı. Yani bir GİRDİ'ye bakıp, "hmm bu Türkçe" diyor, başka bir girdiye bakıp "hmm, bu da Portekizce" diyor ve bunu kısa sürede, yüksek başarım oranı ile, 69 farklı dil için yapıyor. Açık kodlu, özgür yazılım kategorisinde alan TextCat'in bir de web demosu var.

Van Noord, TextCat'in ticari ve ticari olmayan rakiplerini de sıralamış. Kendi yazılımına dil sayısı olarak en çok yaklaşan yazılım XEROX Language Identifier ticari bir yazılım ve 40 civarı dil ayırt edebiliyor.

Hep birlikte tekrarlıyoruz: Özgür Yazılımı Seviyoruz! :)

Görüşler

abakana
20 yıl önce

Türkçe' ye özgü ışğ karakterlerinin bulunmadğı metinleri unknown olarak gösteriyor. Bu arada ışğ olmaması kesinlikle kullanılmaması anlamında algılanmalıdır. ı -> i ğ -> g gibi bir dönüşüm yapılmadı.

roktas
20 yıl önce

Hmm... Bu denemeyi hangi ortamda yaptınız? (Tarayıcı + OS) Burada böyle bir sorun yok (Firefox + Debian 3.1 Sarge). Ayrıca ı (idotless) gibi Türkçeye çok özgü karakterleri içeren girişler programa kopya vermek gibi olmuyor mu? :-) Xerox'taki ile kıyaslandığında başarım oranını daha düşük bulsam da programı beğendim. Stallman'in sözlerini unutmamak lazım, özgürlük teknolojiden evladır. ;-)

abakana
20 yıl önce

Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.5) Gecko/20041107 Firefox/1.0

Slackware GNU/Linux 9.1

redline99
20 yıl önce

bende turkce karakterleri kullanmadan bir iki cumle denedim, bazilarini bildi bazilarini bilemedi. Ama bencede basarili bir program.

FZ
20 yıl önce

Türk diline özgü düşük seviyeli doğal dil işleme (morfoloji, deASCIIfying, dil tanıma (Türkçe mi değil mi), imla kontrolü,vs.) konuları ile uğraşan arkadaşlara hararetle tavsiye olunur:

http://tspell.dev.java.net/

Daha önce FM'de haberini geçmiştik:

http://www.fazlamesai.net/modules.php?name=News&file=article&sid=2337

Az zamanda, epey kısıtlı kaynakla çok iş çıkarmış sağlam bir ekibin sırtlandığı bu açık kodlu proje herkesin her türlü desteğine açık, bilginize. Türkçe için yapılan çalışmalar neden bu kadar az ve kısır diye şikayet edeceğinize siz de karınca kararınca (ya da belki aslan payını hedefleyebilecek iddialı bir programcı olarak, belli mi olur ;-) katkıda bulunabilirsiniz.

The_Patch_Mode
20 yıl önce

Az önce web sürümünü denedik arkadaşımla. Fakat programı başarılı bulmadık. Mesela program Türkçe'ye özgü karakterleri içeren kelimeleri hemen tanıyabiliyor. ı, ğ ,ş gibi. Ama bu harfleri içermeyen başka Türkçe kelimeleri yazdığımızda tanıyamıyor. Daha doğrusu yazdığım hiçbir Tütkçe kelimeyi tanımadı diyebilirim.

FZ
20 yıl önce

Kelimeler?

Burada sanırım bir yanlış anlama söz konusu. Program istatistiksel yöntemle çalışıyor gördüğüm kadarı ile, dolayısı ile dillere dair açık bir semantik bilgi içermiyor ve dolayısı ile verdiğiniz metin ne kadar uzun olursa o kadar iyi tahmin yapabiliyor. Mesela aşağıdaki paragrafı "Turkish" olarak kategorize ediyor:

--------------------------------------------------------------------------
Merhaba, bu basit bir deneme. Anadilime ait herhangi bir harf kullanmazsam acaba anlayabilecek misin benim anadilim nedir, hatta noktalama da kullanmazsam olur herhalde. Madem o kadar yetenekliyim diyorsun de bana marifetini.

Pekala, tek bir paragrafla olmuyor demek ki. Bir de bunu dene.

Gene mi bulmak kolay olmayacak emin misin. Belki bu sana daha kolay gelebilir, bir ihtimal, hadi kolay gelsin.
--------------------------------------------------------------------

Yukarıdaki metne aşağıdaki cümleleri ekleyip denediğimde yine aynı sonucu alıyorum:

--------------------------------------------------------
Peki ya bir iki laf daha eklersem o zaman da problem olmadan bana kabul edilebilir bilgi verebilecek misin
------------------------------------------------------

Tabii Türkçeye özgü harf kullanmadan yazacağım diye göbeğim çatladı o ayrı :) Ama programın performansını göstermesi açısından fena değil gibi görünüyor.

Not: Noktalama kullanmayacağım derken, doğru kullanmayacağım manasında, yani mesela soru işareti gereken yere yazmamak gibi ancak tabii bunun programı etkileyeceğini düşünmüyorum çünkü noktalama dağılımının konu ile alakası yok.

Görüş belirtmek için giriş yapın...

İlgili Yazılar

Slashdot efektinden korunma yolları

larweda
30 Ağustos 2001, 1 dakika okuma süresi

Slashdot`u bilirsiniz, bilgisayar aleminde çok tartışmalar yaratan, gelişmelerden haberler veren, onbinlerce insanın takip ettiği saygı duyulan bir sitedir. Slashdot`ta duyurulan haberlerden birinde herhangi bir sitenin adının geçmesi, o sitenin çok (gerçekten çok) fazla hit almasına, ve çoğu zaman da sitenin ulaşılamaz halde zarar görmesine sebep oluyor. Buna alemde "Slashdot Effect" deniyor. Bu aslında bir sitenin duyurulması, geniş kitlelere yayılması adına çok istenebilecek bir durum. Ama site sahipleri sitelerinin göçmesinden (hatta kimi zaman bu yüzden hosting firmalarına cezalar ödemekten) hoşlanmıyorlar. İşte bu sebeple bu tarz bir duruma maruz kalan bir şahsiyet (adam Web-server olarak NT kullanmanın yanlış bir seçenek olduğunu kabul ediyor neyse ki) üşenmemiş, bir "Slashdot Effect Prevention Kit"geliştirmiş.

Python 2.4

tongucyumruk
30 Kasım 2004, 1 dakika okuma süresi

18 aylık uzun bir bekleyişin ardından Python 2.4 çıktı. Yenilikler arasında özellikle dekoratörler, geliştirilmiş üreteç desteği ve long veri itipi ile integer veri tipinin birleştirilmesi göze çarpıyor. Özellikle MS Windows kullanıcılarını ilgilendiren bir diğer yenilik ise bu sürümden başlayarak Python'un MS Windows platformunda msi paketleri kullanılarak dağıtılacak olması. Yeni sürümdeki yeniliklerin bir özetini buradan okuyabilir, daha detaylı bilgiyi ise A. M. Kuchling'in dökümanından okuyabilirsiniz. Yeni sürümü indirmek içinse buraya

NASA Ruby ile Ne Yapıyor?

anonim
11 Mayıs 2005, 1 dakika okuma süresi

Ruby bir programlama dili değildir. Ruby bir eğlence aracıdır. Temel tasarım sebepleri arasında programcıyı eğlendirmek olan başka bir programlama dili yoktur.

Buraya kadar her şey güzel de NASA gibi bir kurumun Ruby ile işi ne?

ÖNEMLİ UYARI : `Bios Logosunu Değiştirelim´ Makalesi Hakkında

crematorium
4 Mart 2003, 1 dakika okuma süresi

Geçenlerde yazdığım ve FZ arkadaşımızın da duyurduğu Bios Logosunu Değiştirelim makalesi hakkında önemli bir uyarı yapmam gerekiyor.

Kendi makinamda Logo'mu zaten değiştirmiştim. Dün gece logodan sıkıldım ve yeniden değiştirmek istedim. Büyük bir hata yaparak daha önceden içine Logo yüklediğim "Bios Binary" dosyamın üzerine tekrardan bir logo attım ve AWDFLASH ile `flash´ladım. Makinayı yeniden başlattığımda maalesef Bios'umun elimde kaldığını farkettim. Şimdi gelelim uyarıya:

Lux Render: Özgür, Fiziksel Tabanlı Render Sistemi

Tarık
4 Ağustos 2009, 1 dakika okuma süresi

Windows ortamında üç boyutlu grafik işiyle iştigal edenlerin GNU/Linux dağıtımlarını tercih 'edememelerinin' birinci nedeni çoğu zaman, yüksek gerçekçilikte görsel çıktı sağlayabilen ve piyasayla yarışabilecek kalitede render sistemlerinin mevcut olmamasıdır.

Fakat durum artık eskisi gibi değil ve ortalık kızışacak gibi. Zira işte tam bu noktada Lux Render dediğimiz alet devreye giriyor ve Maxwell Render gibi paralı akranlarıyla boy ölçüşebilecek kalitede, ışığın fizikteki kurallarını benzetimleyerek çalışıyor ve gerçekten işe yarıyor gibi görünüyor. Hem de bedava. Hem de açık kaynak kodlu.