Dilbilim ve Linux Buluşması: Morphix-NLP İncelemesi

0
FZ
DDİ (Doğal Dil İşleme, NLP - Natural Language Processing) yaklaşık son 40 yıldır önemli bir araştırma disiplini olagelmiştir. Dilbilim ve bilgisayar bilimleri yöntemlerini bir araya getiren bu alanda pek çok değişik uygulama ve çözüm bekleyen önemli problemler mevcuttur. Farklı dillerdeki çok büyük metin dosyalarını incelemek, örüntüleri (pattern) keşfetmek, dönüşümleri gerçekleştirmek, metinleri otomatik olarak sınıflandırmak, konuşma sentezlemek ve konuşmayı anlayıp metne dönüştürebilmek, bilgisayarları bizim anadilimizi anlayabilir hale getirmek yani onlara semantik yetiler kazandırmak, vs. DDİ dalındaki önemli meselelerden sadece birkaçıdır.
DDİ konusunda çalışan Çinli araştırmacı Zhang Le, dil analizi ve dil işleme konusundaki en önemli yazılımların büyük bir bölümünü tespit edip bunları tek bir bootable CD´ye yani Morphix-NLP içine yerleştirmiş. Söz konusu CD´de 640 MB´ın üzerinde DDİ işleme yazılımı mevcut ve sıkıştırılmış bir dosya sistemi kullanan CD´nin kapasitesine baktığımızda daha pek çok yazılımı içine yerleştirebilecek kadar boş yerin bulunduğunu görebiliyoruz.

İncelemenin devamını buradan okuyabilirsiniz.

Not: Söz konusu yazıyı daha önce yazdığım şu yazıdan tercüme ettim. Dolayısı ile bazı yerleri bir miktar abuk sabuk gelmiş olabilir, önerisi olan varsa bazı terimler için seve seve gerekli değişiklikleri yaparım :)

Görüşler

0
sametc
bu haberi sanırım bir yerden okudum ama nertden tabiiki slashdot.org :))
0
sametc
durun yanlıs anlasılmasın FZ yazmıstı o haberi ordan dikkatimi cekti ondan dedim bunu
0
FZ
Evet, makalenin İngilizce özgün şeklinin haberini Slashdot sitesinde duyurmuştum ve tabii ileriseviye.org da bir süreliğine meşhur slashdot etkisine maruz kaldı :)

İşin güzel yanı ve buradan farkı haber orada çıktıktan sonra birkaç saat içinde haberin altında 140 kadar yorum vardı. Aralarında ise Linux uzmanlarından tutun, dilbilimcilere, antropolojiyle ilgilenenlerden tutun otomatik tercüme ile ilgilenen insana kadar çok farklı kesimden insan vardı, açıkçası bu kadar çok ve farklı yorum beklemiyordum, hem şaşırdım hem sevindim :) Gönül ister ki aynı kültürel ve entelektüel çeşitliliği bu ortamda da yaşayalım ;-)
0
sametc
değilmi FZ insallah oyle bir ortam olur fazlamesai yakında insallah :) bakıyorum son zamanlarda yorumlar azalıyor :( ve fazlamesai sadece bilgisayar ve linux sitesi olarak anılıyor bu yanlıs bu imajı duzeltmek lazım.:) saygılarımla
0
malkocoglu
DDI'de istatistik kullanimi ilginc: Bu fikrin daha ilkel bir sekli, tarihi belgelerin yazarlarini bulmak icin kullanilmisti diye hatirliyorum. ABD'de ilk cikan politik dergilerde gunun onemli adamlari takma isimlerle yazilar yayinliyorlarmis. Bu makalelerin yazarlari tarihi ispatlardan sonradan bulunabilmisti, fakat bazilarinin kim oldugu bir turlu anlasilamadi. Bunun uzerine tarihciler, zamanin unlu adamlarin ozel mektuplarindaki "the", "a", "in" vs gibi kelimeleri sayarak, bu sayilari anonim makaleler ile karsilastirdilar, ve yazarlari tespit ettiler. Kullanilan kelimelerinin sayisinin insandan insana degismesi ilginc, ama biraz dusununce mantikli geliyor. Hepimizin favori kelimeleri var demek ki! (Mesela bu yorumda mesela "bu" kelimesini 5 kere kullanmisim)
Görüş belirtmek için giriş yapın...

İlgili Yazılar

e-Bergi Eylül Sayısı Yayında

anonim

e-bergi eylül sayısı çıktı. Hem de sizlerden gelen yoğun ilgi üzerine aylık programlama sorumuzun ikincisiyle!

Zemberek Nasıl Çalışır? 1. Bölüm: Sözlük ve Kök Ağacı

FZ

Zemberek bir kelimenin Türkçe olup olmadığına nasıl karar veriyor? Bu basit sorunun cevabı "verilen bir kelimeyi Türkçe kök ve eklerine ayırabilirseniz Türkçedir, ayıramıyorsanız değildir". Kısacası bir kelimenin Türkçe olup olmamasını anlamak için morfolojik analiz yapabilmelisiniz. Türkçe yazım denetimi yapabilmek için önceleri en sık kullanılan kelimelerin bir dosyaya konulup gelen kelimelerin o dosyadan kontrol edilmesi gibi ilk bakışta mantıklı görünen ama biraz inceleyince pratik olmadığı anlaşılan yöntemler de düşünülmüştü. Bu tür yöntemlerin yetersiz olan %98-99 doğrulukla çalışması için bile milyonlarca kelimeyi içermesi gerekir.

Makalenin devamı: http://zembereknlp.blogspot.com/2007/02/zemberek-nasl-alr-1szlk-ve-kk-aac.html

Bilgisayar Bilimcisi Gibi Düşünmek

tekrei

Bilgisayar Bilimcisi Gibi Düşünmek: Python ile Öğrenme 2. baskının Türkçe çevirisini uzun bir zamandan sonra bitirdim.

SFTP chroot için mini nasıl belgesi

conan

Amaç:
Bilgilerin şifreli olarak transfer edileceği bir sftp sunucusu yaratmak.

İhtiyaçlar:
SFTP kullanıcılarını işletim sistemi dosyalarından uzak tutmak. Bağlantıları için kendilerine özel bir chroot yaratmak.
SFTP kullanıcılarının sunucuya ssh üzerinden ulaşımını engellemek.
Becerebilirsek aynı servisi normal sistem yönetimi işlerinde de kullanabilecek şekilde ayarlamak.

Çözüm:
OpenSSH kaynak kodu içerisindeki sftp-server.c dosyasını yamamak ve kullanıcıları sınırlandıran bir kabuk yaratmak.

Nasıl?

Fedora Core 1.0 ile Internet Bağlantı Paylaşımı

anonim

"Linux ile internet bağlantımı nasıl paylaştırabilirim?" sorusu mail listeleri ve forumların en popüler soruları arasındadır. Bu makale En azından fedora için ortaya net bir çözüm koyuyor ve diğer dağıtımlar içinde referans oluşturuyor.