tspell: Türkçe Doğal Dil İşleme Yazılımı

0
FZ
İlk kez Bilgi Üniversitesi´nin bilgisayar bilimleri e-posta listesinde görmüştüm tspell projesinin adresini, sanırım Mart ayı civarıydı, gidip baktığımda ortada henüz bir şey yoktu. Geçen hafta uğradığımda ise Java ile geliştirilmiş ve hiç de küçümsenmeyecek bir sistem ve güzel bir web sayfası karşıladı beni. Bilişsel bilim (cognitive science) ve doğal dil işleme (NLP - Natural Language Processing) konuları ile uğraşan biri olarak heyecanlandığımı inkâr edemem.

İki Türk programcı tarafından başlatılan ve Türk diline ciddi bir teknolojik hizmet olarak gördüğüm böyle bir projenin varlığı, açık kodlu olması ve paylaşıma açık olarak sunulması beni çok sevindirdi.

Bir hayli iddialı olan projenin 0.2 numaralı sürümü hem doğrudan çalışabilir olarak (200 KB) hem de istenirse Java kodları ile birlikte Internet´ten çekilebiliyor. Geliştiricilerin Eclipse yazılım geliştirme platformunu önermeleri ve tspell Java kaynak kodlarının Eclipse üzerinden nasıl çekilip derlenebileceğini anlatan teknik bir makale yazmış olmaları ise benim gibi konuya hızlı bir giriş yapmak isteyen ancak Eclipse ve Java konusunda çok deneyimli olmayan programcılar için çok ciddi bir artı puan. Görebildiğim kadarı ile Eclipse bir hayli güçlü bir platform, CVS işlevselliği de dahil olmak üzere her türlü aracı bünyesinde sunuyor ve entegre olarak ekip çalışmasınız kolaylaştırıyor.
Proje şu anda bünyesindeki sözlük ve algoritmalarla sözlük oluşturma, sözcük denetleme, sözcük çözümleme, Türkçe harf kullanılmadan yazılmış yazıları tam olarak Türkçe yazıya dönüştürme (deASCIIfier) ve tersi işlemleri (ASCIIfier), heceleme işini yapıyor.

Proje kurucu/yöneticileri olan geliştiriciler her türlü katkıya, desteğe ve eleştiriye açıklar. Destek vermeye çalışanları da gayet sıcak karşılıyor ve ellerinden geldiğince yardımcı oluyorlar her türlü konuda. Ben de elimden geldiğince katkıda bulunmaya çalışacağım, şimdilik elimdeki Java kodlarını incelemek ve sistemin algoritmalarını, veriyapılarını anlamakla meşgulüm.

Yazılımcılardan biri Porto Riko´da profesyonel programcı olarak çalışırken diğeri de TÜBİTAK´ta araştırmacı olarak görev alıyor, bir diğer katılımcı da yine bilgisayarla ilgili ve değişik konularda uygulama geliştirmiş biri. Bu projeyi tamamen gönüllü olarak ve ayırdıkları ekstra zamanlarda gerçekleştirilen yazılımcılar genel bir doğal dil işleme çerçevesi oluşturup sistemin genişletilebilir bir şekilde başka sistemlere de hizmet vermesini öngörüyorlar. Bu yüzden de akademik ortamdan olsun, profesyonel yazılım dünyasından olsun, dilbilim ortamlarından olsun her türlü uzmanın katkısını ve desteğini de bekliyorlar.

Görüşler

0
huseyin
http://kilavuz.sourceforge.net [kilavuz.sourceforge.net] sitesinde Hata Toleranslı Sonlu Durum Tanıma (Error Tolerant Finite State Recognition :) ) algoritması kullanarak yazdığımız Linux tabanlı bir imla denetleyicisi var. Emrah OpenOffice'e katılması için uğraşıyor. İlgilenenler bakabilir.
0
roktas
Kilavuz'un binary`sini denedim, gayet güzel çalışıyor. Fakat sizce de önemli bir sorun yok mu ortada? Nerede bunun kaynak kodları? En son Ocak 2003'de güncellenen ve sadece ikili kodu içeren bir paket buluyorum. Şayet böyle bir kaynak var ve ama ben bunu kolayca göremiyorsam o da ayrı bir sorun. Emeğinize saygı gösteriyorum, fakat lütfen özgür yazılım geleneklerine biraz daha özen gösterin. Bu şartlarda OpenOffice`e nasıl nasıl eklenecek bu kod? Kaynak kodun seçilen özgür lisans metniyle birlikte siteye konulmamasını hüsn-ü zan göstererek yoğun mesai içinde ihmal edilmiş bir husus olarak değerlendiriyor ve eleştirimi şimdilik geleneklerin gözetilmemesiyle sınırlıyorum. Sözlerimi her iki projeye verdiğim değerden kaynaklanan bir hassasiyet olarak kabul edin. Umarım kamusal menfaat açısından çok önemli gördüğüm bu başarılı çalışmalar artan katkıcı sayısıyla devam eder ve hızla olgunlaşır. Ama lütfen şu kaynak kodları herkesin ulaşabileceği bir yere koyun. Kimbilir ben de üzerinde ufak ufak hack`lemeye başlarım :-) Sevgilerimle...
0
huseyin
Kilavuz'un kodlari zaten acik. Sitede kodlarin implement edildiği makaleye linkte var. Açık olmayan DFA, yani Türkçe dil makinası. Gerçek sahibi de Üniversite hocamız Sayın Kemal Oflazer http://people.sabanciuniv.edu/oflazer [people.sabanciuniv.edu] veya :) http://sozluk.sourtimes.org/show.asp?t=kemal+oflazer. Sanirim Kilavuz'un ardindan özgür Türkçe sonlu durum makinası yapmak gerekli.
0
sundance
Bir de sanırım bu tür bir haberde, sözkonusu yöntemi geliştiren, bu konuda yıllardır birçok çalışmada bulunmuş olan Kemal Oflazer hocamızdan bahsetmeden geçmek pek doğru olmaz. http://people.sabanciuniv.edu/~oflazer/
0
ahmetaa
Kemal Oflazer suphesiz Turkiyede bu konuda otorite sayilabilecek birisi.
Tspell su an icin Oflazer'in 6-7 yil once geldigi noktaya ancak yakin denilebilecek bir seviyede. Umuyorum hizla gelistirilecek. Proje halen emekleme asamasinda ve pek cok eksigi var.
Su var ki Tspell kelime cozumleme ve ascii'den donusturucu mekanizmalari Oflazer'in sisteminden farkli bir yapiya sahip. Gelistirme sirasinda baska metodlar ornek alinmadi, tamamen sifirdan yazildi. Basit bir cozumleme mantigi oldugunu da belirteyim.
Tspell'in diger calismalardan farki ise tamamen acik kodlu olmasi. Java ile gelistirilmesi de farkli platform problemini kokunden cozuyor. Performansi ise saniyorum oldukca iyi (tam bir kiyaslama yapmak icin baska bir urun gerekiyor). OpenOffice'e icin eklenti gelistirme konusu uzerinde de calismamiz olacak umuyorum.
Bu arada haberi gonderen arkadasa da tesekkurler.
Saygilar.

0
sundance
Kusura bakmayın bu benim hatam, iki projeyi birbirine karıştırmışım. FZ arkadaşımız beni bu konuda uyardı.

Elinize sağlık bu arada.
0
FZ
Hazır konu NLP´den açılmışken, doğal dil işleme filan diyorken, meraklısına yani bu konular ne işe yarıyor, gerçek hayatta ne işimize yarayacak diye düşünenlere. Mesela Yahoo´da dilbilimci ya da doğal dil işleme uzmanı olarak işe başlayabilirsiniz, az önce bana bir e-posta listesinden gelen ilana göre:

University or Organization: Yahoo, Inc.
Department: Search Relevance
Rank of Job: Lexicographer
Specialty Areas: Applied Lingustics, Computational Linguistics, Text/Corpus Linguistics

Description:

Compile and maintain lexical and knowledge resources for language-oriented components of Yahoo search engine. This includes:
- defining, building and using software infrastructure to maintain large (tens of millions) list of phrases with attributes
- identifying and acquiring sources of lists of phrases denoting concepts or objects of certain kind: e.g. company names, medical terms, song titles, etc.
- extracting phrases and attributes from these sources and merging them into a single master representation.

Requirements:
- MS/PhD (in CS or related area)
- experience in data processing (databases, scripting languages, text processing algorithms)
- (at least some) understanding and strong interest in natural language, data models, knowledge representation.
- detail-oriented: The jobs may involve a lot of ad hoc steps in order to achieve good coverage.
0
FZ
- http://groups-beta.google.com/group/comp.ai.nat-lang/browse_thread/thread/8d69b33af8f3bc5f

- http://www.insightful.com/products/infact/911/
0
FZ

https://tspell.dev.java.net/

https://tspell.dev.java.net/surumler/v03/tspell03.html
Görüş belirtmek için giriş yapın...

İlgili Yazılar

GNU/Linux Üzerinde Cinelerra Profesyonel Video Düzenleme

FZ

Mac ustaları Final Cut Pro, Windows çılgınları Adobe Premiere kullanırken elbet GNU/Linux´a gönül veren videocuların da eli boş durmadı. 1996 yılında ilk kez kamuoyuna sunulan Cinerella halen geliştirilmeye olanca hızı ile devam ediyor. Yazılımın profesyonel özelliklerinin arasında gerçek zamanlı görsel etkiler, FireWire G/Ç, render-farm, HDTV, OggVorbis desteği, vs. bulunuyor.

GNU/Linux´un ortaya çıkışından önceki karanlık çağlarda bu tür bir yazılım ve donanım sistemi için 100.000$ civarı bir parayı gözden çıkarmanız gerekirdi. Oysa projenin anonim programcılarından Jack Crossfire takma isimli yazılımcıya göre artık bu kadar harcama yapmanıza gerek yok.

Bu usta programcı ile yapılan bir röportajın da yer aldığı O´Reilly makalesinde belki de en ilginç kısım yazının başında Jack Crossfire´ın kimlikleri saklamak konusunda söylediği sözler: "Bizimki gibi küçülen bir sektörde, yöneticiler şimdilik yetenekli mühendislerin günlük işleri haricinde harika uygulamalar geliştirmelerine hazır değiller. Bu tür yöneticiler sistemi görmezden gelen mühendislerden kurtulmak konusunda bir an bile tereddüt etmezler, sizi kapının önüne koyarlar. Bu ve benzeri sebeplerden ötürü yazılımınızı kendi isminiz altında insanlara sunamazsınız dolayısı ile `Heroine Virtual Ltd.´ tüm geliştirdiğimiz araçları bünyesinde barındıran kuruluşun ismi oldu. Bu özgür yazılım kurumunun arkasında kaç kişinin ne ölçüde emeği olduğunu ise hayalgücünüze bırakıyoruz."

R-Project ve Uygulamalı İstatistik

vst

R-Project istatistiksel hesaplama ve grafik işleme için geliştirilmiş bir dil ve programdır. AT&T Laboratuarlarında geliştirilen ve şu anda Lucent Technologies'e ait olan S-Plus'a benzer bu özgür yazılım, dünyanın önde gelen üniversiteleri, araştırma enstitüleri ve kurumları tarafından yoğun olarak kullanılmaktadır. Kullanım alanı ise finanstan sosyolojiye, psikolojiden meteorolojiye, tıptan ekonometriye uygulamalı istatistik biliminin kullanıldığı hemen heryerdir.

Bir Türk Programcısı Sinirlenirse: CORSIS - Açık Kodlu Derlem Analiz Yazılımı

FZ

Stallman bir yazıcı sürücüsünün kapalı olması yüzünden çıldırıp işe girişmişti. Linus, okulda eğitim için kullandığı Sun Solaris işletim sistemini evde kullanamayacağını görünce Linux çekirdeğini yazmaya başlamıştı. Ian Murdock Linux kurmanın uzman olmayanlar için hiç de kolay olmayacağını fark edip Debian dağıtımını geliştirmeye başlamıştı. Bilgisayar tarihi sinirli programcıların başlarının çaresine bakarken çevreye de epey fayda sağlamalarının örnekleri ile dolu. Şimdi böyle bir örneğin haberini okuyacaksınız:

Çetin Sert, Almanya'da bilgisayarla dil işleme (NLP - Natural Language Processing) konusunda çalışan 23 yaşında genç bir araştırmacı. Sert, Mike Scott tarafından geliştirilmiş ve dil işleme bağlamında sık kullanılan bir yazılım olan Wordsmith'in kısıtlayıcı lisansını, ödenmesi gereken paraları ve bunu evindeki PC'de rahatça kullanamayacağını görüp bu konuda profesörlerinin uyarıları ile karşılaşınca...

StarLogo artık OpenStarLogo

FZ

StarLogo ekibinden Eric Klopfer'in dünkü bir e-posta iletisine göre 8 Haziran 2006 itibariyle StarLogo artık OpenStarLogo adı altında kamuya açık kodlu olarak sunulmaktadır.

OpenStarLogo web sitesinde sistemin hem kaynak kod dosyalarını hem de derlenmiş hallerini bulmak mümkün. Böylece tüm dünyadaki programcı camiasının OpenStarLogo ve dolayısı ile StarLogo'ya katkıları kabul edilirken StarLogo ekibi de StarLogo TNG üzerindeki çalışmalarına odaklanmaya devam edecek.

BinarySearch ve MergeSort kullandıysanız kodunuzu kontrol edin!

FZ

Algoritmalar mükemmel olabilir ama uygulamaları her zaman öyle olmayabiliyor!

Google'dan Joshua Bloch, yeni günlük girdilerinden birinde Extra, Extra - Read All About It: Nearly All Binary Searches and Mergesorts are Broken diye konuya girip Java standart kütüphanesinde kendi yazdığı BinarySearch fonksiyonunun nasıl bir hata barındırdığını anlatıyor.

Sun Microsystems'e 11 Mayıs 2004 yılında gönderilen hata raporunun yorum kısmı ise epey eğlenceli: "Should be fixed in the next release. Not for Tiger. xxxxx@xxxxx 2004-05-11 Finally fixing for Mustang. Can't even compute average of two ints is pretty embarrassing."

3 Haziran 2006 Cumartesi günü yollanan yorumlara göre ise, benzer problemden ötürü Solaris'teki look komutu yaklaşık 1 GB'den büyük dosyalar için düzgün çalışmıyor.