Irchiver - Araştırma Amaçlı Bilgi Toplayıcı

0
bahadirkandemir
irc.freenode.net'te #fazlamesai'de sohbet ederken, network admini lilo tarafından gönderilen bir global mesaj dikkatimi çekti.

Helsinki Bilgi Teknolojileri Enstitüsü'nde Kompleks Sistem Hesaplamaları Grubu'ndan bir araştırmacı, Ville H. Tuulos, Freenode networkünü bir araştırma için kullanmak istediğini belirtmiş. İlgilenenlerin #searchengine kanalına gelmeleri istendi. Kanala girenlerin sayısı çok fazlaydı, girişler yavaşladığında proje yöneticisi Ville H. Tuulos sunuma başladı...
Google benzeri, IRC için bir arama motoru hayal edin. Google benzeri bir yaklaşımın problemi, web üzerindeki link bilgisine ağırca bağlı olması (PageRank). Ve tabii ki bu sorun IRC'de yok. Bundan başka, IRC webe göre çok daha dinamiktir, tartışma konuları her zaman değişir, vs. Böylece, kelime aramaları yeterli olmaz.

Yaptığımız şey şu, elimizde doğal dildeki konuları yakalayan çeşitli istatistiksel modeller var. Bu konularla ilgiliyseniz, MPCA ve ICA kelimeleri size birşeyler anlatmalıdır. Her istatistiksel çalışmalarda olduğu gibi, büyük miktarda veriye ihtiyaç duyar, ve biz *gerçekten* büyük miktardan bahsediyoruz, 100MB gibi değil.

Şu anda başlangıç için 1.5 terabyte'lık bir disk alanına sahip bir SAN sistemi sipariş ettik. İşte miktar bu kadar. Küçük bir etki alanındaki yapay verilerle çalışamayız. Gerçek yaşam verileriyle çalışmak zorundayız, ve bu yeterli veriye ulaşmamızın tek yolu.

İkinci konu ise, tahmin ettiğiniz gibi, modellerimiz değersiz bilgilerle başarısızlığa uğrayabilir. Birçok network ve kanaldaki tartışmalar gürültüden ibarettir. Freenode bu yönde mükemmel. Yeterli insan var ve tartışmalar gürültü değil.

Şöyle bir sisteme sahip olmak istiyoruz:
a) Bir sorgu yazacaksınız, örneğin linux ile ilgili bir soru ve sistem bu tür tartışmanın nerede yapıldığını söyleyecek.
b) Sistem tartışmaların gerçek zamanlı evrimini gösterecek
c) Birden fazla networkte çalışırken, konuların dünyanın her tarafına nasıl yayıldığını göreceksiniz.
d) İddia ediyorum, bu tartışmaları arttıracak: kişilere göre konuları göreceksiniz. Mesela bir kimsenin uzmanlık alanları nedir, vs.

Eminim olayı anladınız ve gerisini hayal edersiniz.

Yaptığımız herşey açık kaynaklı olacak. GPL'li olacak.


Sunum sonrası lilo soruları sormaya başladı:

lilo: Tüm kanallar loglanacak mı?
tuulos: Burada böyle bir sisteme sahip olmak isteyip istemeyeceğimiz size kalmış. Ama kısa cevap: hayır. Tabii ki her zaman gizlilik hakkınızı koruyabileceksiniz. Bir kamu hizmetinden bahsediyoruz, casusluk aracından değil.
lilo: Kanallar sisteme dahil olup ayrılabilecek mi?
tuulos: Sistem her zaman gizliliğe saygılı olmalı.
lilo: Teknik olarak kullanıcıların sistemden ayrılması uygun mu? Bu veri toplamada sorun yaratmaz mı?
tuulos: Evet, tabii ki. IRC trafiğini düşünün. grep -v tuulos diyebilirsiniz.
lilo: Hostlar tutulacak mı? Yoksa sadece nickler mi tutulacak?
tuulos: Bireysel olarak kullanıcılarla ilgilenmiyoruz. Kişisel şeyleri kayıt etmeyeceğiz, nickler dışında.
lilo: SPAM'ciler sistemi yanıltmanın bir yolunu bulabilir, bunu nasıl engelleyeceksiniz?
tuulos: Bu bir silahlanma yarışı. Sorun şu ki, sistem ne kadar büyükse kandırmak o kadar zordur. Örneğin PageRank'i yanıltmak önemsizdir.
lilo: Başından sonuna kadar sistemin üzerinde çalışacak mısınız?
tuulos: Zorundayız. Başka türlü sistemi kullanılabilir kılamayız.
lilo: Gizlilik bildirgesi olacak mı?
tuulos: Hayır, burada bunu tartışmak için bulunuyoruz (:

Ayrıntlı bilgi için http://cosco.hiit.fi/irchiver/ adresini ziyaret edebilirsiniz.

İlgili Yazılar

Üniversitelerimiz kurtuluyor mu ?

sundance

Hatırlarım da 1992`de Internet yaygınlaşmaya başladığı günden beri `Üniversiteler Internet üzerinden kayıt yapacak` geyiği sürer gider.

Hatta bu konuda bir çok ensesi kalın şirkete ihaleler yaptırılıp binlerce dolar para sokağa atılmıştır. Sonunda önce ODTÜ sonra Boğaziçi ve İTU derken üniversitelerimiz kör topal da olsa bu sisteme geçmeye başlamıştır. Tabi ki uygulanmamış birsürü projeye dökülen paralar da cabası.

Sonunda bir Sourceforge projesi bu işe de el attı. Universite Öğrenci Bilgiişlem Sistemi böyle bir yapıyı, hem de Türk öğrenciler tarafından hazırlanmış %100 serbest yazılımlarıyla sunuyor.
`Türkiye de yazılmış program istemeyiz, bizim üniversitemiz yurt dışında yazılmış programları hakeder` diyerek söz konusu ihaleleri öğrencilerine bile açmayı düşünemeyen eğitim dünyamızın bütün SAĞLAM ER`lerine selam olsun ;)

Dünya Kupası ve Internet

conan

Dünya Kupası Internet için yeni bir test alanı oldu. Sponsorlar adeta Internet üzerinden Dünya kupası ile ilgili birşeyler verebilmek için birbirleriyle yarışıyorlar. Video on-demand, Shockwave, flash, vs... gibi Internet teknolojileri ile donatılmış siteler bayağı güzel projeler sunuyorlar. Benim ilginç bulduğum bir iki linki sizlerle paylaşmak istedim.

İnternetin babası öldü

esse

World Wide Web (www) sisteminin kurucularından Michael Dertouzos, bir süredir tedavi gördüğü Boston’daki Massachusetts General Hospital’da hayatını kaybetti. Olay internet çevrelerinde büyük üzüntü yarattı.

64 yaşında hayatını kaybeden Dertouzos, Web’in uluslararası standart haline gelmesinde büyük rol oynamıştı.

Ben Size Altın Örümcek Alamazsınız Demedim!

parsifal

İstanbul Büyük Şehir Belediyesi Altın Örümcek 2005 Kamu Kurumu ödülünü kazanmış.

Heralde sonradan bir rehavet çökmüş ki, Kültür kısmında bulunan "CRR Konser Salonu" linki bizi önce http://www.crrks.org adresine, ordan da buraya yönlendiriyor.

Ve CRR Hakkında kısmına girince ağzımız bir karış açık kalıyor.

Burda tartışmamız gereken konu örümceğin hangi şartlarda verildiği mi yoksa bu büyüklükteki bir belediyenin web sayfasının içler acısı hale nasıl geldiği mi?

Hata 1 milyon: Parası Ödenmedi

karum

Ticari bir hediyelik eşya sitesi olduğunu tahmin ettiğimiz http://www.esenhediyelik.com.tr sitesinin "title"ında aynen şu yazıyordu ==> HATA 1 milyon: Parası ödenmedi. HTML sayfasında da emeğinin karşılığını alamadığından sayfayı kapattığını belirten bir firmanın web adresi. "hata 1 milyon olayı" çok hoşuma gitti :)