Irchiver - Araştırma Amaçlı Bilgi Toplayıcı

0
bahadirkandemir
irc.freenode.net'te #fazlamesai'de sohbet ederken, network admini lilo tarafından gönderilen bir global mesaj dikkatimi çekti.

Helsinki Bilgi Teknolojileri Enstitüsü'nde Kompleks Sistem Hesaplamaları Grubu'ndan bir araştırmacı, Ville H. Tuulos, Freenode networkünü bir araştırma için kullanmak istediğini belirtmiş. İlgilenenlerin #searchengine kanalına gelmeleri istendi. Kanala girenlerin sayısı çok fazlaydı, girişler yavaşladığında proje yöneticisi Ville H. Tuulos sunuma başladı...
Google benzeri, IRC için bir arama motoru hayal edin. Google benzeri bir yaklaşımın problemi, web üzerindeki link bilgisine ağırca bağlı olması (PageRank). Ve tabii ki bu sorun IRC'de yok. Bundan başka, IRC webe göre çok daha dinamiktir, tartışma konuları her zaman değişir, vs. Böylece, kelime aramaları yeterli olmaz.

Yaptığımız şey şu, elimizde doğal dildeki konuları yakalayan çeşitli istatistiksel modeller var. Bu konularla ilgiliyseniz, MPCA ve ICA kelimeleri size birşeyler anlatmalıdır. Her istatistiksel çalışmalarda olduğu gibi, büyük miktarda veriye ihtiyaç duyar, ve biz *gerçekten* büyük miktardan bahsediyoruz, 100MB gibi değil.

Şu anda başlangıç için 1.5 terabyte'lık bir disk alanına sahip bir SAN sistemi sipariş ettik. İşte miktar bu kadar. Küçük bir etki alanındaki yapay verilerle çalışamayız. Gerçek yaşam verileriyle çalışmak zorundayız, ve bu yeterli veriye ulaşmamızın tek yolu.

İkinci konu ise, tahmin ettiğiniz gibi, modellerimiz değersiz bilgilerle başarısızlığa uğrayabilir. Birçok network ve kanaldaki tartışmalar gürültüden ibarettir. Freenode bu yönde mükemmel. Yeterli insan var ve tartışmalar gürültü değil.

Şöyle bir sisteme sahip olmak istiyoruz:
a) Bir sorgu yazacaksınız, örneğin linux ile ilgili bir soru ve sistem bu tür tartışmanın nerede yapıldığını söyleyecek.
b) Sistem tartışmaların gerçek zamanlı evrimini gösterecek
c) Birden fazla networkte çalışırken, konuların dünyanın her tarafına nasıl yayıldığını göreceksiniz.
d) İddia ediyorum, bu tartışmaları arttıracak: kişilere göre konuları göreceksiniz. Mesela bir kimsenin uzmanlık alanları nedir, vs.

Eminim olayı anladınız ve gerisini hayal edersiniz.

Yaptığımız herşey açık kaynaklı olacak. GPL'li olacak.


Sunum sonrası lilo soruları sormaya başladı:

lilo: Tüm kanallar loglanacak mı?
tuulos: Burada böyle bir sisteme sahip olmak isteyip istemeyeceğimiz size kalmış. Ama kısa cevap: hayır. Tabii ki her zaman gizlilik hakkınızı koruyabileceksiniz. Bir kamu hizmetinden bahsediyoruz, casusluk aracından değil.
lilo: Kanallar sisteme dahil olup ayrılabilecek mi?
tuulos: Sistem her zaman gizliliğe saygılı olmalı.
lilo: Teknik olarak kullanıcıların sistemden ayrılması uygun mu? Bu veri toplamada sorun yaratmaz mı?
tuulos: Evet, tabii ki. IRC trafiğini düşünün. grep -v tuulos diyebilirsiniz.
lilo: Hostlar tutulacak mı? Yoksa sadece nickler mi tutulacak?
tuulos: Bireysel olarak kullanıcılarla ilgilenmiyoruz. Kişisel şeyleri kayıt etmeyeceğiz, nickler dışında.
lilo: SPAM'ciler sistemi yanıltmanın bir yolunu bulabilir, bunu nasıl engelleyeceksiniz?
tuulos: Bu bir silahlanma yarışı. Sorun şu ki, sistem ne kadar büyükse kandırmak o kadar zordur. Örneğin PageRank'i yanıltmak önemsizdir.
lilo: Başından sonuna kadar sistemin üzerinde çalışacak mısınız?
tuulos: Zorundayız. Başka türlü sistemi kullanılabilir kılamayız.
lilo: Gizlilik bildirgesi olacak mı?
tuulos: Hayır, burada bunu tartışmak için bulunuyoruz (:

Ayrıntlı bilgi için http://cosco.hiit.fi/irchiver/ adresini ziyaret edebilirsiniz.

İlgili Yazılar

RÜTÜK unveils the Domin@tion v.1.0

Evil_Empire

Hiç RÜTÜK yasasının arkasında bir komplo teorisi olabileceğini düşündünüz mü? Büyük medya kuruluşlarının hükümetler üzerinde ne gibi yaptırımlar uygulayabileceğini tahmin edebiliriz. BÜYÜKLER, bulundukları yere, büyük yatırımlar yaparak ulaşmışlardır. Genelde bu büyük yatırımları yaparken, uzun vadeli krediler, hükümette söz hakkı, kamu gücü vb. çıkarlarını gözetmişlerdir.

Hükümetler, reklamların ürünüyse ve reklamı medya yaparsa. Halk medyanın tek bir haberiyle gaza gelip, tek haberiyle sakinleşebiliyorsa. Medya kartelinin, alternatif ortamlara bakışı ne kadar ılımlı olabilir? RÜTÜK tüm medyadan sorumlu, sorumsuz değil midir? Meclistekilerin hepsinin bir gazeteci dostu olduğunu varsayarsak, RÜTÜK üzerinde medyanın gücünü tahmin edebilir miyiz?

Ne dersiniz BÜYÜK balık her zaman küçüğünü yutar mı?

Not:yukarıdakı yazının gerçekle ilgisi yoktur ve kişi ya da kuruluş isimleri uydurmadır(!)

... eşşeklik baki kalır...

parsifal

Yüzlerce öğretim elemanı, binlerce öğrencisi olan bir üniversitenin web sayfasının nasıl olabileceği konusunda hiç fikriniz var mı? Veya sitenin içeriğinde neler olmalı acaba?

E buyrun o zaman kendilerini ülkenin en iyi okullarından biri sayan, öğrencilerine en iyi imkanları verdiğini söyleyen meşhur üniversitenin web sayfası.
ismini burda vermeye utandım. Girince göreceksiniz nasıl olsa...
(not: belki yenilemişlerdir diye devama sayfanın bir örneğini koydum)

Tezler internette

yilmaz

YÖK, yayınlanan tezleri bir internet sitesi aracılığı ile yayına sundu. http://tez2.yok.gov.tr/ adresinden erişilebilen siteye üye olarak tezleri inceleme şansına sahip olabiliyorsunuz.

Opera Artık Tamamen Bedelsiz ve Reklamsız

wizzyfx

Opera internet tarayıcısının bedelsiz olarak dağıtımına başlandı.

Google bu kadar mı taciz edilir! :(

FZ

Geçen hafta bir dostumun ağabeyinin yüksek lisans tezini Internet´e yerleştirmiş ve burada haberini geçmiştim (http://www.fazlamesai.net/modules.php?name=News&file=article&sid=2349). Sonra da arkadaşımın sorması üzerine ona açıklama yapmıştım Google anında yakalar bu yeni belgeyi, PDF´nin de içini açar okur, indeksler filan. Birkaç gün önce Google´a baktığımda ve "veri zarflama" anahtar sözcüklerini arattığımda gerçekten de ilk sayfada ilgili tezin ve bağlantılı linklerin geldiğini gördüm. Arkadaşıma da söyledim, sevindi filan. Ancak bugün baktığımda beni dumura uğratan bir durumla karşılaştım!