ROZ DESiGN ⓇⓄⓏ

Internet’te çoğu zaman her konuda son derece güzel içerikler mevcut. Ama problem bunları bulmak. Dolayısı ile Internet’te bir şey aradığımız zaman hemen arama motorlarına dönüyoruz. Peki ama bu arama motorları nasıl çalışıyorlar. Bende bunu merak ettim. Daha sonra öğrendiklerimi paylaşmak iyi br fikir olabilir diyerek bir yazı halinde buraya yazdım.

İlk önce belirtmek lazım ki başlıca iki tür arama motoru var. Bunlardan ilk grup insanlar tarafından oluşturulanlar. Bunların başında DMOZ geliyor (Wikia’da başka bir örnek). Belki de bunlara bir arama motoru demektense birer dizin demek daha doğru olabilir.

Diğer kısım ise bizi asıl ilgilendiren arama motorlarının olduğu kısım. Yani başını Google’ın çektiği otomatik arama motorları. Dolayısı ile bu yazıda bundan sonra arama motoru kelimeleri kullanıldığı zaman bunlardan bahsediyor olacağım.

Örümcekler

Arama motorları sayısı milyonları bulan web sitelerindeki içeriği okumak için örümcek (spider) denilen programlar kullanırlar. Bu örümcekler aslında girdikleri sayfaları okuyan ve belli kriterlere göre arama motoruna geri bildirim yapan robot yazılımlardır. Bu yüzden zaman zaman robot veya bot olarak da adlandırılırlar.

Bir örümcek ilk olarak bir web sayfasına gelir ve buradaki içeriği okumaya başlar. Her ne kadar farklı arama motorlarının örümcekleri sayfaları farklı şekilde yorumlasalarda genel olarak hepsi şu tarz bir yol izler:

1.Sayfayı oku
2.Kelimeleri ve kelimelerin bulundukları yerleri listele
3.Oluşturulan listeleri indekslenmek üzere arama motoruna geri gönder.
4.Yeni bir sayfaya git
Örümcek sayfada işini bitirdikten sonra hangi sayfaya gideceğini de o sayfada bulunan bağlantılar (hyperlinks) aracılığı ile bilir. Yani bir bağlantıdan diğerine atlayarak devamlı olarak World Wide Web’i dolaşıp dururlar. Örümcekler bu işleri oldukça hızlı bir şekilde yapabilmektedirler. Google’ın bir üniversite projesi olduğu yıllarda Google dört örümcek ile saniyede 100 sayfayı tarayabilmekteydi. Şuan da milyonlarca siteyi aynı anda tarayabilir

İndeksleme

Yorulmak nedir bilmeden web’de bulunan sayfaları dolaşan örümcekler elde ettikleri verileri arama motoruna geri gönderirler. Geri gönderilen bu veriler arama motorlarının indeksleme yazılımları tarafından incelenelirler ve arama motorunun özelliklerine göre önemleri ve ağırlıkları hesaplanarak indekslenirler. Daha sonra indekslenen bu veriler daha az yer kaplayacak ve daha çabuk şekilde ulaşılabilecek bir şekilde kodlanırlar.

Sonuçta kullanıcı bir arama yaptığı zaman arama motoru indeksine bakarak ilgili web sayfalarını bulur ve kendi stiline göre (örneğin Google’ın Pagerank’i gibi) buları sıralayara, kullanıcıya listeler. Bu sonuçlara da kısaca SERP (Arama Motoru Sonuç Sayfası denir.

Bugün bot tabanlı bütün arama motorları aynı mantıkta çalışsada aradaki fark, sayfalarda geçen kelimeleri değerlendirmede ve buldukları sayfaları aranan konuya göre doğru bir şekilde gösterebilmelerinde yatar. Örneğin Google bir web sayfasını okurken genel kullanımlı kelimeleri göz ardı eder. Bunun yanında Altavista sayfada gördüğü tüm kelimeleri okur. Dolayısı ile bir sayfa “ve” (ya da İngilizce “a”, “an” gibi kelimeler Google için pek anlam taşımaz.

Öte yandan kelimelerin sayfalarda bulundukları yerlerde önem taşımaktadır. Çoğu örümcek HTM-HTML kodlarının görünmez kısımlarını okusa da bunlara farklı değerler verir. Örneğin HTML’in görünmez kodlarından biri olan ve sayfadaki anahtar kelimeleri listeleyen “meta keyword” alanı bazı eski arama motorları tarafından ciddiye alınırken Google bu alana çok fazla önem vermez.

Arama motorlarının bu okuma, indeksleme, hangi sayfaya ne ağırlık verdikleri, bir sayfada neyi sevip sevmedikleri çok fazla açıklanan şeyler değildir. Yine de bu konuda oldukça fazla bilgi var. Çoğu zaman arama motorlarının hoşuna giden bir sayfa, içeriği daha iyi olan sayfaların üzerinde sonuçlar verebilir. Arama motorlarının bu özelliğinden faydalanmak (ya da sömürmek) amacı ile SEO (Arama Motoru Optimizasyonu) denilen bir iş kolu doğmuştur.

Mesela bağlantılar arama motorları için önem taşımaktadırlar. Bir sayfada hiç veya çok az bağlantı olması iyi bir şey değilken, sayfada çok fazla bağlantı olması da aynı derece de kötüdür. Az bağlantılı bir sayfa arama motoru tarafından ciddiye alınmaz iken, çok fazla bağlantıda spam olarak yorumlanabilir. SEO uzmanları arama motorlarının işleyişi hakkında oldukça bilgilidirler. Bu ve diğer bir çok konuda kullanıcılara destek vermektedirler.

ROZ BİLİŞİM ve YAZILIM



Bu yazı ROZ BİLİŞİM ve YAZILIM'a aittir.Kopyalanamaz.Kaynak Gösterilmeden alıntı yapılamaz