İnternet üzerinde yer alan Google, Yahoo, Yandex, Bing gibi arama motorlarının, web üzerinde gerçekleşen işlem akışlarını anlayabilmeleri ve arama yapan kişilere aradıkları konuyla ilgili en iyi sonucu iletebilmek için geliştirilmiş ve bu amaçla çalışan yazılıma Spider (Arama Motoru Örümceği) adı verilmektedir. 

Web dünyası geniş kapsamlı bir platformdur ve sahip olduğu zengin içeriğin sürekli olarak güncellenmesi nedeniyle arama motorları da bu güncelliği takip etmesi gerekir. Bu sebeple bu geniş alan içerisinde sürekli gezinti yapan ve her milisaniye internete iletilen yeni önerileri gören bir araca ihtiyaç duyulmuş ve bu amaçla Spider denen arama motoru örümcekleri geliştirilmiştir. 

Web’de yer alan her yeni içeriğe ve web sitelerinin tüm yeni bilgilerine ulaşabilen arama motoru örümceği, web sitesi yeni sayfaları yüklendiği anda, her bir sayfa ziyaretindeki bağlantıları (Hyperlink) takip ederek bulur ve bilgiyi kendi dizinine kaydeder. 

Hyperlink kavramı, internet üzerinde bir sayfayı ziyaret eden kullanıcının, başka bir sayfayı ziyaret etme ya da üzerinde dokunma gibi etkileşim referansları olarak tanımlanabilir. Gerçek hayatta bir örümceğin yaşam hareketlerini bir ağ üzerinde gerçekleştirmesi gibi, internet dünyasında yer alan arama motoru örümceği de aynı mantıkla, web ağı üzerinde yer alan tüm siteleri dolaşarak, tüm içerik bilgilerine ulaşır. 

Arama motoru örümcekleri, bir web sitesini ziyaret ettiklerinde, sayfada yer alan tüm içerikleri bir veri tabanına yükler. İşlem gerçekleştirildikten ve web sitesinin tüm bilgileri veri tabanına yükledikten sonra, arama motorları bu içerikleri indekslerine dahil ederler. Örümcek arama motoru tüm sayfalara erişir, sayfalarda yer alan tüm kelimelerin analizini yapar ve ardından site sayfalarının tüm URL’lerini programı içerisinde kullanır.

Web Crawler’lara Neden Spider Deniyor?

İnternet sitelerine giriş için gerekli olan ve URL adreslerin başında uzun yıllardır kullandığımız www (World Wide Web) yani dünyayı saran ağ deyiminden hareketle, internet dünyasında bulunan tüm web sitelerini birbirlerine verdikleri linkler (bağlar) yoluyla bulup bu ağ üzerinde gezerek ziyaret eden bu yazılımlara örümcek denmesi gayet doğaldır. Aynı örümcekler gibi tüm internet ağını gezer ve bilgileri toplarlar. 

Arama İndeksleme Nedir?

Arama indeksleme işlemi, bir kütüphane görevlisinin kütüphanede bulunan kitapların daha kolay ayrımını yapabilmek adına içeriklerine göre düzenleyip bir dizin oluşturmasına benzer. Bu sayede tüm web siteleri ve içerikleri ile ilgili özet bilgiler bu dizine kaydedildiği için bir arama yapıldığında, bir fihrist üzerinden ilgili web sitesinin ve ilgili içeriğin kolayca bulunması kolay ve mümkün olmaktadır. 

Bir kişi arama motoruna aramak istediği veri ile ilgili kelime dizisini girdiğinde, arama motoru kelime dizisine en uygun kelime öbeğini içeren web sitelerini, en alakalı olandan en az alakalı olana göre sıralayarak kişinin önüne koyar. Bu işlem çok hızlı sürelerde olmaktadır. Günümüzde yapılan tüm SEO çalışmaları o sıralamada en üst sıralarda yer almaya çalışmak üzerine kurulmuştur.

Spider (Arama Motoru Örümceği) Nasıl Çalışır?

Arama motoru örümceği (Spider), arama motorlarının veritabanlarını genişletmeyi amaçlayan, belirlenmiş kurallar çerçevesinde hareket eden, veri deposuna yeni siteleri eklemek için geliştirilen, bir bot yani robot yazılımı ifade eder. Bu yazılımlar arama motoru örümceği “Crawler” ya da “Spider” olarak da adlandırılır. 

Arama motoru örümcekleri, site sayfalarını, bağlantılar ya da aranan sayfaların takibini yaparak bulur. Bu işlemlerin sağlıklı bir şekilde gerçekleştirilebilmesi için arama motoru örümceklerinin yazılımlarına bazı kriterler eklenmektedir. Bu kriterler aşağıdaki şekilde sıralanmaktadır;

  • Sitenin zengin bir içeriğe sahip olup olmadığı. 
  • Özgün sayfa içeriklerinin bulunup bulunmadığı.
  • Sayfalar arasında kurulan düzenin yapısı. 
  • SEO çalışmalarında “Anahtar kelime” kullanımının yer alıp almadığı olarak belirtilmektedir.

Özellikle son kriter, yani anahtar kelime uygulaması, arama motoru örümcekleri için oldukça hassas bir alandır. İlgili anahtar kelime arama motorlarında aratıldığında, sitenin hangi sırada çıkacağı büyük oranda arama motoru örümcekleri tarafından arama motorlarına iletilen veriler sayesinde belirlenir. Sayfalarda kullanılan anahtar kelimeler bu açıdan büyük önem taşır.

Spider (Arama Motoru Örümceği) Çalışma Prensipleri

İnternet üzerinde yer alan her arama motorunda, mevcut yazılımlarına dahil edilen kendilerine özgü arama motoru örümceği bulunur. Arama motoru örümcekleri, her arama motoruna özel olarak geliştirilmiştir. Ancak çalışma prensipleri genel anlamda aynıdır. Arama motoru örümcekleri ilk olarak site haritasını, sonrasında ise sayfa içeriklerini, belirlenmiş kurallara bağlı olarak tarayarak dizinler halinde kayıt etmektedir. 

Arama motoru örümceklerinin çalışma prensipleri, arama motorları tarafından oluşturulmuş algoritmalara göre belirlenir. Sitelerin içerik kalitesi, benzersizliği, arama motoru örümcekleri tarafından toplanan veriler sayesinde ve algoritmalar üzerinden yapılan değerlendirme ile tanımlanır ve bu çerçevede sıralamalara alınır. Sonuç olarak arama motoru örümceklerinin çalışma prensipleri oldukça basittir. 

Bir arama motoru örümceği siteye girer, site verilerini inceler, içerikleri kendi veri tabanına ekler ve web sitesi içinde bulunan her içeriğe ait linkleri takip ederek diğer sitelere ulaşır. Böylece linkler üzerinden tüm web sitesi ağını takip ederek her konu için olası en iyi sonuca ait indeksi kaydeder. Arama motoru da hazırlanmış o indeks içinden konuyla ilgili yapılan arama kelimeleri (keywords) için onunla en alakalı olan sitenin sonuç sayfasında çıkmasını sağlar. 

Spiderlar tüm site verilerinin analizini kolayca gerçekleştirirler. İçerikleri belirli bir sınıflandırmaya alan arama motoru örümcekleri, daha önceden belirlenmiş olan dizilişlere göre sitenin SERP (Search Engine Result Page) sayfasında yani arama motoru sonuç sayfasında çıkmasına yardımcı olurlar. 

Arama motoru örümceklerinin ziyaret amacı sadece siteleri indekslemeye almak değildir. Spiderlar aynı zamanda, site içerisinde yer alan birbirinden farklı formatlarda oluşturulan video, metin, görsel gibi tüm dosyaları, ayrı kategorilerde tarama yaparak, ilgili dizinlerde bir araya toplamaktadır.

Spider (Arama Motoru Örümceği) Tarafından Yakalanan Veriler

Arama motoru örümceklerinin tanımı, web sitelerini otomatik bir düzende taramak üzere programlanmış yazılımlar olarak da ifade edilebilir. Örümcekler, geniş bir veri tabanına sahip olan arama motorları tarafından kullanılmaktadır çünkü örümceklerin toplamış olduğu verilerin depolanması ciddi bir alanı gerektirir. İnternet üzerinde var olan tüm siteler düşünüldüğünde, arama motoru veri tabanının kısıtlı olması, örümceklerinin çalıştırılması için işlevsel bir atılım olmayacaktır. Spider’lar internet üzerinde yer alan bir linki yakalayarak ve o linkleri takip ederek, tüm site verilerine ulaşırlar. Arama motoru örümceklerinin çalışma sistemlerine dahil edilen, web sitelerinde yakalanan veriler ise aşağıdaki şekilde belirtilmektedir;

  • Web sitesinin adres bilgisi (URL’si)
  • Web sitesinin tanımlı başlığı (Kullanılan başlık etiketleri)
  • Web sitesinin meta verileri (Kullanılan meta açıklamalar)
  • Web sitesinin tüm içerikleri (Kullanılan görsel, video ya da metin dosyaları)
  • Web sitesinin tüm sayfalarının adresleri (Kullanılan tüm sayfa URL’leri ve yönlendirme URL’leri)

Spiderların SEO’ya Etkisi Nedir?

Yukarıda belirtilen tüm veriler, arama motorları örümceklerinin veri kullanım alanına girmektedir. Arama motoru örümcekleri bu veriler doğrultusunda çalışmalarını gerçekleştirir. Spiderlar hem arama motorları hem de webmaster’lar için önem taşıyan önemli bir araçtır. Bir webmaster’ın ana görevi, site tasarımını hem kullanıcı odaklı olarak tasarlamak hem de arama motoru kriterlerine göre düzenlemektir. Bu noktada SEO (Search Engine Optimization) çalışmaları devreye girmektedir. Sitelerin SEO çalışmaları ne kadar güçlü oluşturulursa, arama motoru örümceklerinin topladığı ve işlediği veriler de o derece işlevsel olacak ve sıralamalarda sitenin yerini belirleyecektir.

Spider (Arama Motoru Örümceği) Site Ziyareti Nasıl Gerçekleşir?

İnternet üzerinde yer alan web sitelerinin, arama motorlarında inceleme ve okunma süreçlerinde bazı programlardan yararlanılır. Bu programlardan biri de arama motoru örümcekleridir. Spider’lar teknoloji dilinde “Bot” olarak da bilinir. İnternet sitelerinde gezinti yaparak, her veriyi değerlendiren botlar, sonuçlarını arama motoruna iletmekle görevlidir. İnternet dünyası hergün yeni web sitelerinin ve yeni içeriklerin eklenmesiyle sürekli değişip büyümektedir. Spider denen bu arama motoru botları elinde daha önceden olan arama motoru örümcekleri bir web sayfasını ziyaret ettiklerinde, hedefleri ilk olarak site haritasını edinmek ve “Robots.txt” dosyasını bulmaktır. 

Web sitelerinde bulunan robots.txt dosyaları, arama motoru örümcekleri için, web sitesi içinde hangi sayfaların indekslemeye alınması gerektiğini işaret eder. Bir sitede robots.txt dosyası tanımlanmamış ise herhangi bir kurala uymadan tüm site taranır. Arama motoru örümceklerinin sayfayı nasıl taraması gerektiğine dair koşullar “Robots.txt” dosyası üzerinde belirtilmektedir. 

Arama motoru örümceklerinin çalışmaları ile elde edilen veriler sonucunda, sitenin nerede “Hangi sırada” yer alacağı belirlenmektedir. Web site tasarımlarının düzgün bir şekilde yapılandırılması, örümceklerin sayfaları çok daha rahat dolaşmasına katkı sunmaktadır. Siteye arama motoru örümceği çekmenin en iyi yolu bu olmaktadır. Bir web sitesinde yapısal bütünlük sorunu varsa arama motoru örümceği siteyi daha az ziyaret etme eğiliminde olacaktır. Buna bağlı olarak, bu sorun nedeniyle de site, arama motoru sonuçlarına alınmayacak ve güncel verileri daha az takip edilecektir. 

Bu problemi çözmenin en temel yolu ise site yapılandırmasını SEO kuralları çerçevesinde oluşturmaktır. Arama motoru örümcekleri belirlenmiş periyotlarda site ziyareti gerçekleştirmektedir. Belirlenen periyodlar arama motoruna göre değişkenlik gösterir. Siteler açısından örümceklerin siteyi ziyaret etme periyodu ise sitenin güncelliği ile alakalıdır. Düzenli olarak yeni ve özgün içerikler eklenerek güncellenen siteler, örümceklerin dikkatini çekmektedir. Orada yeni bir bilgi ya da veri olduğunu fark eden arama motoru örümcekleri, siteyi ziyaret ederek yeni okumalar yani site verilerinde incelemeler gerçekleştirmektedir. Bu adım, sitelerin sıralamalardaki yerinin de güncellenmesi anlamına gelmektedir. Bir web sitesini iyileştirmenin ve arama motoru örümceklerinin siteyi yeniden ziyaret etmesini sağlamanın yolu, site içerisinde güncellemeler ve özgün eklemeler yapmaktır. 

İnternette Çalışan Aktif Spider Çeşitleri Nelerdir?

İnternette en yaygın olarak kullanılan arama motorları adına çalışıp indeksleme yapan çok sayıda arama motoru botu yani Spider türü bulunur. Bunlardan en yaygın olarak bilinenleri;

  • Google Bot: Google adına çalışıp bilgileri Google dizinine ekleyen en çok bilinen arama motoru botudur.
  • Bing Bot: Microsoft adına çalışan bu bot Bing adına veri toplayan bir bottur.
  • Baidu Spider: Baidu adlı Çin menşeli arama motoruna ait arama motoru botudur. Baidu sadece Çin’e yönelik geliştirilmiş bir arama motorudur ve Google’dan sonra en yoğun kullanıma sahip arama motorudur.
  • Yandex Bot: Ünlü Rus arama motoru Yandex adına veriler toplar.

Arama Motoru Örümcek Simülatörü Nedir?

Arama motoru örümcek simülatörü, web sitelerinin temel işlemlerinden olan SEO çalışmalarında kullanılan bir araçtır. Orijinal adı “Search Engine Spider Simulator” olarak ifade edilmektedir. Arama motoru örümcek simülatörleri, web sitelerinin farklı bakış açılarından görüntülenmesine imkan tanımaktadır. Simülatörler, arama motoru örümceklerinin web sitelerini nasıl ve hangi şekilde aradığını göstermeye yardımcı olur. 

Arama motorlarının algoritmaları periyodik olarak güncellenmektedir. Arama motoru örümcekleri de çalışmalarını, güncellenmiş algoritmalar çerçevesinde gerçekleştirmektedir. Değişen algoritmalarla, arama motoru örümceklerinin topladığı veriler, daha önem arz eder. Güncel verilerin saptanması, yeni algoritmalara uyumlu hale getirilmesi arama motoru örümcek simülatör araçları ile sağlanabilmektedir. 

Böylece SEO çalışmaları, simülatörler tarafından sunulan bilgiler çerçevesinde gerçekleşerek daha iyi sonuçlar alınması sağlanır. Arama motoru örümcek simülatörleri, arama sonuçlarını iyileştirmek isteyen siteler için vazgeçilmez bir araç özelliği taşır. Arama motoru örümcek simülatörleri yardımıyla, web siteleri içerisinde bulunan kusurlu alanlar saptamakta, arama motoru sonuç sayfalarında üst sıralara çıkmayı engelleyen içeriklerin analizleri yapılmaktadır. Arama motoru örümcek simülatörleri, sitelerin tüm iyileştirme çalışmalarına katkı sağlar. 

Simülatörler, arama motoru örümceklerinin çalışma prensipleriyle hareket etmektedir. Bu şekilde, uygun anahtar kelime kullanımları, HTML kodları, meta açıklamalar detaylı bir şekilde incelenebilmektedir. Yolunda gitmeyen işlevlerin de düzeltilmesi simülatör aracının vermiş olduğu bilgiler doğrultusunda gerçekleştirilmektedir.