Robot.txt Nedir? Robots TXT Dosyası Nasıl Oluşturulur?

Robots.txt dosyası, bir sitenin kök dizininde bulunan ve arama motoru tarayıcılarına yönelik olarak hangi URL’lerin taranması ve hangilerinin taranmaması gerektiği hakkında bilgiler içeren bir metin belgesidir. Bu dosyanın varlığı web sitesinin çalışması için zorunlu değildir, ancak SEO için çok önemlidir.

Robots.txt kullanma kararı, Robot Exclusion Standard’ın bir parçası olarak 1994 yılında kabul edildi. Google Yardım Merkezi‘ne göre dosyanın temel amacı, web sayfalarının arama sonuçlarında gösterilmesini engellemek değil, robotların sitelere yaptığı istek sayısını sınırlamak ve sunucu yükünü azaltmaktır.

Genel olarak robots.txt dosyasının içeriği, web sitesi taramasına ilişkin kuralları tanımlayan arama tarayıcıları için bir öneri olarak görülmelidir. Herhangi bir sitenin robots.txt dosyasının içeriğine erişmek için yapmanız gereken tek şey, tarayıcıdaki alan adından sonra “/robots.txt” yazmaktır.

Robots.txt Ne İçin Kullanılır?

Robots.txt dosyasının birincil amacı, tarama bütçesinin (bir arama robotunun tarayabileceği web sayfalarının sayısıdır) daha verimli bir şekilde tahsis edilmesi için sayfaların ve kaynak dosyalarının taranmasını önlemektir. Çoğu durumda robots.txt dosyası, web sitesi ziyaretçilerine herhangi bir değer sağlamayan ve SERP sıralamasını etkilemeyen bilgileri gizler.

Robots.txt avantajlarını daha detaylı anlatmak gerekirse:

1. Botları Özel Klasörlerden Uzak Tutma

Botların özel klasörlerinizi kontrol etmesini önlemek, onları bulmayı ve indekslemeyi çok daha zor hale getirecektir.

2. Kaynakları Kontrol Altında Tutma

Bir bot sitenizde her gezindiğinde, bant genişliğini ve diğer sunucu kaynaklarını emer. Örneğin, e-ticaret siteleri gibi tonlarca içeriğe ve çok sayıda sayfaya sahip siteler için, bu kaynaklar gerçekten hızlı bir şekilde tüketilebilir. Robotların bağımsız komut dosyalarına ve görüntülere erişmesini zorlaştırmak için robots.txt dosyasını kullanabilirsiniz; bu, gerçek ziyaretçiler için değerli kaynakları koruyacaktır.

3. Site Haritanızın Konumunu Belirtme

Bu oldukça önemli bir noktadır. Tarayıcılara site haritanızın nerede olduğunu bildirmek istersiniz, böylece site haritanızı tarayabilirler.

4. Yinelenen İçeriği SERP’lerden Uzak Tutma

Kuralı robotlarınıza ekleyerek, tarayıcıların yinelenen içeriğin bulunduğu sayfaları endekslemesini önleyebilirsiniz.

Doğal olarak, arama motorlarının web sitenizdeki en önemli sayfalara giden yolu bulmasını isteyeceksiniz. Belirli sayfaları belirli kurallarla kontrol altına alarak, hangi sayfaların arama yapanların önüne konulacağını kontrol edebilirsiniz.

Robots.txt Aracılığıyla Genellikle Hangi Sayfalar ve Dizinler Engellenebilir?

1. Kişisel veriler içeren sayfalar

Kişisel veriler, ziyaretçilerin kayıt sırasında belirttikleri isimleri ve telefon numaralarını, kişisel gösterge tablolarını ve profil sayfalarını, ödeme kartı numaralarını içerebilir. Güvenlik nedeniyle, bu tür bilgilere erişim ek olarak bir parola ile korunmalıdır.

2. Yalnızca belirli kullanıcı eylemlerinden sonra görünen yardımcı sayfalar

Bu tür eylemler tipik olarak müşterilerin bir siparişi, müşteri formlarını, yetkilendirme veya şifre kurtarma sayfalarını başarıyla tamamladıktan sonra aldıkları mesajları içerir.

3. Yönetici kontrol paneli ve sistem dosyaları

Web sitesi yöneticilerinin veya web yöneticisinin etkileşimde bulunduğu dahili dosyalar ve hizmet dosyalarını içerir.

4. Arama ve kategori sıralama sayfaları

Bir web sitesi ziyaretçisi sitenin arama kutusuna bir sorgu girdikten sonra görüntülenen sayfalar genellikle arama motoru tarayıcılarına kapatılır. Aynı şey, kullanıcıların ürünleri fiyat, derecelendirme ve diğer kriterlere göre sıralarken elde ettiği sonuçlar için de geçerlidir.

5. Belirli bir formattaki dosyalar

Bu tür dosyalar fotoğrafları, videoları, .PDF belgelerini, JS dosyalarını içerebilir. Robots.txt yardımıyla, tek tek veya uzantıya özgü dosyaların taranmasını kısıtlayabilirsiniz.

Robots.txt Dosyası Nasıl Oluşturulur ve Nereye Yerleştirilir?

1. Robots.txt kurulumu için araçlar

Belgenin bir .txt uzantısı olduğundan, UTF-8 kodlamasını destekleyen herhangi bir metin düzenleyici uygun olacaktır. En kolay seçenek Notepad (Windows) veya TextEdit’tir (Mac).

Ayrıca, belirtilen bilgilere dayanarak bir robots.txt dosyası oluşturacak bir robots.txt oluşturma aracı da kullanabilirsiniz.

2. Belge başlığı ve boyutu

robots.txt dosyasının adı, büyük harf kullanılmadan tam olarak böyle görünmelidir. Google’ye göre, izin verilen belge boyutu 500 KB’dir. Bu sınırın aşılması, arama robotunun belgeyi kısmen işlemesine, web sitesini hiç taramamasına veya tersine, bir web sitesinin içeriğini tamamen taramasına neden olabilir.

3. Dosya nereye yerleştirilir?

Belge, web sitesi ana bilgisayarının kök dizininde bulunmalıdır (FTP yoluyla erişilebilir). Herhangi bir değişiklik yapmadan önce, robots.txt dosyasını orijinal biçiminde indirmeniz önerilir.

Robots.txt Dosyanıza Neler Koymalısınız?

Tamam, artık sunucunuzda gerektiğinde düzenleyebileceğiniz fiziksel bir robots.txt dosyanız var. Ama o dosyayla gerçekte ne yaparsınız? İlk bölümde öğrendiğiniz gibi robots.txt, robotların sitenizle nasıl etkileşim kurduğunu kontrol etmenizi sağlar. Bunu iki temel komutla yaparsınız:

User-agent: Bu, belirli botları hedeflemenizi sağlar. User-agent, botların kendilerini tanımlamak için kullandıkları şeydir. Bunlarla, örneğin Bing için geçerli olan ancak Google için geçerli olmayan bir kural oluşturabilirsiniz.

Disallow: Bu, robotlara sitenizin belirli alanlarına erişmemelerini söylemenizi sağlar.

Niş durumlarda kullanacağınız bir Allow komutu da vardır. Varsayılan olarak, sitenizdeki her şey Allow olarak işaretlenmiştir, bu nedenle genellikle Allow komutunun kullanılması gerekli değildir. Ancak, bir klasöre ve alt klasörlerine erişime izin vermemek, ancak belirli bir alt klasöre erişime izin vermek istediğinizde işe yarar.

İlk olarak kuralın hangi User-agent uygulanması gerektiğini belirleyip ardından Disallow ve Allow seçeneklerini kullanarak hangi kuralların uygulanacağını listeleyerek kurallar eklersiniz. Crawl-delay ve Site Haritası gibi başka komutlar da vardır, ancak bunlar:

Çoğu tarayıcı tarafından yok sayılır veya çok farklı şekillerde yorumlanır (tarama gecikmesi durumunda)
Google Arama Konsolu gibi araçlar tarafından gereksiz hale getirildi (site haritaları için)

Yararlı robots.txt Kuralları

Kural
Web sitesinin taranmasını tümüyle reddetme. Bazı durumlarda web sitesindeki URL’lerin, taranmamış olsalar bile yine de dizine eklenebileceklerini unutmayın.Not: Bu kural, bazı AdsBot tarayıcılarıyla eşleşmez. Bu tarayıcıların adlarının açıkça belirtilmesi gerekir.	User-agent: *Disallow: /
Dizin adından sonra düz eğik çizgi ekleyerek bir dizin ve içeriğin taranmasına izin vermeme. Gizli içeriğe erişimi engellemek için robots.txt dosyasını kullanmamanız gerektiğini unutmayın. Bunun yerine uygun kimlik doğrulama yöntemini kullanın. Robots.txt dosyasıyla taranmasına izin verilmeyen URL’ler, taranmadan dizine eklenebilir ve robots.txt dosyası başkaları tarafından görüntülenerek gizli içeriğinizin yerinin ortaya çıkmasına neden olabilir.	User-agent: *Disallow: /yonetim/Disallow: /izin/
Tek bir tarayıcının erişimine izin verme	User-agent: Googlebot-newsAllow: / User-agent: *Disallow: /
Bir tarayıcı dışında tüm tarayıcıların erişimine izin verme	User-agent: UnnecessarybotDisallow: / User-agent: *Allow: /
Eğik çizgiden sonra sayfayı listeleyerek tek bir web sayfasının taranmasına izin vermeme.	User-agent: *Disallow: /ozel-dosya.html
Google Görseller’den belirli bir görseli engelleme:	User-agent: Googlebot-ImageDisallow: /gorsel/urun-12.jpg
Google Görseller’den sitenizdeki tüm görselleri engelleme	User-agent: Googlebot-ImageDisallow: /
Belirli türdeki dosyaların taranmasına izin vermeme (örneğin, .gif):	User-agent: GooglebotDisallow: /*.gif$
Sitenizin tamamının taranmasına izin vermeme; ancak bu sayfalarda AdSense reklamları gösterme ve Mediapartners-Google dışındaki hiçbir web tarayıcısına izin vermeme. Bu uygulama, sayfalarınızı arama sonuçlarından gizler. Ancak Mediapartners-Google web tarayıcısı, sitenizin ziyaretçilerine hangi reklamların görüntüleneceğine karar vermek üzere sayfaları analiz etmeye devam eder.	User-agent: *Disallow: / User-agent: Mediapartners-GoogleAllow: /
Belirli bir dize ile biten URL’leri eşleştirme; $ kullanın. Örneğin, bu örnek kod .xls ile biten tüm URL’leri engeller:	User-agent: GooglebotDisallow: /*.xls$

Tüm Sitenize Erişimi Engellemek İçin Robots.txt Nasıl Kullanılır?

Tarayıcının sitenize tüm erişimini engellemek istediğinizi varsayalım. Bunun canlı bir sitede meydana gelmesi olası değildir, ancak bir geliştirme sitesi için kullanışlı olur. Bunu yapmak için, aşağıdaki kodu WordPress robots.txt dosyanıza ekleyin:

User-agent: *
Disallow: /

Tek Bir Botun Sitenize Erişmesini Engellemek İçin Robots.txt Nasıl Kullanılır?

Örneğin Bing’in sitenize bakmasını bile istemiyorsunuz. Yalnızca Bing’in sitenizi taramasını engellemek için aşağıdaki kodu WordPress robots.txt dosyanıza ekleyin:

User-agent: Bingbot
Disallow: /

Belirli Bir Klasöre veya Dosyaya Erişimi Engellemek İçin Robots.txt Nasıl Kullanılır?

Yalnızca belirli bir dosya veya klasöre (ve bu klasörün tüm alt klasörlerine) erişimi engellemek istediğinizi varsayalım. Bunu WordPress için geçerli kılmak için, şunu engellemek istediğinizi varsayalım:

Wp-admin klasörünün tamamı
wp-login.php

Aşağıdaki komutları kullanabilirsiniz:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php

İzin Verilmeyen Bir Klasördeki Belirli Bir Dosyaya Erişime İzin Vermek İçin Robots.txt Nasıl Kullanılır?

Diyelim ki tüm bir klasörü engellemek istiyorsunuz, ancak yine de o klasör içindeki belirli bir dosyaya erişime izin vermek istiyorsunuz. İzin ver komutunun kullanışlı olduğu yer burasıdır.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu kod parçası, /wp-admin/admin-ajax.php dosyası dışında / wp-admin / klasörünün tamamına erişimi engeller.

Robotların WordPress Arama Sonuçlarını Taramasını Durdurmak İçin Robots.txt Nasıl Kullanılır?

Bu aşamada yapmanız gereken şey, arama tarayıcılarının arama sonuçları sayfalarınızı taramasını durdurmaktır. WordPress varsayılan olarak,”?s=” sorgu parametresini kullanır. Yani erişimi engellemek için tek yapmanız gereken aşağıdaki kuralı eklemektir:

User-agent: *
Disallow: /?s=
Disallow: /search/

Bu, 404 hatalarını aldığınızda da durdurmanın etkili bir yolu olabilir.

Robots.txt’de Farklı Botlar İçin Farklı Kurallar Nasıl Oluşturulur?

Şimdiye kadar, tüm örnekler bir seferde tek bir kuralla ilgiliydi. Peki ya farklı botlara farklı kurallar uygulamak isterseniz? Her bot için User-agent beyanının altına her bir kural kümesini eklemeniz yeterlidir. Örneğin, tüm botlar için geçerli olan bir kural ve yalnızca Bingbot için geçerli olan başka bir kural oluşturmak istiyorsanız, bunu aşağıdaki şekilde yapabilirsiniz:

User-agent: *
Disallow: /wp-admin/
User-agent: Bingbot
Disallow: /

Bu örnekte, tüm botların / wp-admin / erişimi engellenecek, ancak Bingbot’un tüm sitenize erişimi engellenecektir.

Geçerli robots.txt URL’leri İçin Örnekler

Robots.txt URL örnekleri
http://niobe.com/robots.txt	Geçerli: http://niobe.com/ http://niobe.com/klasor/dosya Geçerli değil: http://blog.niobe.com/ https://niobe.com/ http://niobe.com:8181/ Bu, genel kullanımdır. Diğer alt alan adları, protokoller veya bağlantı noktası numaraları için geçerli değildir. Aynı ana makine, protokol ve bağlantı noktası numarasında bulunan tüm alt dizinlerdeki dosyaların tamamı için geçerlidir.
http://www.niobe.com/robots.txt	Geçerli: http://www.niobe.com/ Geçerli değil: http://niobe.com/ http://blog.www.niobe.com/ http://www.blog.niobe.com/ Bir alt alan adındaki robots.txt dosyası yalnızca söz konusu alt alan adı için geçerlidir.
http://niobe.com/folder/robots.txt	Geçerli bir robots.txt dosyası değildir! Tarayıcılar, alt dizinlerdeki robots.txt dosyalarını kontrol etmez.
http://www.müller.eu/robots.txt	Geçerli: http://www.müller.eu/ http://www.xn--mller-kva.eu/ Geçerli değil: http://www.muller.eu/IDN’ler (Uluslararası Hale Getirilmiş Alan Adı), punycode versiyonların eş değeridir.
ftp://niobe.com/robots.txt	Geçerli: ftp://niobe.com/ Geçerli değil: http://niobe.com/Google’a özel: robots.txt dosyasını FTP kaynakları için de kullanırız.
http://212.96.82.21/robots.txt	Geçerli: http://212.96.82.21/ Geçerli değil: http://niobe.com/ (212.96.82.21 adresinde barındırılsa bile)Ana makine adıyla aynı IP adresine sahip bir robots.txt dosyası, ana makine adı olarak yalnızca söz konusu IP adresinin taranması için geçerli olur. Söz konusu IP adresinde barındırılan tüm web siteleri için otomatik olarak geçerli olmaz (bununla birlikte, robots.txt dosyasının paylaşılması mümkündür. Bu durumda, robots.txt dosyası, paylaşılan ana makine adı altında da kullanılabilir).
http://niobe.com:80/robots.txt	Geçerli: http://niobe.com:80/ http://niobe.com/ Geçerli değil: http://niobe.com:81/ Standart bağlantı noktası numaraları, (http için 80, https için 443, ftp için 21), varsayılan ana makine adlarına eş değerdir. Ayrıca bkz. [portnumbers].
http://niobe.com:8181/robots.txt	Geçerli: http://niobe.com:8181/ Geçerli değil: http://niobe.com/ Standart olmayan bağlantı noktası numaralarındaki robots.txt dosyaları, yalnızca bu bağlantı noktası numaraları üzerinden kullanıma sunulan içerik için geçerlidir.

Robots.txt Dosyasını Test Etme

Robots.txt dosyanızı beklediğiniz gibi çalıştığından emin olmak için test edebilirsiniz. Tümünün doğru olduğunu düşünseniz bile bunu yapmanızda fayda var.

Google Search Console’ye (Google Arama Konsolu) girin (kurulumdan sonra) ve sol taraftaki Kapsam raporuna (Coverage report) gidin. Rapor “Hariç tutulan (Excluded)” sekmesinde web sitesinde mevcut uyarıları, hataları ve engellenen sayfalarla ilgili diğer bilgileri size gösterir.

Ya da Robots.txt dosyanızı robots.txt Test Aracı ile test edebilirsiniz.

Robots.txt Dosyanızı Test Etme

Test aracını açtıktan sonra vurgulanan söz dizimi uyarılarını ve mantık hatalarını bulmak için robots.txt kodunu kaydırın. Sözdizimi uyarılarının ve mantık hatalarının sayısı, düzenleyicinin hemen altında gösterilir.
Sayfanın altında bulunan metin kutusuna web sitenizde bulunan bir sayfanın URL’sini yazın.
Metin kutusunun sağındaki açılır listeden simüle etmek istediğiniz kullanıcı aracısını seçin.
Erişimi test etmek için “Test” düğmesine tıklayın.
Girdiğiniz URL’nin Google web tarayıcıları tarafından engellenip engellenmediğini öğrenmek için “Test” düğmesinin kontrolünü sağlayarak “Kabul Edildi” mi yoksa “Engellendi” mi yazdığına bakın.
Sayfadaki dosyayı düzenleyip gerekirse tekrar test edin. Yapılan değişikliklerin sitenize kaydedilmediğini bilin ve bir sonraki adıma geçin.
Yapılan değişiklikleri sitenizde bulunan robots.txt dosyanıza kopyalayın. Bu araç sitenizdeki gerçek dosyada değişiklik yapmaz, testi sadece araçta barındırılan kopyayı kullanarak gerçekleştirir.

Robots.txt Dosyanız Yoksa Ne Olur?

Bir robots.txt dosyası olmadan arama motorları, web sitesinde buldukları her şeyi taramak ve dizine eklemek için ücretsiz bir çalışma yapacaktır. Bu çoğu web sitesi için uygundur, ancak en azından XML site haritanızın nerede olduğunu belirtmeniz gerekir. Böylece arama motorları web sitenizde yeni içeriği hızla bulabilir ve tarama bütçelerini optimize edebilir.

Özetlemek gerekirse:

Robots.txt dosyası, robotlara hangi sayfaların taranması ve taranmaması gerektiğini söyleyen bir kılavuzdur.
Robots.txt dosyası, endekslemeyi engelleyecek şekilde yapılandırılamaz, ancak bir robotun tarama veya belirli belgeleri veya dosyaları yok sayma şansını artırabilirsiniz.
Yararsız web sitesi içeriğini disallow yönergesiyle gizlemek, tarama bütçesinden tasarruf sağlar. Bu hem çok sayfalı hem de küçük web siteleri için geçerlidir.
Bir robots.txt dosyası oluşturmak için basit bir metin düzenleyici ve kontrol yapmak için Google Arama Konsolu yeterlidir.
Robots.txt dosyasının adı küçük harflerle yazılmalı ve 500 KB’yi geçmemelidir.

Robots.txt İle E-ticaret Sitelerinin Tarama Bütçesi Nasıl Optimize Edilir?

Bir sayfanın arama sonuçlarında görünmesi ve sitenize trafik çekmesi için, Google’nin önce sayfayı taraması gerekir. Google’ın kendi ifadesiyle, “Tarama, sitelerin Google’nin arama sonuçlarına giriş noktasıdır.” Ancak, Google’nin web üzerindeki her sayfayı her zaman taramak için sınırsız zamanı ve kaynağı olmadığı için tüm sayfalar taranmayacaktır.

Bu, SEO‘da tarama bütçesi olarak adlandırılan kavramdır ve bunu optimize etmek, e-ticaret sitenizin büyümesinin anahtarı olabilir.

Tarama bütçesi, bir arama motorunun herhangi bir web sitesinde tarayabileceği ve taramak istediği maksimum sayfa sayısıdır. Google, tarama hızı sınırını ve tarama talebini tartarak tarama bütçesini belirler. Bütçede bazı küçük dalgalanmalar olabilir, ancak genel olarak nispeten tutarlı kalır. Bu kavram, küçük web siteleriyle (birkaç yüz sayfa) alakalı değildir, çünkü sitenin tamamı için tam bir tarama nispeten hızlı bir şekilde gerçekleşir. Bununla birlikte, on binlerce veya daha fazla sayfadan oluşan büyük e-ticaret siteleri için, sitede hiçbir tarayıcı tuzağı veya sonsuz tarama alanı bulunmadığının doğrulanması önemlidir.

Bir e-ticaret sitesini tarama bütçesi için optimize etmek, Google’nin web tarayıcısının belirli bir sayfayı ne sıklıkta ziyaret ettiğini etkileyebilir ve bu nedenle, yeni veya güncellenmiş içeriğin Google arama sonuçlarında daha hızlı görüneceği anlamına gelebilir.

Siteniz bir e-ticaret sitesi ise ve otomatik olarak oluşturulmuş çok sayıda URL’ye sahip binlerce sayfanız varsa, Google bu sayfaların tümünü taramayabilir ve çok sayıda potansiyel trafik ve görünürlükten mahrum kalırsınız.

Google, “çok sayıda düşük katma değerli URL’ye sahip olmanın bir sitenin taranmasını ve dizine eklenmesini olumsuz etkileyebileceğini” belirtmiştir. Burası, bir robots.txt dosyasına sahip olmanın, sitenizin tarama bütçesini etkileyen faktörlere yardımcı olabileceği yerdir.

Bir arama motoru botu bir web sitesini tararken, sitenin hangi bölümlerinin dizine eklenmesi gerektiğini belirlemek için robots.txt dosyasını kullanır.

Robots.txt dosyanızı botlar için bir kılavuz veya talimat kılavuzu gibi düşünün. Uymaları gereken kuralları olan bir rehberdir. Bu kurallar, tarayıcılara neleri görüntüleyebileceklerini (site haritanızdaki sayfalar gibi) ve sitenizin hangi bölümlerinin kısıtlandığını söyleyecektir.

Dosyayı, arama motorlarının sitenizde olabildiğince verimli bir şekilde ve yalnızca önemli sayfaları tarayıp (giriş, kayıt veya teşekkür sayfaları gibi sayfalar) zaman kaybetmeden sitenizde zaman geçirmelerini sağlayarak, sitelerinizin tarama bütçesini yönetmenize yardımcı olması için kullanabilirsiniz.

Filtre Sayfalarının Taranmasını Engellemek

E-ticaret sitelerinin kategori sayfaları oldukça fazla filtre içerebilir ve parametre içeren filtre sayfaları genellikle arama motorlarına indeksletilmez. Bu sayfaları tarama işleminden hariç tutmak faydalı olur.

E-ticaret sitenizde bulunan fiyat filtresini ele alalım. siteadi.com/?fiyat=150-250 gibi bir filtre URL’niz varsa, onlarca filtre varyasyonu oluşabilir ve sitenize gelen botların tarama limitini doldurabilir. Bunu engellemek için aşağıdaki komutu yazabilirsiniz:

User-agent: *
Disallow: /*fiyat

Anlamı: Tüm arama motoru botları sitemi ziyaret edebilir ama parametreli sayfalarda fiyat kelimesini içeren sayfaları ziyaret edemez.

Alışveriş Sayfalarının Taranmasını Engellemek

Sitenizde bulunan sepet, boş sepet, ödeme, kargo seçimi adımlarının olduğu URL’ler hem dinamik değiştiği hem de dizine eklenmesinin bir faydası olmadığı için bu sayfaların taranmasını engelleyebilirsiniz.

Sepet sayfamızın URL’si: siteadi.com/cart/ilk-adim

User-agent: *
Disallow: /cart/

Anlamı: Sitede bulunan /cart/ dizinini tarama.

Ödeme sayfamızın URL’si: siteadi.com/payment/

User-agent: *
Disallow: /payment/