SEO İçin Robots.txt Dosyası Nasıl Oluşturulur Ve Düzenlenir: Kapsamlı Rehber

Last Updated on 27 Ağustos 2021 by Yıldırım SERTBAŞ

Bir robots.txt dosyası, arama motorları için yönergeler içerir. Arama motorlarının web sitenizin belirli bölümlerini taramasını önlemek ve arama motorlarına web sitenizi en iyi şekilde nasıl tarayabilecekleri konusunda yardımcı ipuçları vermek için kullanabilirsiniz. Robots.txt dosyası SEO’da bazı noktalar açısından önemlidir.

Robots.txt dosyanızı optimize ederken, aşağıda sıraladığım noktaları aklınızda bulundurun:

• Robots.txt dosyanızda değişiklik yaparken dikkatli olun. Bu dosya, web sitenizin büyük bölümlerini arama motorları için erişilemez hale getirme potansiyeline sahiptir.
• Robots.txt dosyası, web sitenizin kök dizininde yer almalıdır. (ör. Http://www.example.com/robots.txt).
• Robots.txt dosyası, protokol (http veya https) dahil olmak üzere yalnızca bulunduğu tam alan adı için geçerlidir.
• Bu dosyayı farklı arama motorları farklı şekilde yorumlar. Varsayılan olarak, ilk eşleşen yönerge her zaman kazanır. Ancak, Google ve Bing ile özgüllük kazanır.
• Arama motorları için tarama geciktirme yönergesini olabildiğince kullanmaktan kaçının.

Robots.txt dosyası nedir?

Bir robots.txt dosyası, arama motorlarına web sitenizin katılım kurallarının ne olduğunu söyler. SEO yapmanın büyük bir kısmı, doğru sinyalleri arama motorlarına göndermektir ve robots.txt, tarama tercihlerinizi arama motorlarına iletmenin yollarından biridir.

2019’da robots.txt standardıyla ilgili oldukça bazı gelişmeler gördük. Google, Robots Hariç Tutma Protokolü için bir uzantı önerdi ve robots.txt ayrıştırıcısını açık kaynaklı hale getirdi.

• Google’ın robots.txt yorumlayıcısı oldukça esnektir.
• Dosyada çakışan yönergeler olması durumunda, Google güvenli tarafta hata yapar ve bölümlerin sınırsız olmaktan çok kısıtlanması gerektiğini varsayar.

Arama motorları, web sitesini taramak için herhangi bir talimat olup olmadığını görmek için bir web sitesinin robots.txt dosyasını düzenli olarak kontrol eder. Bu talimatlara direktifler(yönergeler) diyoruz.

Robots.txt dosyası yoksa veya geçerli bir yönerge yoksa, arama motorları tüm web sitesini tarar.

Tüm büyük arama motorları robots.txt dosyasına saygı duysa da, arama motorları robots.txt dosyanızı yok saymayı da(bir kısmını) seçebilir. Robots.txt dosyasındaki yönergeler arama motorları için güçlü bir sinyal olsa da, robots.txt dosyasının bir görevden ziyade arama motorları için bir dizi isteğe bağlı yönerge olduğunu hatırlamak önemlidir.

Robots.txt ile neden ilgilenmelisiniz?

Robots.txt, SEO açısından önemli bir rol oynar. Arama motorlarına web sitenizi en iyi nasıl tarayabileceklerini söyler.

Robots.txt dosyasını kullanarak, arama motorlarının web sitenizin belirli bölümlerine erişmesini engelleyebilir, yinelenen içeriği önleyebilir ve arama motorlarına web sitenizi daha verimli bir şekilde nasıl tarayabilecekleri konusunda yararlı ipuçları verebilirsiniz.

Robots.txt dosyanızda değişiklik yaparken dikkatli olun. Bu dosya, web sitenizin büyük bölümlerini arama motorları için erişilemez hale getirme potansiyeline sahiptir.

Örnek:
Bunu açıklamak için bir örneğe bakalım:

Bir e-ticaret web sitesi işletiyorsunuz ve ziyaretçiler, ürünleriniz arasında hızlı bir şekilde arama yapmak için bir filtre kullanabilir. Bu filtre, temelde diğer sayfalarla aynı içeriği gösteren sayfalar oluşturur. Bu, kullanıcılar için harika çalışıyor, ancak yinelenen içerik oluşturduğu için arama motorlarının kafasını karıştırıyor.

Arama motorlarının bu filtrelenmiş sayfaları dizine eklemesini ve değerli zamanlarını filtrelenmiş içerikle bu URL’lerde harcamasını istemezsiniz. Bu nedenle, arama motorlarının bu filtrelenmiş ürün sayfalarına erişmemesi için disallow kuralları oluşturmalısınız.

Yinelenen içeriğin önlenmesi, kanonik URL veya meta robots etiketi kullanılarak da yapılabilir, ancak bunlar, arama motorlarının yalnızca önemli sayfaları taramasına izin vermez.

Kanonik bir URL veya meta robot etiketi kullanmak, arama motorlarının bu sayfaları taramasını engellemez. Yalnızca arama motorlarının bu sayfaları arama sonuçlarında göstermesini engelleyecektir. Arama motorlarının bir web sitesini taramak için sınırlı zamanı olduğundan, bu süre arama motorlarında görünmesini istediğiniz sayfalarda geçirilmelidir.

Robots.txt dosyası neye benzer?

Bir WordPress web sitesi için basit bir robots.txt dosyasının nasıl görünebileceğine bir örnek.

Yukarıdaki örneğe göre bir robots.txt dosyasının anatomisini açıklayalım:

• User-agent: kullanıcı aracısı olarak çevirebileceğimiz user-agent, aşağıdaki yönergelerin hangi arama motorları için kullanıldığını belirtir.
• *: Bu, direktiflerin tüm arama motorları için olduğunu gösterir.
• Disallow: Bu, kullanıcı aracısının hangi içeriğe erişemeyeceğini gösteren bir yönergedir.
• /wp-admin/: bu, kullanıcı aracısı için erişilemeyen yoldur.

Özetle: bu robots.txt dosyası, tüm arama motorlarına /wp-admin/ dizininden uzak durmalarını söyler.

Robots.txt dosyalarının farklı bileşenlerini daha ayrıntılı olarak inceleyelim.

• User-agent
• Disallow
• Allow
• Sitemap
• Crawl-delay

User-agent

Her arama motoru, kendisini bir user-agent ile tanımlamalıdır. Örneğin, Google’ın robotları Googlebot olarak, Yahoo’nun robotlarını Slurp ve Bing’in robotunu BingBot olarak tanımlar. Kullanıcı aracısı kaydı, bir grup direktifin başlangıcını tanımlar.

İlk user-agent ile sonraki user-agent kaydı arasındaki tüm yönergeler, ilk user-agent için yönergeler olarak değerlendirilir. Yönergeler belirli user-agent’lar için geçerli olabilir, ancak tüm user-agent’lar için de geçerli olabilir. Bu durumda, bir joker karakter kullanılır: User-agent: *

Disallow

Arama motorlarına web sitenizin belirli dosyalarına, sayfalarına veya bölümlerine erişmemelerini söyleyebilirsiniz. Bu, Disallow yönergesi kullanılarak yapılır. Disallow yönergesini erişilmemesi gereken yol izler. Hiçbir yol tanımlanmazsa, yönerge dikkate alınmaz.

Bu örnekte, tüm arama motorlarına /wp-admin/ dizinine erişmemeleri söylenmiştir.

Allow

Allow yönergesi bir Disallow yönergesini etkisiz hale getirmek için kullanılır. Allow direktifi Google ve Bing tarafından desteklenmektedir. Allow ve disallow yönergelerini birlikte kullanarak arama motorlarına, izin verilmeyen bir dizindeki belirli bir dosya veya sayfaya erişebileceklerini söyleyebilirsiniz. Allow direktifini erişilebilen yol izler. Hiçbir yol tanımlanmazsa, yönerge dikkate alınmaz.

Yukarıdaki örnekte, /media/terms-and-conditions.pdf dosyası dışında tüm arama motorlarının / media / dizinine erişmesine izin verilmez.

Önemli: Allow ve Disallow yönergelerini birlikte kullanırken, çakışan yönergelere yol açabileceğinden joker karakterler kullanmadığınızdan emin olun.

Çakışan direktif örnekleri

Arama motorları http://www.domain.com/directory.html URL’si ile ne yapacaklarını bilemeyeceklerdir. Erişim izni olup olmadıkları onlar için belirsizdir. Yönergeler Google için açık olmadığında, en az kısıtlayıcı yönergeyi kullanırlar; bu, bu durumda aslında http://www.domain.com/directory.html adresine erişecekleri anlamına gelir.

Her yönerge için ayrı bir satır kullanımı

Her yönerge ayrı bir satırda olmalıdır, aksi takdirde arama motorları robots.txt dosyasını ayrıştırırken zorlanabilir.

Yanlış robots.txt dosyası örneği

Wildcard (*) kullanımı

Joker karakter yalnızca user-agent tanımlamak için kullanılmaz, aynı zamanda URL’leri eşleştirmek için de kullanılabilir. Joker karakter Google, Bing, Yahoo ve Ask tarafından desteklenmektedir.

Örnek:

Yukarıdaki örnekte, tüm arama motorlarının soru işareti (?) içeren URL’lere erişmesine izin verilmez.

URL sonunda $ kullanımı

Bir URL’nin sonunu belirtmek için yolun sonundaki dolar işaretini ($) kullanabilirsiniz.

Örnek:

Yukarıdaki örnekte, arama motorlarının .php ile biten tüm URL’lere erişmesine izin verilmez. Parametreli URL’ler, örnekte olduğu .php’den sonra bitmediği için (https://example.com/page.php?lang=en) izin verilecektir.

Robots.txt Dosyasına Sitemap Ekleme

Robots.txt dosyası, arama motorlarına hangi sayfaların taranmaması gerektiğini söylemek için icat edilmiş olsa da, robots.txt dosyası, arama motorlarını XML site haritasına yönlendirmek için de kullanılabilir. Bu, Google, Bing, Yahoo ve Ask tarafından desteklenmektedir.

XML site haritasına mutlak bir URL olarak eklenmelidir. URL’nin robots.txt dosyasıyla aynı hostta olması gerekmez.

XML site haritanızı Google Search Console veya Bing Web Yöneticisi Araçları’na önceden göndermiş olsanız bile robots.txt dosyasında XML site haritasını referans göstermek, her zaman yapmanızı tavsiye ettiğim en iyi uygulamalardan biridir. Unutmayın, oraya sadece Googlebot gelmiyor diğer arama motorları botları da geliyor.

Bir robots.txt dosyasında birden çok XML site haritasını referans göstermenin mümkün olduğunu lütfen unutmayın.

Örnekler:

Bir robots.txt dosyasında tanımlanmış birden çok XML site haritası.

Yukarıdaki örnekte hem tüm site haritasını sitemap.xml formatında hem de sitemap_index.xml olarak eklenmiştir. Sitemap içinde ayrı ayrı tutulan post, kategori ve sayfaların bulunduğu sitemap’leri ayrı ayrı olarak da robots.txt dosyasında referans gösterebilirsiniz.

Yukarıdaki örnek, tüm arama motorlarına / wp-admin / dizinine erişmemelerini ve https://www.example.com/sitemap1.xml ve https: //www.example adreslerinde bulunabilen iki XML site haritası olduğunu söyler. .com / sitemap2.xml.

Bir robots.txt dosyasında tanımlanan tek bir XML site haritası:

Yukarıdaki örnek, tüm arama motorlarına / wp-admin / dizinine erişmemelerini ve XML site haritasının https://www.example.com/sitemap_index.xml adresinde bulunabileceğini söyler.

Site haritamı robots.txt dosyasına nasıl eklerim?

Robots.txt dosyanızda her zaman XML site haritalarınıza yer vermek iyi bir uygulamadır.

Robots.txt dosyanızda XML site haritası ekleme kuralları:

• Mutlak URL’yi XML site haritanıza referans verin.
• Birden çok XML site haritasına yer verebilirsiniz.
• Normal XML site haritalarını ve XML site şablonu dizinlerini yeniden düzenleyebilirsiniz.
• Başka bir alan alanındaki XML site haritalarına ekleyebilirsiniz, yani alan adınız example.com ise ve XML site haritanız example2.com’daysa, o alan adını ekleyebilirsiniz.

Buna ek olarak, XML site haritalarınızı her zaman Google Search Console ve Bing Web Yöneticisi Araçları aracılığıyla da göndermeniz iyi olacaktır.

XML site haritası doğru şekilde eklenmesi:

Bu örnekte, XML site haritalarına doğru şekilde referans verilmiştir:

XML site haritasının yanlış eklenmesi:

Bu örnekte, XML site haritasına göreli bir URL kullanılarak – yanlış olarak – başvurulmaktadır:

XML site haritasının doğru şekilde referans gösterilmesi fakat engellenmiş olması:

Bu örnekte, XML site haritasına doğru bir şekilde referans verilmiştir, ancak arama motorları Disallow: / yönergesi nedeniyle ona erişemeyecektir:

Sitemap Yorumları

Yorumlardan önce bir # bulunur ve bir satırın başına veya aynı satırdaki bir yönergenin arkasına yerleştirilebilir. # işaretinden sonraki her şey yok sayılacaktır. Bu yorumlar yalnızca insanlar içindir. Bu temel ilke aslında tüm kodlama kurallarındaki gibidir.

Örnek 1:

Örnek 2:

Robots.txt Dosyasında Tarama Gecikmesi

Crawl-delay yönergesi, sunucuların çok fazla istekle aşırı yüklenmesini önlemek için kullanılan resmi olmayan bir yönergedir. Arama motorları bir sunucuya aşırı yükleniyorsa, robots.txt dosyanıza tarama gecikmesi eklemek yalnızca geçici bir düzeltmedir. Gerçek şu ki, web siteniz zayıf bir barındırma ortamında çalışıyor ve / veya web siteniz yanlış yapılandırılmış ise bunu mutlaka en kısa sürede çözmelisiniz.

Arama motorlarının tarama gecikmesini ele alma şekli farklıdır. Aşağıda büyük arama motorlarının bunu nasıl ele aldığını açıkladım.

Google’da Tarama Gecikmesi

Google’ın tarayıcısı Googlebot, tarama erteleme yönergesini desteklemez, bu nedenle bir Google tarama gecikmesi tanımlamakla uğraşmayın.

Ancak Google, Google Search Console’da bir tarama oranı tanımlamayı desteklemektedir.

GSC’de tarama oranını ayarlama

• Eski Google Search Console‘a giriş yapın (yeni bir sekmede açılır).
• Tarama oranını tanımlamak istediğiniz web sitesini seçin.
• İnce ayar yapabileceğiniz tek bir ayar vardır. Tercih edilen tarama oranını ayarlayabileceğiniz bir kaydırıcı ile tarama hızını ayarlayabilirsiniz. Varsayılan olarak, tarama hızı “Google’ın sitem için optimize etmesine izin ver (önerilen)” olarak ayarlanmıştır.

Google’da zaten sunucunuzun yavaşlamadığı sürece burayla oynamınızı pek tavsiye etmiyor.

Bing, Yahoo ve Yandex’de Tarama Gecikmesi

Bing, Yahoo ve Yandex, bir web sitesinin taranmasını kısmak için Crawl-delay direktifini destekler. Tarama gecikmesine ilişkin yorumları biraz farklıdır, bu nedenle ilgili yönergeleri kontrol ettiğinizden emin olun.

• Bing ve Yahoo yönergeleri
• Yandex yönergeleri

Tarama geciktirme yönergesi, izin verme(allow) veya izin vermeme(disallow) yönergelerinin hemen sonrasına yerleştirilmelidir.

Baidu Tarama Gecikmesi

Baidu, tarama erteleme yönergesini desteklemez, ancak Google Search Console’a benzer şekilde, tarama sıklığını kontrol edebileceğiniz bir Baidu Web Yöneticisi Araçları hesabına kaydolmak mümkündür.

Robots.txt Dosyası Ne Zaman Kullanılır?

Her zaman bir robots.txt dosyası kullanmanızı öneririm. Birine sahip olmanın kesinlikle hiçbir zararı yoktur ve web sitenizi en iyi nasıl tarayabileceklerine dair arama motorları yönergelerini vermek için harika bir yerdir.

Robots.txt Pratikleri

• Konum ve dosya adı
• Öncelik sırası
• Robot başına yalnızca bir yönerge grubu
• Mümkün olduğunca spesifik olun
• Hem spesifik hem de genel yönerge içeren robots.txt
• Her subdomain için ayrı robots.txt dosyası
• Çakışan yönergeler
• Robots.txt dosyasını görüntüleme
• Robots.txt dosyanızda noindex kullanmayın
• Robots.txt dosyasında UTF-8 BOM’u önleyin

Konum ve Dosya Adı

Robots.txt dosyası her zaman bir web sitesinin kök dizinine yerleştirilmeli ve robots.txt dosya adını taşımalıdır, örneğin: https://www.example.com/robots.txt . Robots.txt dosyasının URL’sinin, diğer tüm URL’ler gibi büyük / küçük harfe duyarlı olduğunu unutmayın.

Robots.txt dosyası varsayılan konumda bulunamazsa, arama motorları hiçbir yönerge olmadığını varsayar ve web sitenizde gezinir.

Öncelik Sırası

Arama motorlarının robots.txt dosyalarını farklı şekilde işlediğini unutmamak önemlidir. Varsayılan olarak, ilk eşleşen yönerge her zaman kazanır.

Ancak, Google ve Bing ile bu özgüllük kazanır. Örneğin: Bir Allow yönergesi, karakter uzunluğu daha uzunsa Disallow yönergesini ezer.

Örnek:

Yukarıdaki örnekte, Google ve Bing dahil tüm arama motorlarının / about / company / alt dizini dışında / about / dizinine erişmesine izin verilmez.

Örnek:

Yukarıdaki örnekte, Google ve Bing dışındaki tüm arama motorlarının / about / dizinine erişimine izin verilmemiştir. Buna / about / company / dizini dahildir.

Allow yönergesi, disallow yönergesinden daha uzun olduğu için Google ve Bing’e erişim izin verilir.

Robot Başına Yalnızca Bir Yönerge Grubu

Her arama motoru için yalnızca bir yönerge grubu tanımlayabilirsiniz. Bir arama motoru için birden fazla yönerge grubuna sahip olmak botları şaşırtabilir.

Mümkün Olduğunca Spesifik Olun

Disallow yönergesi kısmi eşleşmelerde de tetiklenir. Dosyalara erişimi yanlışlıkla engellemeyi önlemek için Disallow yönergesini tanımlarken olabildiğince spesifik olun.

Örnek:

Yukarıdaki örnek, arama motorlarının aşağıdakilere erişmesine izin vermez:

• /dizin
• /dizin/
• /dizin-isim-1
• /dizin-isim.html
• /dizin-isim.php
• /dizin-isim.pdf

Hem Spesifik Hem De Genel Yönerge İçeren Robots.txt

Bir robot için yalnızca bir yönerge grubu geçerlidir. Tüm robotlara yönelik yönergelerin belirli bir robota yönelik yönergelerle takip edilmesi durumunda, yalnızca bu belirli yönergeler dikkate alınacaktır. Spesifik robotun tüm robotlara yönelik direktifleri de takip etmesi için, belirli robot için bu direktifleri tekrarlamanız gerekir.

Bunu netleştirecek bir örneğe bakalım:

Yukarıdaki örnekte, Google dışındaki tüm arama motorlarının / secret /, / test / ve / not-launch-yet / erişimine izin verilmez. Google’ın yalnızca / not-launched-yet / öğelerine erişmesine izin verilmez, ancak / secret / ve / test / öğelerine erişim izni verilir.

Googlebot’un / secret / ve / not-launch-yet/ öğelerine erişmesini istemiyorsanız, bu yönergeleri özellikle googlebot için tekrarlamanız gerekir:

Lütfen robots.txt dosyanızın herkese açık olduğunu unutmayın. Buradaki web sitesi bölümlerine izin vermemek, kötü niyetli kişiler tarafından saldırı yolu olarak kullanılabilir.

Her Subdomain İçin Ayrı Robots.txt Dosyası

Robots.txt yönergeleri yalnızca dosyanın barındırıldığı domain ya da subdomain için geçerlidir.

Örnek:

http://example.com/robots.txt, http://example.com için geçerlidir, ancak http://www.example.com veya https://example.com için geçerli değildir.

Alt alanınızda yalnızca bir robots.txt dosyasının bulunması en iyi uygulamadır.

Birden fazla robots.txt dosyanız varsa, bunların bir 404 HTTP durumu döndürdüğünden emin olun veya bunları canonical robots.txt dosyasına 301 ile yönlendirin.

Çakışan Yönergeler

Robots.txt dosyanızın Google Search Console’da tanımlanan ayarlarla çakışması durumunda, Google genellikle Google Search Console’da tanımlanan ayarları robots.txt dosyasında tanımlanan yönergeler yerine kullanmayı seçer.

Robots.txt Dosyasını Görüntüleme

Robots.txt dosyanızı değişiklikler için izlemeniz önemlidir. Birçok projede yanlış yönergelerin ve robots.txt dosyasındaki ani değişikliklerin büyük SEO sorunlarına neden olduğu birçok sorun görüyoruz.

Bu, özellikle yeni özellikler eklenen veya bir test ortamında hazırlanmış yeni bir web sitesi başlatılırken geçerlidir, çünkü bunlar genellikle aşağıdaki robots.txt dosyasını içerir:

Robots.txt Dosyanızda Noindex Kullanmayın

Google yıllar boyunca resmi olmayan robots.txt’deki noindex direktifinin kullanılmasını açıkça önermiyordu. Nihayet 1 Eylül 2019 tarihinde bu direktifi tamamiyle kaldırdı.

Bu bağlamda indexe alınmasını istemediğiniz web sayfalarını indexe kapamak için meta etiketlerinin kullanılması daha doğru bir yöntem olacaktır.

Robots.txt Dosyasında UTF-8 BOM’u Önleyin

BOM, bir metin dosyasının Unicode kodlamasını belirtmek için kullanılan bir dosyanın başlangıcındaki görünmez bir karakter olan bayt sırası işaretinin kısaltmasıdır.

Google, robots.txt dosyasının başındaki isteğe bağlı Unicode bayt sırası işaretini yok saydığını belirtirken, robots.txt dosyasının arama motorları tarafından yorumlanmasında sorunlara neden olduğunu gördüğümüz için “UTF-8 BOM” un önlenmesini öneririm.

Google bununla başa çıkabileceğini söylese de, UTF-8 BOM’u önlemek için iki neden var:

• Arama motorlarına tarama ile ilgili tercihleriniz konusunda herhangi bir belirsizlik olmasını istemezsiniz.
• Google gibi diğer arama motorlarının da bunu gözardı edeyeceğini bilemiyoruz.

Robots.txt Örnekleri

Bu bölümde çok çeşitli robots.txt dosyası örneklerini ele alacağım.

Tüm robotların her şeye erişmesine izin verme

Arama motorlarına tüm dosyalara erişebileceklerini söylemenin birden çok yolu vardır. Bunlardan en çok kullanılanı aşağıdaki gibidir.

User-agent: *
Disallow:

Robots.txt dosyasının boş bırakılması ya da hiç olmaması da aynı etkiyi yaratacaktır.

Tüm robotları her şey için engelleme

Aşağıdaki örnek robots.txt, tüm arama motorlarına sitenin tamamına erişmemesini söyler.

User-agent: *
Disallow: /

Fazladan eklenen bir karakterin (/) nelere mal olduğunu görmeniz açısından güzel bir örnektir.

Tüm Google botlarını engelleme

User-agent: googlebot
Disallow: /

Lütfen Googlebot’a izin vermeyince bunun tüm Googlebot’lar için geçerli olduğunu unutmayın. Buna, örneğin haberler (googlebot-news) ve resimler (googlebot-images) arayan Google robotları da dahildir.

Tüm Google botlarını Google-News Harici Engelleme

User-agent: googlebot
Disallow: /

User-agent: googlebot-news
Disallow:

Googlebot ve Slurp’u engelleme

User-agent: Slurp
User-agent: googlebot
Disallow: /

Tüm robotlar bu iki dizine giremez

User-agent: *
Disallow: /admin/
Disallow: /gizli/

WordPress için Robots.txt dosyası

Örnek olarak oluşturduğum robots.txt dosyası, aşağıdaki varsayımlarla özellikle WordPress için optimize edilmiştir:

• Yönetici bölümünüzün taranmasını istemezsiniz.
• Dahili arama sonucu sayfalarınızın taranmasını istemezsiniz.
• Etiketlerinizin ve yazar sayfalarınızın taranmasını istemezsiniz.
• 404 sayfalarınızın taranmasını istemezsiniz.

User-agent: *
Disallow: /wp-admin/ #admin panelini taraması engellenir
Disallow: /wp-login.php #login sayfanızın taraması engellenir
Disallow: /search/ #site içi arama sonuç sayfalarının taraması engellenir
Disallow: ?s= #site içi arama sonuç sayfalarının taraması engellenir
Disallow: ?p= #kalıcı bağlantı hatası veren sayfaların taranması engellenir
Disallow: &p= #kalıcı bağlantı hatası veren sayfaların taranması engellenir
Disallow: &preview= #önizleme sayfalarının taranması engellenir
Disallow: /tag/ #etiket sayfalarının taranması engellenir
Disallow: /author/ #yazar sayfalarının taranması engellenir
Disallow: /404-error/ #404 döndüren sayfaların taranması engellenir

Sitemap: https://www.example.com/sitemap_index.xml

Lütfen bu robots.txt dosyasının çoğu durumda çalışacağını, ancak her zaman ayarlamanız ve sizin durumunuza tam olarak uyduğundan emin olmak için test etmeniz gerektiğini unutmayın.

Magento İçin Robots.txt Dosyası

Aşağıdaki robots.txt dosyası özellikle Magento için optimize edilmiştir ve dahili arama sonuçlarını, giriş sayfalarını, oturum tanımlayıcılarını(kullanıcılar oluşturur parametreler vb) ve fiyat, renk, malzeme ve boyut ölçütlerini içeren filtrelenmiş sonuç kümelerini tarayıcılar için erişilemez hale getirecektir.

Lütfen bu robots.txt dosyasının çoğu Magento mağazasında çalışacağını, ancak her zaman ayarlamanız ve sizin durumunuza tam olarak uyduğundan emin olmak için test etmeniz gerektiğini unutmayın.

Robots.txt Dosyasını Nasıl Bulurum?

Bu bölümde robots.txt dosyasını nasıl bulurum sorusuna cevap vermeye çalıştım. Hem front-end hem de back-end tarafında bu dosyaya nasıl erişebilirsiniz bakalım.

Front-end tarafında robots.txt dosyanızı bulma

Tarayıcılar her zaman robots.txt dosyanızı web sitenizin kök dizininde arar, örneğin: https://www.yildirimsertbas.com/robots.txt. Alan alanınıza gidin ve sadece “/robots.txt” ekleyin.

Hiçbir şey çıkmazsa, henüz bir robots.txt dosyanız yoktur.

Robots.txt dosyanızı güncellemek istemeniz durumunda okumaya devam edin.

Back-end tarafında robots.txt dosyanızı bulma

Bir içerik yönetim sistemi (CMS) kullanıyorsanız, robots.txt dosyanızı orada yönetebilirsiniz.

WordPress’teki robots.txt dosyanız

Yoast SEO, Rank Math ve All in One SEO’nun en popüler eklentilerini kapsayan bu makalede, robots.txt dosyanızı WordPress’te nerede bulacağınızı aşağıdaki bölümde açıkladım.

Profesyonel ipucu:

Henüz yayına girmemiş bir WordPress web sitesinde çalışıyorsanız ve aşağıdaki içerikleri robots.txt dosyanızda buluyorsanız:

User-agent: *
Disallow: /

ardından Worspress Ayarlar> Okuma altındaki ayarlarınızı kontrol edin ve arama motoru görünürlüğü ayarını arayın.

Arama motorlarının bu siteyi dizine eklemesini engelle kutusu işaretlenirse, WordPress, arama motorlarının siteye erişmesini engelleyen sanal bir robots.txt oluşturur.

Magento 2

Magento 2’de robots.txt dosyanız burada bulunur:

• İçerik> Yapılandırma (Tasarım Altında).
• Burada, varsayılan mağaza görünümü yerine ana web sitesi ayarlarını düzenleyin, çünkü ikincisi robots.txt dosyasını değiştirmenize izin vermez.

Sonraki ekranda aşağı kaydırarak arama motoru robotları’na gidin. Orada robots.txt içeriğinizi tanımlayabilirsiniz:

Nasıl Robots.txt Oluşturabilirim?: Robots.txt Dosyası Oluşturma

Robots.txt dosyası oluşturma farklı yollaran yapılabilir. Aşağıdaki şekillerde oluşturabilirsiniz.

• İçerik yönetim sisteminizle oluşturabilirsiniz.
• Bilgisayarda kendiniz oluşturup kök dizine ekleyerek oluşturabilirsiniz.

İçerik yönetim sisteminizle bir robots.txt oluşturma

Çoğu zaman, modern içerik yönetim sistemleri (CMS’ler WordPress, Joomla vb.), robots.txt dosyanızı CMS içinden oluşturma ve koruma işlevine sahiptir. Varsayılan olarak CMS ile birlikte gelmezse, genellikle bu konuda yardımcı olacak eklentiler bulabilirsiniz.

WordPress + Yoast SEO

Örneğin, WordPress’teki Yoast SEO eklentisi robots.txt dosyasını oluşturmayı ve korumayı destekler.

• Wp-admin bölümünüze giriş yapın.
• Kenar çubuğunda Yoast SEO eklentisi> Araçlar’a gidin.
• Dosya düzenleyiciye gidin.

WordPress + Rank Math

• Wp-admin bölümünüze giriş yapın.
• Kenar çubuğunda Rank Math> Genel Ayarlar’a gidin.
• Robots.txt dosyasını düzenle seçeneğine gidin. Not olarak siz daha önceden kök dizine bir dosya eklediyseniz Rank Math üzerinden düzenleme yapamazsınız. FTP’den erişim sağlayıp düzenleyip kaydetmelisiniz.

WordPress + All in One SEO

• Wp-admin bölümünüze giriş yapın.
• Kenar çubuğunda, All In One SEO> Robots.txt seçeneğine gidin.

Magento 2

Magento 2’de robots.txt dosyanız burada bulunur.

• İçerik> Yapılandırma (Design bölümü altında).
• Burada, varsayılan mağaza görünümü yerine ana web sitesi ayarlarını düzenleyin, çünkü ikincisi robots.txt dosyasını değiştirmenize izin vermez.

Sonraki ekranda aşağı kaydırarak arama motoru robotlarına gidin. Orada robots.txt içeriğinizi tanımlayabilirsiniz:

Bilgisayarda Robots.Txt Oluşturup Ekleme

Bir CMS kullanmıyorsanız veya CMS bir robots.txt oluşturmayı desteklemiyorsa, her zaman bir robots.txt dosyasını kendiniz oluşturabilir ve web sunucunuza manuel olarak yükleyebilirsiniz.

• Windows’ta NotPad veya Mac OS X’te textEdit gibi bir düzenleyici açın.
• Yeni bir dosya oluşturun.
• Örnek robots.txt dosyalarından birini kopyalayıp yapıştırın.
• İçeriği gerektiği gibi ayarlayın.
• Bunu robots.txt dosya adıyla kaydedin.
• Web sunucunuza yükleyin.

Hangi Arama Motorları Robots.txt Dosyasını Destekler?

Aşağıdaki tüm büyük arama motorlarının robots.txt dosyasına desteklediğini biliyoruz.

• Google (Google yönergeleri)
• Bing and Yahoo (Bing ve Yahoo yönergeleri)
• Yandex (Yandex yönergeleri)
• Baidu (Baidu yönergeleri)
• DuckDuckGo (DuckDuckGo yönergeleri)

Yine de, her arama motorunun robots.txt dosyalarını biraz farklı yorumladığını unutmayın!

Robots.Txt Dosyası Nasıl Olmalı?

Pek çok kişi örnek robots.txt dosyalarını arar ve robots.txt dosyası nasıl olmalı sorusunu sorar. Haklı olarak bu soru sorulur, çünkü robots.txt’yi karıştırmak kolaydır.

Bu makalede, basit ve biraz daha gelişmiş bir robots.txt dosyasını ele alacağız.

Basit bir robots.txt dosyası

Aşağıda, basit bir robots.txt dosyası örneği verilmiştir. Bu dosyada;

• Tüm tarayıcıların erişimine izin verir.
• XML site haritasını listeler.

Biraz daha gelişmiş bir robots.txt dosyası

Aşağıda, biraz daha gelişmiş bir robots.txt dosyası örneği verilmiştir.

• Googlebot’un / shoes / dizinine erişmesini engeller.
• Bingbot’un / socks / dizinine erişmesini engeller.
• XML site haritasını listeler.

Robots.txt Dosyamda SEMrush’ı Engellemeli Miyim?

Cevap: Bu tamamen duruma bağlıdır.

Web sitenizi taramak için SEMrush kullanıyorsanız onları engellemenin bir anlamı yoktur.

SEMrush kullanmıyorsanız ve bant genişliğini korumak veya SEMrush’ın geri bağlantıları dizine eklemesini önlemek istiyorsanız, botlarını engelleyebilirsiniz.

SEMrush’ı Robots.txt Dosyanız Üzerinden Nasıl Engellersiniz?

Robots.txt dosyanıza yazacağın basit bir yönerge bunu gerçekleştirmenize olanak tanır.

SEMrush Botlarını Tamamen Engelleme

Aşağıdaki basit yönerge ile SEMrush botlarının sitenize erişimini tamamen engelleyebilirsiniz.

SEMrush Botlarının Siteyi Yavaş Taramasını Sağlama

Alternatif olarak, SemrushBot’a sitenizin kaynaklarını çok fazla tüketiyorsa sitenizi yavaş taramasını söyleyebilirsiniz. Dakikada bir URL’yi taramalarını nasıl söyleyeceğiniz aşağıda açıklanmıştır.

SEMrush Backlink Denetim Aracını Engelleme, Ancak Diğer Araçlara İzin Verme

Diyelim ki yalnızca SEMrush’ın geri bağlantı denetim aracını engellemek, ancak diğer araçlarının siteye erişmesine izin vermek istiyorsunuz. Bunu şu yönergeyi robots.txt dosyanıza ekleyerek yapabilirsiniz.

SEMrush’ın Robots.txt Dosyama Uyması Ne Kadar Sürer?

SEMrush’a göre robots.txt dosyanızı yeniden kontrol etmeleri ve içeriğini işlemeleri bir saat veya 100 istek alabilir.

Eğer SEMrush botları ile ilgili daha detaylı bilgilere erişmek istiyorsanız SEMrushbot dokümanını okumanızı tavsiye ederim.

Robots.txt Hakkında Sık Sorulan Sorular