SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Bir robots.txt dosyası, arama motorları için yönergeler içerir. Arama motorlarının web sitenizin belirli bölümlerini taramasını önlemek ve arama motorlarına web sitenizi en iyi şekilde nasıl tarayabilecekleri konusunda yardımcı ipuçları vermek için kullanabilirsiniz. Robots.txt dosyası SEO'da bazı noktalar açısından önemlidir.

Robots.txt dosyanızı optimize ederken, aşağıda sıraladığım noktaları aklınızda bulundurun:

  • Robots.txt dosyanızda değişiklik yaparken dikkatli olun. Bu dosya, web sitenizin büyük bölümlerini arama motorları için erişilemez hale getirme potansiyeline sahiptir.
  • Robots.txt dosyası, web sitenizin kök dizininde yer almalıdır. (ör. Http://www.example.com/robots.txt).
  • Robots.txt dosyası, protokol (http veya https) dahil olmak üzere yalnızca bulunduğu tam alan adı için geçerlidir.
  • Bu dosyayı farklı arama motorları farklı şekilde yorumlar. Varsayılan olarak, ilk eşleşen yönerge her zaman kazanır. Ancak, Google ve Bing ile özgüllük kazanır.
  • Arama motorları için tarama geciktirme yönergesini olabildiğince kullanmaktan kaçının.

Robots.txt dosyası nedir?

Bir robots.txt dosyası, arama motorlarına web sitenizin katılım kurallarının ne olduğunu söyler. SEO yapmanın büyük bir kısmı, doğru sinyalleri arama motorlarına göndermektir ve robots.txt, tarama tercihlerinizi arama motorlarına iletmenin yollarından biridir.

2019'da robots.txt standardıyla ilgili oldukça bazı gelişmeler gördük. Google, Robots Hariç Tutma Protokolü için bir uzantı önerdi ve robots.txt ayrıştırıcısını açık kaynaklı hale getirdi.

  • Google'ın robots.txt yorumlayıcısı oldukça esnektir.
  • Dosyada çakışan yönergeler olması durumunda, Google güvenli tarafta hata yapar ve bölümlerin sınırsız olmaktan çok kısıtlanması gerektiğini varsayar.

Arama motorları, web sitesini taramak için herhangi bir talimat olup olmadığını görmek için bir web sitesinin robots.txt dosyasını düzenli olarak kontrol eder. Bu talimatlara direktifler(yönergeler) diyoruz.

Robots.txt dosyası yoksa veya geçerli bir yönerge yoksa, arama motorları tüm web sitesini tarar.

Tüm büyük arama motorları robots.txt dosyasına saygı duysa da, arama motorları robots.txt dosyanızı yok saymayı da(bir kısmını) seçebilir. Robots.txt dosyasındaki yönergeler arama motorları için güçlü bir sinyal olsa da, robots.txt dosyasının bir görevden ziyade arama motorları için bir dizi isteğe bağlı yönerge olduğunu hatırlamak önemlidir.

Robots.txt ile neden ilgilenmelisiniz?

Robots.txt, SEO açısından önemli bir rol oynar. Arama motorlarına web sitenizi en iyi nasıl tarayabileceklerini söyler.

Robots.txt dosyasını kullanarak, arama motorlarının web sitenizin belirli bölümlerine erişmesini engelleyebilir, yinelenen içeriği önleyebilir ve arama motorlarına web sitenizi daha verimli bir şekilde nasıl tarayabilecekleri konusunda yararlı ipuçları verebilirsiniz.

Robots.txt dosyanızda değişiklik yaparken dikkatli olun. Bu dosya, web sitenizin büyük bölümlerini arama motorları için erişilemez hale getirme potansiyeline sahiptir.

Örnek:
Bunu açıklamak için bir örneğe bakalım:

Bir e-ticaret web sitesi işletiyorsunuz ve ziyaretçiler, ürünleriniz arasında hızlı bir şekilde arama yapmak için bir filtre kullanabilir. Bu filtre, temelde diğer sayfalarla aynı içeriği gösteren sayfalar oluşturur. Bu, kullanıcılar için harika çalışıyor, ancak yinelenen içerik oluşturduğu için arama motorlarının kafasını karıştırıyor.

Arama motorlarının bu filtrelenmiş sayfaları dizine eklemesini ve değerli zamanlarını filtrelenmiş içerikle bu URL'lerde harcamasını istemezsiniz. Bu nedenle, arama motorlarının bu filtrelenmiş ürün sayfalarına erişmemesi için disallow kuralları oluşturmalısınız.

Yinelenen içeriğin önlenmesi, kanonik URL veya meta robots etiketi kullanılarak da yapılabilir, ancak bunlar, arama motorlarının yalnızca önemli sayfaları taramasına izin vermez.

Kanonik bir URL veya meta robot etiketi kullanmak, arama motorlarının bu sayfaları taramasını engellemez. Yalnızca arama motorlarının bu sayfaları arama sonuçlarında göstermesini engelleyecektir. Arama motorlarının bir web sitesini taramak için sınırlı zamanı olduğundan, bu süre arama motorlarında görünmesini istediğiniz sayfalarda geçirilmelidir.

Robots.txt dosyası neye benzer?

Bir WordPress web sitesi için basit bir robots.txt dosyasının nasıl görünebileceğine bir örnek.

robots.txt örneği

Yukarıdaki örneğe göre bir robots.txt dosyasının anatomisini açıklayalım:

  • User-agent: kullanıcı aracısı olarak çevirebileceğimiz user-agent, aşağıdaki yönergelerin hangi arama motorları için kullanıldığını belirtir.
  • *: Bu, direktiflerin tüm arama motorları için olduğunu gösterir.
  • Disallow: Bu, kullanıcı aracısının hangi içeriğe erişemeyeceğini gösteren bir yönergedir.
  • /wp-admin/: bu, kullanıcı aracısı için erişilemeyen yoldur.

Özetle: bu robots.txt dosyası, tüm arama motorlarına /wp-admin/ dizininden uzak durmalarını söyler.

Robots.txt dosyalarının farklı bileşenlerini daha ayrıntılı olarak inceleyelim.

  • User-agent
  • Disallow
  • Allow
  • Sitemap
  • Crawl-delay

User-agent

Her arama motoru, kendisini bir user-agent ile tanımlamalıdır. Örneğin, Google'ın robotları Googlebot olarak, Yahoo’nun robotlarını Slurp ve Bing’in robotunu BingBot olarak tanımlar. Kullanıcı aracısı kaydı, bir grup direktifin başlangıcını tanımlar.

İlk user-agent ile sonraki user-agent kaydı arasındaki tüm yönergeler, ilk user-agent için yönergeler olarak değerlendirilir. Yönergeler belirli user-agent'lar için geçerli olabilir, ancak tüm user-agent'lar için de geçerli olabilir. Bu durumda, bir joker karakter kullanılır: User-agent: *

Disallow

Arama motorlarına web sitenizin belirli dosyalarına, sayfalarına veya bölümlerine erişmemelerini söyleyebilirsiniz. Bu, Disallow yönergesi kullanılarak yapılır. Disallow yönergesini erişilmemesi gereken yol izler. Hiçbir yol tanımlanmazsa, yönerge dikkate alınmaz.

robots.txt - disallow kuralı

Bu örnekte, tüm arama motorlarına /wp-admin/ dizinine erişmemeleri söylenmiştir.

Allow

Allow yönergesi bir Disallow yönergesini etkisiz hale getirmek için kullanılır. Allow direktifi Google ve Bing tarafından desteklenmektedir. Allow ve disallow yönergelerini birlikte kullanarak arama motorlarına, izin verilmeyen bir dizindeki belirli bir dosya veya sayfaya erişebileceklerini söyleyebilirsiniz. Allow direktifini erişilebilen yol izler. Hiçbir yol tanımlanmazsa, yönerge dikkate alınmaz.

robots.txt allow kurali

Yukarıdaki örnekte, /media/terms-and-conditions.pdf dosyası dışında tüm arama motorlarının / media / dizinine erişmesine izin verilmez.

Önemli: Allow ve Disallow yönergelerini birlikte kullanırken, çakışan yönergelere yol açabileceğinden joker karakterler kullanmadığınızdan emin olun.

Çakışan direktif örnekleri

cakisan direktif ornegi

Arama motorları http://www.domain.com/directory.html URL'si ile ne yapacaklarını bilemeyeceklerdir. Erişim izni olup olmadıkları onlar için belirsizdir. Yönergeler Google için açık olmadığında, en az kısıtlayıcı yönergeyi kullanırlar; bu, bu durumda aslında http://www.domain.com/directory.html adresine erişecekleri anlamına gelir.

Her yönerge için ayrı bir satır kullanımı

Her yönerge ayrı bir satırda olmalıdır, aksi takdirde arama motorları robots.txt dosyasını ayrıştırırken zorlanabilir.

Yanlış robots.txt dosyası örneği

yanlış robots.txt direktifi

Wildcard (*) kullanımı

Joker karakter yalnızca user-agent tanımlamak için kullanılmaz, aynı zamanda URL'leri eşleştirmek için de kullanılabilir. Joker karakter Google, Bing, Yahoo ve Ask tarafından desteklenmektedir.

Örnek:

wildcard kullanımı

Yukarıdaki örnekte, tüm arama motorlarının soru işareti (?) içeren URL'lere erişmesine izin verilmez.

URL sonunda $ kullanımı

Bir URL'nin sonunu belirtmek için yolun sonundaki dolar işaretini ($) kullanabilirsiniz.

Örnek:

URL sonunda $ kullanımı

Yukarıdaki örnekte, arama motorlarının .php ile biten tüm URL'lere erişmesine izin verilmez. Parametreli URL'ler, örnekte olduğu .php'den sonra bitmediği için (https://example.com/page.php?lang=en) izin verilecektir.

Robots.txt Dosyasına Sitemap Ekleme

Robots.txt dosyası, arama motorlarına hangi sayfaların taranmaması gerektiğini söylemek için icat edilmiş olsa da, robots.txt dosyası, arama motorlarını XML site haritasına yönlendirmek için de kullanılabilir. Bu, Google, Bing, Yahoo ve Ask tarafından desteklenmektedir.

XML site haritasına mutlak bir URL olarak eklenmelidir. URL'nin robots.txt dosyasıyla aynı hostta olması gerekmez.

XML site haritanızı Google Search Console veya Bing Web Yöneticisi Araçları'na önceden göndermiş olsanız bile robots.txt dosyasında XML site haritasını referans göstermek, her zaman yapmanızı tavsiye ettiğim en iyi uygulamalardan biridir. Unutmayın, oraya sadece Googlebot gelmiyor diğer arama motorları botları da geliyor.

Bir robots.txt dosyasında birden çok XML site haritasını referans göstermenin mümkün olduğunu lütfen unutmayın.

Örnekler:

Bir robots.txt dosyasında tanımlanmış birden çok XML site haritası.

yildirimsertbascom txt dosyasi

Yukarıdaki örnekte hem tüm site haritasını sitemap.xml formatında hem de sitemap_index.xml olarak eklenmiştir. Sitemap içinde ayrı ayrı tutulan post, kategori ve sayfaların bulunduğu sitemap'leri ayrı ayrı olarak da robots.txt dosyasında referans gösterebilirsiniz.

2 tane sitemap eklenmis robots

Yukarıdaki örnek, tüm arama motorlarına / wp-admin / dizinine erişmemelerini ve https://www.example.com/sitemap1.xml ve https: //www.example adreslerinde bulunabilen iki XML site haritası olduğunu söyler. .com / sitemap2.xml.

Bir robots.txt dosyasında tanımlanan tek bir XML site haritası:

tek bir robots txt dosyasının eklenmesi

Yukarıdaki örnek, tüm arama motorlarına / wp-admin / dizinine erişmemelerini ve XML site haritasının https://www.example.com/sitemap_index.xml adresinde bulunabileceğini söyler.

Site haritamı robots.txt dosyasına nasıl eklerim?

Robots.txt dosyanızda her zaman XML site haritalarınıza yer vermek iyi bir uygulamadır.

Robots.txt dosyanızda XML site haritası ekleme kuralları:

  • Mutlak URL'yi XML site haritanıza referans verin.
  • Birden çok XML site haritasına yer verebilirsiniz.
  • Normal XML site haritalarını ve XML site şablonu dizinlerini yeniden düzenleyebilirsiniz.
  • Başka bir alan alanındaki XML site haritalarına ekleyebilirsiniz, yani alan adınız example.com ise ve XML site haritanız example2.com’daysa, o alan adını ekleyebilirsiniz.

Buna ek olarak, XML site haritalarınızı her zaman Google Arama Konsolu ve Bing Web Yöneticisi Araçları aracılığıyla da göndermeniz iyi olacaktır.

XML site haritası doğru şekilde eklenmesi:

Bu örnekte, XML site haritalarına doğru şekilde referans verilmiştir:

site haritasının doğru şekilde eklenmesi

XML site haritasının yanlış eklenmesi:

Bu örnekte, XML site haritasına göreli bir URL kullanılarak - yanlış olarak - başvurulmaktadır:

site haritasının yanlış eklenmesi

XML site haritasının doğru şekilde referans gösterilmesi fakat engellenmiş olması:

Bu örnekte, XML site haritasına doğru bir şekilde referans verilmiştir, ancak arama motorları Disallow: / yönergesi nedeniyle ona erişemeyecektir:

site haritasının doğru eklenmesi fakat engellenmesi

Sitemap Yorumları

Yorumlardan önce bir # bulunur ve bir satırın başına veya aynı satırdaki bir yönergenin arkasına yerleştirilebilir. # işaretinden sonraki her şey yok sayılacaktır. Bu yorumlar yalnızca insanlar içindir. Bu temel ilke aslında tüm kodlama kurallarındaki gibidir.

Örnek 1:

sitemap yorum örnek-1

Örnek 2:

sitemap yorum örnek-2

Robots.txt Dosyasında Tarama Gecikmesi

Crawl-delay yönergesi, sunucuların çok fazla istekle aşırı yüklenmesini önlemek için kullanılan resmi olmayan bir yönergedir. Arama motorları bir sunucuya aşırı yükleniyorsa, robots.txt dosyanıza tarama gecikmesi eklemek yalnızca geçici bir düzeltmedir. Gerçek şu ki, web siteniz zayıf bir barındırma ortamında çalışıyor ve / veya web siteniz yanlış yapılandırılmış ise bunu mutlaka en kısa sürede çözmelisiniz.

Robots.txt Dosyasında Tarama Gecikmesi

Arama motorlarının tarama gecikmesini ele alma şekli farklıdır. Aşağıda büyük arama motorlarının bunu nasıl ele aldığını açıkladım.

Google'da Tarama Gecikmesi

Google'ın tarayıcısı Googlebot, tarama erteleme yönergesini desteklemez, bu nedenle bir Google tarama gecikmesi tanımlamakla uğraşmayın.

Ancak Google, Google Search Console'da bir tarama oranı tanımlamayı desteklemektedir.

GSC'de tarama oranını ayarlama

  • Eski Google Search Console'a giriş yapın (yeni bir sekmede açılır).
  • Tarama oranını tanımlamak istediğiniz web sitesini seçin.
  • İnce ayar yapabileceğiniz tek bir ayar vardır. Tercih edilen tarama oranını ayarlayabileceğiniz bir kaydırıcı ile tarama hızını ayarlayabilirsiniz. Varsayılan olarak, tarama hızı "Google'ın sitem için optimize etmesine izin ver (önerilen)" olarak ayarlanmıştır.
tarama hızını ayarlama

Google'da zaten sunucunuzun yavaşlamadığı sürece burayla oynamınızı pek tavsiye etmiyor.

Bing, Yahoo ve Yandex'de Tarama Gecikmesi

Bing, Yahoo ve Yandex, bir web sitesinin taranmasını kısmak için Crawl-delay direktifini destekler. Tarama gecikmesine ilişkin yorumları biraz farklıdır, bu nedenle ilgili yönergeleri kontrol ettiğinizden emin olun.

Tarama geciktirme yönergesi, izin verme(allow) veya izin vermeme(disallow) yönergelerinin hemen sonrasına yerleştirilmelidir.

bing tarama geciktirme direktifi

Baidu Tarama Gecikmesi

Baidu, tarama erteleme yönergesini desteklemez, ancak Google Search Console'a benzer şekilde, tarama sıklığını kontrol edebileceğiniz bir Baidu Web Yöneticisi Araçları hesabına kaydolmak mümkündür.

Robots.txt Dosyası Ne Zaman Kullanılır?

Her zaman bir robots.txt dosyası kullanmanızı öneririm. Birine sahip olmanın kesinlikle hiçbir zararı yoktur ve web sitenizi en iyi nasıl tarayabileceklerine dair arama motorları yönergelerini vermek için harika bir yerdir.

Robots.txt Pratikleri

Konum ve Dosya Adı

Robots.txt dosyası her zaman bir web sitesinin kök dizinine yerleştirilmeli ve robots.txt dosya adını taşımalıdır, örneğin: https://www.example.com/robots.txt . Robots.txt dosyasının URL'sinin, diğer tüm URL'ler gibi büyük / küçük harfe duyarlı olduğunu unutmayın.

Robots.txt dosyası varsayılan konumda bulunamazsa, arama motorları hiçbir yönerge olmadığını varsayar ve web sitenizde gezinir.

Öncelik Sırası

Arama motorlarının robots.txt dosyalarını farklı şekilde işlediğini unutmamak önemlidir. Varsayılan olarak, ilk eşleşen yönerge her zaman kazanır.

Ancak, Google ve Bing ile bu özgüllük kazanır. Örneğin: Bir Allow yönergesi, karakter uzunluğu daha uzunsa Disallow yönergesini ezer.

Örnek:

robots.txt ornek-1

Yukarıdaki örnekte, Google ve Bing dahil tüm arama motorlarının / about / company / alt dizini dışında / about / dizinine erişmesine izin verilmez.

Örnek:

robots.txt ornek-2

Yukarıdaki örnekte, Google ve Bing dışındaki tüm arama motorlarının / about / dizinine erişimine izin verilmemiştir. Buna / about / company / dizini dahildir.

Allow yönergesi, disallow yönergesinden daha uzun olduğu için Google ve Bing'e erişim izin verilir.

Robot Başına Yalnızca Bir Yönerge Grubu

Her arama motoru için yalnızca bir yönerge grubu tanımlayabilirsiniz. Bir arama motoru için birden fazla yönerge grubuna sahip olmak botları şaşırtabilir.

Mümkün Olduğunca Spesifik Olun

Disallow yönergesi kısmi eşleşmelerde de tetiklenir. Dosyalara erişimi yanlışlıkla engellemeyi önlemek için Disallow yönergesini tanımlarken olabildiğince spesifik olun.

Örnek:

robots.txt ornek 3

Yukarıdaki örnek, arama motorlarının aşağıdakilere erişmesine izin vermez:

  • /dizin
  • /dizin/
  • /dizin-isim-1
  • /dizin-isim.html
  • /dizin-isim.php
  • /dizin-isim.pdf

Hem Spesifik Hem De Genel Yönerge İçeren Robots.txt

Bir robot için yalnızca bir yönerge grubu geçerlidir. Tüm robotlara yönelik yönergelerin belirli bir robota yönelik yönergelerle takip edilmesi durumunda, yalnızca bu belirli yönergeler dikkate alınacaktır. Spesifik robotun tüm robotlara yönelik direktifleri de takip etmesi için, belirli robot için bu direktifleri tekrarlamanız gerekir.

Bunu netleştirecek bir örneğe bakalım:

robots.txt ornek-4

Yukarıdaki örnekte, Google dışındaki tüm arama motorlarının / secret /, / test / ve / not-launch-yet / erişimine izin verilmez. Google'ın yalnızca / not-launched-yet / öğelerine erişmesine izin verilmez, ancak / secret / ve / test / öğelerine erişim izni verilir.

Googlebot’un / secret / ve / not-launch-yet/ öğelerine erişmesini istemiyorsanız, bu yönergeleri özellikle googlebot için tekrarlamanız gerekir:

robots.txt ornek-5

Lütfen robots.txt dosyanızın herkese açık olduğunu unutmayın. Buradaki web sitesi bölümlerine izin vermemek, kötü niyetli kişiler tarafından saldırı yolu olarak kullanılabilir.

Her Subdomain İçin Ayrı Robots.txt Dosyası

Robots.txt yönergeleri yalnızca dosyanın barındırıldığı domain ya da subdomain için geçerlidir.

Örnek:

http://example.com/robots.txt, http://example.com için geçerlidir, ancak http://www.example.com veya https://example.com için geçerli değildir.

Alt alanınızda yalnızca bir robots.txt dosyasının bulunması en iyi uygulamadır.

Birden fazla robots.txt dosyanız varsa, bunların bir 404 HTTP durumu döndürdüğünden emin olun veya bunları canonical robots.txt dosyasına 301 ile yönlendirin.

Çakışan Yönergeler

Robots.txt dosyanızın Google Search Console'da tanımlanan ayarlarla çakışması durumunda, Google genellikle Google Search Console'da tanımlanan ayarları robots.txt dosyasında tanımlanan yönergeler yerine kullanmayı seçer.

Robots.txt Dosyasını Görüntüleme

Robots.txt dosyanızı değişiklikler için izlemeniz önemlidir. Birçok projede yanlış yönergelerin ve robots.txt dosyasındaki ani değişikliklerin büyük SEO sorunlarına neden olduğu birçok sorun görüyoruz.

Bu, özellikle yeni özellikler eklenen veya bir test ortamında hazırlanmış yeni bir web sitesi başlatılırken geçerlidir, çünkü bunlar genellikle aşağıdaki robots.txt dosyasını içerir:

robots.txt ornek-6

Robots.txt Dosyanızda Noindex Kullanmayın

Google yıllar boyunca resmi olmayan robots.txt'deki noindex direktifinin kullanılmasını açıkça önermiyordu. Nihayet 1 Eylül 2019 tarihinde bu direktifi tamamiyle kaldırdı.

Bu bağlamda indexe alınmasını istemediğiniz web sayfalarını indexe kapamak için meta etiketlerinin kullanılması daha doğru bir yöntem olacaktır.

Robots.txt Dosyasında UTF-8 BOM'u Önleyin

BOM, bir metin dosyasının Unicode kodlamasını belirtmek için kullanılan bir dosyanın başlangıcındaki görünmez bir karakter olan bayt sırası işaretinin kısaltmasıdır.

Google, robots.txt dosyasının başındaki isteğe bağlı Unicode bayt sırası işaretini yok saydığını belirtirken, robots.txt dosyasının arama motorları tarafından yorumlanmasında sorunlara neden olduğunu gördüğümüz için "UTF-8 BOM" un önlenmesini öneririm.

Google bununla başa çıkabileceğini söylese de, UTF-8 BOM'u önlemek için iki neden var:

  • Arama motorlarına tarama ile ilgili tercihleriniz konusunda herhangi bir belirsizlik olmasını istemezsiniz.
  • Google gibi diğer arama motorlarının da bunu gözardı edeyeceğini bilemiyoruz.

Robots.txt Örnekleri

Bu bölümde çok çeşitli robots.txt dosyası örneklerini ele alacağım.

Tüm robotların her şeye erişmesine izin verme

Arama motorlarına tüm dosyalara erişebileceklerini söylemenin birden çok yolu vardır. Bunlardan en çok kullanılanı aşağıdaki gibidir.

User-agent: *
Disallow:

Robots.txt dosyasının boş bırakılması ya da hiç olmaması da aynı etkiyi yaratacaktır.

Tüm robotları her şey için engelleme

Aşağıdaki örnek robots.txt, tüm arama motorlarına sitenin tamamına erişmemesini söyler.

User-agent: *
Disallow: /

Fazladan eklenen bir karakterin (/) nelere mal olduğunu görmeniz açısından güzel bir örnektir.

Tüm Google botlarını engelleme

User-agent: googlebot
Disallow: /

Lütfen Googlebot'a izin vermeyince bunun tüm Googlebot'lar için geçerli olduğunu unutmayın. Buna, örneğin haberler (googlebot-news) ve resimler (googlebot-images) arayan Google robotları da dahildir.

Tüm Google botlarını Google-News Harici Engelleme

User-agent: googlebot
Disallow: /

User-agent: googlebot-news
Disallow:

Googlebot ve Slurp'u engelleme

User-agent: Slurp
User-agent: googlebot
Disallow: /

Tüm robotlar bu iki dizine giremez

User-agent: *
Disallow: /admin/
Disallow: /gizli/

WordPress için Robots.txt dosyası

Örnek olarak oluşturduğum robots.txt dosyası, aşağıdaki varsayımlarla özellikle WordPress için optimize edilmiştir:

  • Yönetici bölümünüzün taranmasını istemezsiniz.
  • Dahili arama sonucu sayfalarınızın taranmasını istemezsiniz.
  • Etiketlerinizin ve yazar sayfalarınızın taranmasını istemezsiniz.
  • 404 sayfalarınızın taranmasını istemezsiniz.

User-agent: *
Disallow: /wp-admin/ #admin panelini taraması engellenir
Disallow: /wp-login.php #login sayfanızın taraması engellenir
Disallow: /search/ #site içi arama sonuç sayfalarının taraması engellenir
Disallow: ?s= #site içi arama sonuç sayfalarının taraması engellenir
Disallow: ?p= #kalıcı bağlantı hatası veren sayfaların taranması engellenir
Disallow: &p= #kalıcı bağlantı hatası veren sayfaların taranması engellenir
Disallow: &preview= #önizleme sayfalarının taranması engellenir
Disallow: /tag/ #etiket sayfalarının taranması engellenir
Disallow: /author/ #yazar sayfalarının taranması engellenir
Disallow: /404-error/ #404 döndüren sayfaların taranması engellenir

Sitemap: https://www.example.com/sitemap_index.xml

Lütfen bu robots.txt dosyasının çoğu durumda çalışacağını, ancak her zaman ayarlamanız ve sizin durumunuza tam olarak uyduğundan emin olmak için test etmeniz gerektiğini unutmayın.

Magento İçin Robots.txt Dosyası

Aşağıdaki robots.txt dosyası özellikle Magento için optimize edilmiştir ve dahili arama sonuçlarını, giriş sayfalarını, oturum tanımlayıcılarını(kullanıcılar oluşturur parametreler vb) ve fiyat, renk, malzeme ve boyut ölçütlerini içeren filtrelenmiş sonuç kümelerini tarayıcılar için erişilemez hale getirecektir.

magento için robots.txt dosyası

Lütfen bu robots.txt dosyasının çoğu Magento mağazasında çalışacağını, ancak her zaman ayarlamanız ve sizin durumunuza tam olarak uyduğundan emin olmak için test etmeniz gerektiğini unutmayın.

Robots.txt Hakkında Sık Sorulan Sorular

Bir robots.txt örneği neye benzer?

Robots.txt içeriğine bir örnek: User-agent: * Disallow: Bu, tüm tarayıcılara her şeye erişebileceklerini söyler.

Robots.txt'de tümünü Disallow et komutu ne işe yarar?

Bir robots.txt dosyasını "Disallow: /" olarak ayarladığınızda, aslında tüm tarayıcılara uzak durmalarını söylüyorsunuz. Google dahil hiçbir tarayıcının sitenize erişmesine izin verilmez. Bu, sitenizi tarayamayacakları, dizine ekleyemeyecekleri ve sıralayamayacakları anlamına gelir. Bu, organik trafikte büyük bir düşüşe yol açacaktır.

Robots.txt'de tümünü Allow et komutu ne işe yarar?

Bir robots.txt dosyasını "Allow: /" olarak ayarladığınızda, her tarayıcıya sitedeki her URL'ye erişebileceklerini söylersiniz. Hiçbir kural yoktur. Lütfen bunun boş bir robots.txt veya sitenizde bir robots.txt dosyası olmamasına eşdeğer olduğunu unutmayın.

SEO için robots.txt ne kadar önemlidir?

Genel olarak robots.txt dosyası SEO çalışmalarınız için çok önemlidir. Daha büyük web siteleri için robots.txt, arama motorlarına hangi içeriğe erişilmemesi gerektiği konusunda çok net talimatlar vermek için gereklidir.

Robots.txt Hakkında Sık Sorulan Sorular (Diğer İçerikler)

Organik trafiğini 2 ayda %130'lara kadar arttırmanı sağlayacak SEO içeriklerine ulaşabilir, mail abonelerime sunduğum özel içeriklerinden faydalanabilirsin.
envelopephone linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram
Copy link
Powered by Social Snap