Robots.Txt Dosyası Nasıl Olmalı?

Pek çok kişi örnek robots.txt dosyalarını arar ve robots.txt dosyası nasıl olmalı sorusunu sorar. Haklı olarak bu soru sorulur, çünkü robots.txt'yi karıştırmak kolaydır.

Bu makalede, basit ve biraz daha gelişmiş bir robots.txt dosyasını ele alacağız.

Basit bir robots.txt dosyası

Aşağıda, basit bir robots.txt dosyası örneği verilmiştir. Bu dosyada;

  • Tüm tarayıcıların erişimine izin verir.
  • XML site haritasını listeler.
basit robotstxt doyasi Robots.Txt Dosyasi Nasil Olmali

Biraz daha gelişmiş bir robots.txt dosyası

Aşağıda, biraz daha gelişmiş bir robots.txt dosyası örneği verilmiştir.

  • Googlebot’un / shoes / dizinine erişmesini engeller.
  • Bingbot'un / socks / dizinine erişmesini engeller.
  • XML site haritasını listeler.
gelismis robots.txt dosyasi

Robots.txt hakkında herşeyi öğrenmek istersen aşağıdaki linkten ilgili yazıma mutlaka göz atmanı öneririm.

SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Organik trafiğini 2 ayda %130'lara kadar arttırmanı sağlayacak SEO içeriklerine ulaşabilir, mail abonelerime sunduğum özel içeriklerinden faydalanabilirsin.
envelopephone linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram
Copy link
Powered by Social Snap