Robots.Txt Dosyasını Nasıl Bulurum?

2 Nisan 2021
Yıldırım SERTBAŞ

Bu içerikte robots.txt dosyasını nasıl bulurum sorusuna cevap vermeye çalıştım. Hem front-end hem de back-end tarafında bu dosyaya nasıl erişebilirsiniz bakalım.

Front-end tarafında robots.txt dosyanızı bulma

Tarayıcılar her zaman robots.txt dosyanızı web sitenizin kök dizininde arar, örneğin: https://www.yildirimsertbas.com/robots.txt. Alan alanınıza gidin ve sadece "/robots.txt" ekleyin.

Hiçbir şey çıkmazsa, henüz bir robots.txt dosyanız yoktur. Endişelenmeyin, burada robots.txt dosyasının nasıl oluşturulacağını açıklıyorum.

Robots.txt dosyanızı güncellemek istemeniz durumunda okumaya devam edin.

Back-end tarafında robots.txt dosyanızı bulma

Bir içerik yönetim sistemi (CMS) kullanıyorsanız, robots.txt dosyanızı orada yönetebilirsiniz.

WordPress'teki robots.txt dosyanız

Yoast SEO, Rank Math ve All in One SEO'nun en popüler eklentilerini kapsayan bu makalede, robots.txt dosyanızı WordPress'te nerede bulacağınızı açıkladık.

Profesyonel ipucu:

Henüz yayına girmemiş bir WordPress web sitesinde çalışıyorsanız ve aşağıdaki içerikleri robots.txt dosyanızda buluyorsanız:

User-agent: *
Disallow: /

ardından Worspress Ayarlar> Okuma altındaki ayarlarınızı kontrol edin ve arama motoru görünürlüğü ayarını arayın.

Arama motorlarının bu siteyi dizine eklemesini engelle kutusu işaretlenirse, WordPress, arama motorlarının siteye erişmesini engelleyen sanal bir robots.txt oluşturur.

Magento 2

Magento 2'de robots.txt dosyanız burada bulunur:

  • İçerik> Yapılandırma (Tasarım Altında).
  • Burada, varsayılan mağaza görünümü yerine ana web sitesi ayarlarını düzenleyin, çünkü ikincisi robots.txt dosyasını değiştirmenize izin vermez.
magento-2-robots.txt-duzenleme

Sonraki ekranda aşağı kaydırarak arama motoru robotları'na gidin. Orada robots.txt içeriğinizi tanımlayabilirsiniz:

magento-2-robots.txt-duzenleme-2

Robots.txt dosyası nedir ve nasıl düzenlenir ile ilgili tüm detayları öğrenmek istersen Robots.txt makalemi de okumanızı mutlaka öneririm. Linki aşağıya bıraktım.

SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Organik trafiğini 2 ayda %130'lara kadar arttırmanı sağlayacak SEO içeriklerine ulaşabilir, mail abonelerime sunduğum özel içeriklerinden faydalanabilirsin.
envelopephone linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram