Aşağıdaki tüm büyük arama motorlarının robots.txt dosyasına desteklediğini biliyoruz.

Yine de, her arama motorunun robots.txt dosyalarını biraz farklı yorumladığını unutmayın!

Robots.txt dosyası hakkında herşeyi öğrenmek istiyorsanız Akademi içeriğimi mutlaka okumalısınız. Linki hemen aşağıya bıraktım.

SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Bu içerikte robots.txt dosyasını nasıl bulurum sorusuna cevap vermeye çalıştım. Hem front-end hem de back-end tarafında bu dosyaya nasıl erişebilirsiniz bakalım.

Front-end tarafında robots.txt dosyanızı bulma

Tarayıcılar her zaman robots.txt dosyanızı web sitenizin kök dizininde arar, örneğin: https://www.yildirimsertbas.com/robots.txt. Alan alanınıza gidin ve sadece "/robots.txt" ekleyin.

Hiçbir şey çıkmazsa, henüz bir robots.txt dosyanız yoktur. Endişelenmeyin, burada robots.txt dosyasının nasıl oluşturulacağını açıklıyorum.

Robots.txt dosyanızı güncellemek istemeniz durumunda okumaya devam edin.

Back-end tarafında robots.txt dosyanızı bulma

Bir içerik yönetim sistemi (CMS) kullanıyorsanız, robots.txt dosyanızı orada yönetebilirsiniz.

WordPress'teki robots.txt dosyanız

Yoast SEO, Rank Math ve All in One SEO'nun en popüler eklentilerini kapsayan bu makalede, robots.txt dosyanızı WordPress'te nerede bulacağınızı açıkladık.

Profesyonel ipucu:

Henüz yayına girmemiş bir WordPress web sitesinde çalışıyorsanız ve aşağıdaki içerikleri robots.txt dosyanızda buluyorsanız:

User-agent: *
Disallow: /

ardından Worspress Ayarlar> Okuma altındaki ayarlarınızı kontrol edin ve arama motoru görünürlüğü ayarını arayın.

Arama motorlarının bu siteyi dizine eklemesini engelle kutusu işaretlenirse, WordPress, arama motorlarının siteye erişmesini engelleyen sanal bir robots.txt oluşturur.

Magento 2

Magento 2'de robots.txt dosyanız burada bulunur:

magento-2-robots.txt-duzenleme

Sonraki ekranda aşağı kaydırarak arama motoru robotları'na gidin. Orada robots.txt içeriğinizi tanımlayabilirsiniz:

magento-2-robots.txt-duzenleme-2

Robots.txt dosyası nedir ve nasıl düzenlenir ile ilgili tüm detayları öğrenmek istersen Robots.txt makalemi de okumanızı mutlaka öneririm. Linki aşağıya bıraktım.

SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Robots.txt dosyası oluşturma farklı yollaran yapılabilir. Aşağıdaki şekillerde oluşturabilirsiniz.

İçerik yönetim sisteminizle bir robots.txt oluşturma

Çoğu zaman, modern içerik yönetim sistemleri (CMS'ler WordPress, Joomla vb.), robots.txt dosyanızı CMS içinden oluşturma ve koruma işlevine sahiptir. Varsayılan olarak CMS ile birlikte gelmezse, genellikle bu konuda yardımcı olacak eklentiler bulabilirsiniz.

WordPress + Yoast SEO

Örneğin, WordPress'teki Yoast SEO eklentisi robots.txt dosyasını oluşturmayı ve korumayı destekler.

WordPress + Rank Math

WordPress + All in One SEO

Magento 2

Magento 2'de robots.txt dosyanız burada bulunur.

magento 2 robots.txt düzenleme

Sonraki ekranda aşağı kaydırarak arama motoru robotlarına gidin. Orada robots.txt içeriğinizi tanımlayabilirsiniz:

magento 2 robots.txt düzenleme 2

Bilgisayarda Robots.Txt Oluşturup Ekleme

Bir CMS kullanmıyorsanız veya CMS bir robots.txt oluşturmayı desteklemiyorsa, her zaman bir robots.txt dosyasını kendiniz oluşturabilir ve web sunucunuza manuel olarak yükleyebilirsiniz.

Robots.txt dosyası oluşturma ve düzenleme ilgili herşeyi öğrenmek istiyorsanız aşağıdaki bağlantıdaki içeriğime de mutlaka bakmalısın.

SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber

Organik trafiğini 2 ayda %130'lara kadar arttırmanı sağlayacak SEO içeriklerine ulaşabilir, mail abonelerime sunduğum özel içeriklerinden faydalanabilirsin.
envelopephone linkedin facebook pinterest youtube rss twitter instagram facebook-blank rss-blank linkedin-blank pinterest youtube twitter instagram