Aşağıdaki tüm büyük arama motorlarının robots.txt dosyasına desteklediğini biliyoruz.
- Google (Google yönergeleri)
- Bing and Yahoo (Bing ve Yahoo yönergeleri)
- Yandex (Yandex yönergeleri)
- Baidu (Baidu yönergeleri)
- DuckDuckGo (DuckDuckGo yönergeleri)
Yine de, her arama motorunun robots.txt dosyalarını biraz farklı yorumladığını unutmayın!
Robots.txt dosyası hakkında herşeyi öğrenmek istiyorsanız Akademi içeriğimi mutlaka okumalısınız. Linki hemen aşağıya bıraktım.
SEO İçin Robots.txt Dosyası Nasıl Düzenlenir: Kapsamlı Rehber