Last Updated on 14 Ocak 2022 by Yıldırım SERTBAŞ
Sizlere bu yazımda onlarca profesyonel ipucu ile tarama bütçesi ve tarama bütçesi optimizasyonu için kapsamlı bir rehber hazırladım.
Google tarama bütçesi, Google’ın bir web sitesini taramak için kullandığı kaynakların sayısıdır. Başka bir deyişle, Google’ın bir web sitesinde sayfaları aramaya karar verme sıklığını ve sayısını tanımlar.
Eğer bir süredir SEO ile haşır neşir olduysanız, muhtemelen bu iki terimi duymuşsunuzdur: tarama bütçesi ve tarama bütçe optimizasyonu.
Tabi burada kendimize şu soruları sorabiliriz. Tarama bütçesi ve optimizasyonu teknik SEO’nun önemli bir alanı mıdır? Tarama bütçesi optimizasyonu, fazlaca kafa yormamız gereken bir şey midir?
Bu kapsamlı rehberde, tarama bütçesinin ne olduğunu, tarama bütçesini hangi faktörlerin etkilediğini, tarama bütçesinin SEO için neden önemli olduğunu, daha iyi SEO sonuçları için tarama bütçesinin nasıl optimize edileceğini ve daha fazlasını öğreneceksiniz!
Google Tarama Bütçesi nedir?
Tarama bütçesinin gerçekten birçok farklı tanımı var ve sadece birini seçmek zor. Ek olarak, tarama bütçesiyle yan yana anılan birkaç terim daha vardır.
İşte en önemlileri:
- Google tarama bütçesi , Googlebot’un tarayabildiği ve taramak istediği URL’lerin sayısıdır.
- Google’ın bir sitenin web sayfalarını ne kadar taramak istediği ile ilgili olan tarama talebi , tarama bütçesinin önemli bir parçasıdır. Burada, tarama bütçesiyle ilgili Google Arama Merkezi dokümantasyonundan tarama talebinin kullanışlı bir tanımı verilmiştir.
Kaynak: Tarama talebi Google tanımı
- Google’ın sunucuyu aşırı yüklememek için siteyi ne kadar taradığını sınırlaması gereken tarama hızı sınırı da tarama bütçesinin önemli bir bileşenidir. Tarama hızı sınırı, Google Arama Merkezi belgelerinde de listelenen aşağıdaki üç faktöre bağlıdır.
- Tarama bütçesi , daha küçük sitelerin (birkaç bin URL’nin altında) genellikle endişelenmesi gerekmeyen bir şeydir. (bunun hakkında daha sonra bilgi verilecektir).
Tarama Bütçesini Neden Önemsemelisiniz?
Sitenizin tarama bütçesini önemsemek istemenizin nedenleri şunlardır:
- Arama motorlarının mümkün olduğu kadar dizine eklenebilir sayfalarınızı bulmasını, anlamasını ve bunu mümkün olan en hızlı şekilde yapmalarını istiyorsunuz.
- Arama motorlarının eklediğiniz yeni sayfaları ve güncellediğiniz mevcut sayfaları almasını ve bunun mümkün olan en kısa sürede yapılmasını istiyorsunuz. Sayfaları daha erken indekslenirse, onlardan daha çabuk faydalanırsınız.
- Tarama bütçenizi boşa harcarsanız, arama motorları web sitenizi verimli bir şekilde tarayamaz. Sitenizin alakasız alanlarında zaman harcayacaklar, bu da web sitenizin önemli bölümlerinin keşfedilmemiş kalmasına yol açabilecek bir şeydir. Bu sayfaları bilmiyorlarsa taramazlar ve dizine eklemezler ve siz de arama motorları aracılığıyla bu sayfalara ziyaretçi getirecek konumda olmazsınız.
- Tarama bütçesini boşa harcamak, sitenin SEO performansı için oldukça zararlıdır.
Tarama Bütçesini Ne Zaman önemsemelisiniz?
İşte tam da bu noktada sitenizin tarama bütçesi konusunda gerçekten endişelenmeniz gerekir:
- Genel olarak konuşursak, tarama bütçesi, yalnızca büyük bir web siteniz varsa, örneğin 10.000’den fazla sayfanız varsa endişelenmeniz gereken bir şeydir. İşte Google dokümantasyonunda konuyla ilgili bölüm.
- Günlük değişiklik yapan veya taranması gerekmeyen çok sayıda alt sayfası olan web siteleri için tarama bütçesi hızla daralmaktadır.
- Bu, o kategoriye uyan binlerce ürün, sayısız ürün kategorisi, istek listesi, öneri listesi, filtre seçeneği, arama işlevi vb. içeren çevrimiçi mağazalar üzerinde özel bir etkiye sahiptir.
- Dizine ekleme süresiyle ilgili olarak, olası bir çözüm bulmak için yeni sayfaların veya güncellenmiş içeriğin dizine eklenmesinin uzun sürdüğünü fark ederseniz, tarama bütçenize bakmanız mantıklıdır.
Tarama Bütçesini Etkileyen Ana Faktörler Nelerdir?
Tarama bütçesini etkileyen birkaç faktör vardır. Çoğunun tarama bütçesi üzerinde olumsuz bir etkisi bulunur.
Tarama bütçesiyle ilgili olarak dikkate alınması ve dikkat edilmesi gereken faktörler şunlardır:
- Bir Googlebot web sitenizi taradığında, tüm sayfaların katma değer sunması önemlidir. Bir web sitesi çok fazla düşük kaliteli web sayfası içerdiğinde genellikle bir sorun ortaya çıkar.
- Tarama sınırı nedeniyle , web sitesinin tüm sayfaları taranmayabilir ve bu nedenle dizine eklenmeyebilir. Bu daha sonra daha az trafik elde etmek anlamına gelebilir. Google dokümanlarında tarama sınırının tanımı bu şekilde verilir.
Türkçe olarak şöyle açıklayabiliriz: Google çok fazla sayıda makineye sahiptir ama sonsuz değil. Bu sebepten ötürü sahip oldukları kaynak için seçim yapma ihtiyaçları bulunur.
- Bu bağlamda, Googlebot’un tarama işlemi sırasında web sitenize saniyede yaptığı istek sayısını tanımlayan tarama sıklığı olan tarama hızını da düşünmelisiniz, örneğin saniyede beş istek.
Tarama hızı basitçe:- Googlebot tarafından bir web sitesini taramak için kullanılan bağlantı sayısı.
- Bir web sayfasına yapılan ziyaretler arasında geçen süre.
- Bir web sitesi çok hızlı tepki verirse, tarayıcı sunucuların düzgün çalıştığını varsayar. Ancak, bir web sitesi yavaş tepki verdiğinde bir sorun oluşabilir. Sonuç olarak, bu, o web sitesinin tarama hızını azaltacaktır.
- Tarama sağlığı, bir web sitesinin ne kadar hızlı veya yavaş tepki verdiğini ifade eder. Google’ın tanımı bu şekildedir.
Açıklama: Site hızlı cevap verirse limit artar böylece daha çok tarama için daha fazla bağlantı sağlanır. Tam tersi durumda ise limit azalır ve daha az tarama gerçekleşir.
- Bu bakımdan index bütçesi de önemlidir. Taranan sayfalardan kaç tanesinin gerçekten dizine eklendiğini kaydeder. 404 veren ve dizine eklenmeyen sayfalar için index bütçesi kullanılmayacaktır.
Tarama Bütçesini Etkileyen Diğer Faktörler
Aşağıdaki faktörler web sitesinin tarama bütçesini etkiler:
- Bağlantı yetkisi : Büyük ve alakalı web sitelerinden gelen geri bağlantılar , tarama bütçesi üzerinde olumlu bir etkisi olabilecek önemli bir faktördür. Bu bağlamda Google, internetteki popüler bağlantıları dizinlerinde daha taze tutmak için daha sık tarama eğilimindedir.
- İçerik : İçeriğin kapsamı ve güncelliği bu durumda öne çıkar. Bu, hem dizine eklenebilecek toplam belge sayısını hem de web sitesine yeni içeriğin eklenme aralığını içerir.
- İçeriğin önceliklendirilmesi : Önemli içerik, hem dahili hem de harici olarak en fazla bağlantıyı almalıdır. Bu, tarayıcının(crawler) önemli belgeleri hızla tanımlamasına ve işlemesine yardımcı olur.
- İndexleme kontrolü: Tüm sayfaların indekse dahil edilmesi gerekmez. Bazı alt sayfaları hariç tutarak, tarayıcıyı(crawler) önce dizine eklenmesini istediğiniz önemli sayfalara yönlendirebilirsiniz.
- Hız: Google hızlı web sitelerini sever. Bu nedenle, web sitelerinin olabildiğince hızlı yüklenmesini sağlamak her web yöneticisinin önceliği olmalıdır.
Google’ın Hangi Kaynakları Taradığını Nasıl Kontrol Edebilirsiniz?
Tarama bütçesinin boşa harcanıp harcanmadığını belirleyebilmek için Google’ın hangi kaynakları taradığını kontrol etmenin temel olarak iki yolu vardır: günlük dosyası analizi yapın ve/veya Google Search Console’da bulunan tarama istatistikleri raporunu analiz edin .
Günlük dosyası analizi yapın
Bir günlük dosyası(log dosyası) analizi yapmak, Google’ın sitenizi nasıl taradığını ve bazı kaynakları gereksiz yere tarayıp taramadığını öğrenmenin en iyi yoludur. Bir Excel tablosu kullanarak “ham” günlük dosyası analizini yapabilir veya verileri sizin için analiz edecek bir araç kullanabilirsiniz. Semrush Log File Analyzer’ı bunun için kullanabilirsiniz. OnCrawl’ın log analiz aracı da oldukça iyidir.
GSC tarama istatistikleri raporunu kontrol edin
Google Search Console tarama istatistikleri raporu, bir günlük dosyası analizi kadar ayrıntılı değildir, ancak yine de Googlebot’un sitenizi nasıl taradığına dair iyi bir fikir verebilir. Rapora Ayarlar > Tarama istatistikleri > RAPORU AÇ seçeneğine giderek ulaşabilirsiniz .
Araç tarafından sağlanan verilerin nasıl kullanılacağını ve analiz edileceğini öğrenmek için Google Search Console tarama istatistikleri raporuna ilişkin ayrıntılı kılavuzuma bakın .
Google Tarama Bütçesi SEO İçin Neden Önemlidir?
Google tarama bütçesi SEO için önemlidir çünkü tarayıcı(crawler) çok sayıda alakasız dosya ile meşgulse, “iyi” ve önemli sayfalar için yeterli bütçe kalmayabilir.
Örneğin, 10.000 ürün detay sayfası olan bir çevrimiçi mağaza, her biri için tek bir istek gerektirir. Her sayfa birkaç megabayt büyüklüğündedir. Tarayıcı bu sayfaları tarar ve tarama bütçesinin belirli bir – muhtemelen çok büyük – bir kısmını tüketir. Daha sonra yeni ürünler eklerseniz, bunlar daha sonra dizine eklenebilir.
İşte bilmeniz ve yapmanız gerekenler:
- Google tarafından taranan alakasız içeriğiniz olmadığından emin olmalısınız.
- Google, çok fazla alakasız sayfayla meşgul olduğunda sizi bilgilendirmez.
- Sıralamanız üzerinde crawl’ın etkisi söz konusu olduğunda, endişelenmemelisiniz çünkü böyle bir şey söz konusu değildir.
- Tarama bütçeniz yetersiz ise değişiklikler ve yeni içerikler gecikmeli olarak dizine eklenecektir. En kötü senaryoda, bu, trafik ve satış için kaçırılmış bir fırsata yol açabilir.
- Google Search Console URL denetleme aracını kullanarak, hızlı bir şekilde taranmasını istediğiniz sayfaları (örneğin, güncellenen makaleler) tek tek Google’a bildirebilirsiniz. İşte nasıl yapılacağı hakkında bilgi:
- Google Search Console’daki URL denetleme aracına gidin ve hızlı bir şekilde taranmasını istediğiniz URL’yi girin. Sonraki REQUEST INDEXING’e tıklayın ve Google, URL’yi tarama önceliği sırasına ekleyecektir.
Çoğu durumda, değişiklikleri birkaç dakika sonra görebilirsiniz.
Tarama Bütçesi Nasıl Optimize Edilir?
Tarama bütçesini optimize etmek, Googlebot’un sitenize ayırdığı kısa süreden en iyi şekilde yararlanmak anlamına gelir.
Pratik bir örneğe bakalım.
Web sitenizde kullanıcılarınıza değer katmayan sayfalarınız varsa, Googlebot’un değerli zamanını kaybetme riskiyle karşı karşıya kalırsınız. Bunun olumsuz etkisini saptamak kolaydır. Bu riski küçümserseniz ve bu risk gerçeğe dönüşürse, bu, Googlebot’un gerçekten katma değer getiren web sayfalarına odaklanma fırsatını kaçırmış olacağınız anlamına gelir.
Bu olası senaryodan olabildiğince kaçınmak istediğinizi sık sık söylememe gerek yok sanırım!
İşte aklınızda bulundurmanız gerekenler:
- Sürekli güncellenen içeriğe sahip bir web sitesinin tarama bütçesini artıracağını unutmayın.
- Buna karşılık, düşük kaliteli, güncel olmayan, yinelenen içerik ve 404 sayfaları, tarama bütçesini azaltır.
- Açık gibi görünse de, kötü içerik oluşturmak verimsizdir. Googlebot’un yüksek kaliteli sayfaları taramak yerine düşük kaliteli sayfaları tarayarak zaman kaybetme riski vardır.
- Googlebot işinde zaten oldukça iyidir, ancak yine de içeriğinizi güncel ve yüksek kalitede tutarak ona yardımcı olabilirsiniz!
Siteniz için tarama bütçesini optimize etmenin veya iyileştirmenin iki yolu vardır:
- Sitenizi geliştirerek tarama bütçesini artırabilirsiniz.
- Taramalar arasındaki süreyi azaltabilirsiniz.
Aşağıdaki en iyi 10 tarama bütçesi optimizasyon tekniği ve ipucu, tam da bunu yapmanıza yardımcı olacaktır.
Sitenizi Geliştirin
Sitenizi, tarama bütçesini de olumlu yönde etkileyecek şekilde geliştirmenize yardımcı olacak 10 ipucu.
1. Sitenizin hızını ve performansını optimize edin
Sayfa hızınızı artırmak, bir web sitesinin tarama bütçesini optimize etmenin ilk yoludur. Uzun bir yükleme süresi her zaman verilerin çok daha yavaş indirileceği anlamına gelir.
Kötü bir web sitesi hızı, kötü bir kullanıcı deneyimine yol açmakla kalmaz, aynı zamanda tarama bütçesini de olumsuz etkiler. Tarama bütçesi, daha önce de belirtildiği gibi, bir zaman bütçesidir.
Googlebot’un sayfa başına büyük miktarda veri işlemesi gerekiyorsa, belirli bir zaman aralığında taranabilecek sayfaların sayısını azaltacaktır.
⚡ Bir WordPress sitesinin hızını, hızlı bir şekilde artırmanın en iyi yollarından biri, siteyi tek bir tıklamayla hızlandıran bir WordPress eklentisi olan WP Rocket’i yüklemektir.
Bu konuda sunucunun hızı çok önemlidir. Sayfanızın indirme süresini optimize ederseniz, Googlebot’un diğer sayfalar için daha fazla zamanı olacaktır. İşte göz önünde bulundurmanız gereken bazı ipuçları:
- Kaliteli bir sunucuya yatırım yapın.
- Web tarayıcısı için “okunabilir” hale getirmek için kaynak kodunu optimize edin. HTML kodunuz çok fazla metin içeriyorsa, tarayıcı, sayfanızın belirli bir sorguyla alakalı olup olmadığını belirlemekte zorlanabilir.
- Kaliteden ödün vermeden sayfanızdaki resimleri sıkıştırın.
- Web sitesini , şu anda bir web sitesinin hızını ve performansını etkileyen en iyi ölçüm seti olan Core Web Vitals için optimize edin .
- Sitenizin hızını ve performansını analiz etmek için Google PageSpeed Insights ve Lighthouse gibi araçları kullanın .
2. Web sitesinin yapısını yeniden düzenleyin
Web sitenizdeki sayfaların net ve doğrusal yapısı, web sitesinin tarama bütçesini maksimum düzeyde kullanmasına yardımcı olacaktır. Bu, Googlebot’un yeni veya güncellenmiş web sayfalarını sorunsuz bir şekilde taramasına ve dizine eklemesine olanak tanır.
Site yapısıyla ilgili yapılabilecek en iyi çalışmalar şunlardır:
- Herhangi bir kullanıcının sitenizin herhangi bir sayfasından diğerine en fazla üç tıklamayla ulaşabilmesi gerektiğini belirten ünlü üç tıklama kuralını izleyin.
- Sitenizin yapısını ve tarama derinliğini analiz etmek için Screaming Frog SEO Spider’ı kullanabilirsiniz. Araç ayrıca size yetim(orphaned) kalan sayfaları da gösterecektir.
- Herhangi bir iç veya dış bağlantı içermeyen sayfalardan mutlaka kaçının.
- XML site haritasında standart URL’ler kullanın. Tarama bütçesini doğrudan etkilemese bile Google’ın hangi sayfaları taraması ve dizine eklemesi gerektiğini anlamasına yardımcı olabilir.
3. Dahili bağlantının gücünü kullanın
İyi bir dahili bağlantı yapısı, tarayıcıların web sitesinde gezinmesini, yapısını analiz etmesini, bağlamını anlamasını ve önemli açılış sayfalarını tanımlamasını kolaylaştırır.
- Belirli bir web sayfasına işaret eden birçok dahili bağlantı, bunun web sitesinin nispeten önemli bir web sayfası olduğunu gösterir.
- Dahili bağlantılar, tarayıcıların dizine eklenmesi gereken ilgili web sayfalarına erişmesine ve ardından – olası ise – SERP’lerde üst sıralarda yer almasına izin verir.
- İyi bir dahili bağlantı yapısı, “yetim sayfalar” olarak adlandırılan, harici ve dahili bağlantıların olmaması nedeniyle ulaşılması zor olan alt sayfaların sayısını azaltır.
4. Bozuk bağlantıları düzeltin
Kırık linkler sadece sitenin sıralamasını olumsuz etkilemekle kalmaz, aynı zamanda sitenin değerli tarama bütçesini de boşa harcarlar. İşte yapmanız gerekenler:
- Herhangi bir 404 web sayfasını tespit etmek için web sitesini Semrush veya Screaming Frog SEO Spider gibi bir site tarayıcısıyla tarayın .
- Ya 404 web sayfalarını geri yükleyin ya da onlara işaret eden bağlantıları kaldırın. Bozuk bağlantıları çalışan bağlantılarla da değiştirebilirsiniz.
5. Nofollow bağlantıları kullanın
Nofollow bağlantılarla, Googlebot’a belirli sayfaları tarayarak zaman kaybetmemesini söyleyebilirsiniz. Bu sayfalar ya daha az önemli olabilir ya da başka bir konu içinde zaten bağlantılı sayfalar olabilir.
- Googlebot’un taramasını istemediğiniz web sayfalarının bağlantılarını izlemesini engelleyin. Bununla birlikte, Google’ın nofollow bağlantılarını yalnızca ipuçları (yönergeler değil) olarak ele aldığını unutmayın.
- Bu şekilde ne bütçenizi ne de zamanınızı boşa harcamazsınız, böylece taramanın bunun yerine sitenin gerçekten taranması gereken bölümleriyle ilgilenmesini sağlarsınız.
- Bunun için iyi bir örnek yönlü(faceted) gezinme bağlantılarıdır. Bu, dizine eklenmiş iki veya daha fazla yönü olan herhangi bir sayfadır. Bu sayfaları işaret eden tüm dahili bağlantıları nofollow yaptığınızda, tarama bütçesinden tasarruf etmenize ve bağlantı eşitliğini sürdürmenize yardımcı olursunuz.
Not: “Yönlü gezinme”, E-ticaret web sitelerinin ziyaretçilerin sonuçları ürün özelliklerine göre filtrelemesine ve sıralamasına nasıl izin verdiğini ifade eder.
- Bu URL’ler yinelenen içerik(duplicate content) oluşturabilir, basit bir filtre değişikliği tüm sayfa öğelerini aynı tutabilir.
- Bu URL’ler, özellikle büyük E-ticaret sitelerinde tarama bütçesini tüketebilir.
6. Robots.txt dosyasını optimize edin
Robots.txt dosyası, ilgili taramalara yer açmak için güçlü bir araçtır. robots.txt, tarayıcının web sitenizdeki davranışını kontrol eder.
Tarayıcılar için hangi sayfaların, dizinlerin veya alanların engellendiğini ve hangilerini ziyaret etmelerine izin verildiğini tanımlar. Gereksiz yere taranan sayfaları keşfedebilir ve bu nedenle değerli tarama bütçesini boşa harcanmasını önleyebilirsiniz.
- Google’ın taramasını istemediğiniz kaynakları engellemek için robots.txt dosyasını kullandığınızdan emin olun.
- Robots.txt dosyasında bir sayfanın engellenmesinin, o sayfanın dizine eklenmesini engellemediğini unutmayın.
7. Mevcut içeriği güncelleyin
Yeterince vurgulanmaz ama içeriğinizi güncellemek, Google’ın web sitenizde daha fazla zaman harcadığı anlamına gelir.
Daha fazla içerik yazmaya ve üretmeye devam edebilmenize rağmen, bu oldukça emek isteyen ve vakit alan bir uğraştır. Bunun yerine, eski içeriklerinizi güncelleyebilirsiniz. Sadece daha az iş yükü getirmekle kalmaz, aynı zamanda daha hızlı sonuç verir.
- SEO açısından çabalarınızın etkinliğini artırmak ve arama motoru trafiğinizi artırmak istiyorsanız, eski içeriklerinizi güncelleyin ve kendinize daha iyi bir güncellik puanı kazandırın.
- Google’a içeriğinizin yeni olduğunu söylediğinizde trafikte ani bir artış yaşarsınız. Aldığı küçük miktardaki artış bile buna değecektir.
- Google, içeriğinizde bir değişiklik fark ederse, siteniz büyük olasılıkla yeniden taranacaktır. İçeriğinizde iyileştirmeler bulursa, Googlebot size daha yüksek bir bütçe verebilir.
8. Yeni içerik ekleyin
Çok basit bir kuraldır, web sitesine ne kadar çok içerik eklerseniz, Googlebot sitenizi o kadar sık taramak isteyecektir.
- Yeni içerik, yeni sayfalar eklemek anlamına gelir. Bunu yapmanın birçok faydası vardır. Örneğin, web sitenizin daha fazla anahtar kelime için sıralamasına yardımcı olabilir ve web sitesinin sektörüyle ilgili olan anahtar kelimelerde SEO’sunun gelişmesine katkıda bulunur.
- Ayrıca, yepyeni web sitesi sayfalarındaki yeni içerik, sitenizin daha geniş bir anahtar kelime aralığını hedeflemesine yardımcı olur. Bu da web sitelerinin işleriyle ilgili daha uzun kuyruklu anahtar kelimeleri ve kelime öbeklerini hedeflemesine olanak tanır.
- Ayrıca, yeni içerik sayfaları, web siteniz için dahili ve harici bağlantı amacıyla yeni bağlantılar oluşturur. Buna ek olarak daha fazla anahtar kelime için sıralama almanıza yardımcı olur ve içeriğinizi taze tutarak tarama bütçenizi artırır.
- Ancak, bu tazelik aslında zamanla düşebilir. Başka bir deyişle, Google, içeriğe ilk kez yayınlandığında ilk olarak bir destek verir, ancak SEO’su zamanla düşer. Bu nedenle, yeni içerik eklemeye devam etmek ve bunu içerik stratejinizin düzenli bir parçası haline getirmek önemlidir.
9. Yinelenen içeriği silin
Artık alakalı olmayan tüm sayfaları kaldırırsanız, siteniz için ayrılan tarama bütçesini boşa harcamazsınız.
- Ancak bu içeriği tamamen kaldırmak istemiyorsanız, mevcut yüksek kaliteli web sayfalarıyla birleştirmeyi düşünebilirsiniz.
- Bunu yapmaya karar verirseniz, dahili bağlantıları unutmayın. Bir bağlantı, silmek üzere olduğunuz bir sayfaya atıfta bulunuyorsa, iki seçeneğiniz vardır. Arama motoruna sayfanın farklı bir URL’den erişilebilir olduğunu söyleyen bir 301 yönlendirmesi uygulayabilir veya bağlantı veren web sayfasındaki bağlantı URL’sini değiştirebilirsiniz.
10. Doğru durum kodlarını sunun
Her yönlendirme veya 404 sayfası, web sayfası için ayrılan tarama bütçesini kullanır. Hata sayfalarının kullanıcı deneyimi üzerinde ciddi bir etkisi olmakla kalmaz, aynı zamanda gereksiz yere taranırlar.
- Yönlendirmeler tamamen normaldir ve önlenemez. Ancak, bunları minimumda tuttuğunuzdan ve yönlendirme zincirleri olmadığından emin olmalısınız.
- Yönlendirme zincirleri, tarayıcının nihai bağlantı hedefine ulaşması için uzun bir yol oluşturur. Üç veya daha fazla sıçramadan sonra, Googlebot zinciri taramayı bırakabilir. Yapılacak en iyi şey, herhangi bir yönlendirme zincirinden kaçınmaktır.
- Web sayfalarını web sitenizden kaldırırsanız, Screaming Frog SEO Spider veya Semrush gibi bir site tarayıcısı kullanarak kaldırılan sayfaya işaret eden dahili bağlantıları belirleyin ve mevcut bir web sayfasını gösterecek şekilde güncelleyin.
- Yönlendirme zincirleri durumunda, aradaki tüm yönlendirmeleri kaldırın. A Sayfası, arada başka bir sayfa olmadan doğrudan B sayfasına yönlendirmelidir.
- URL’lerinizin çoğunun 200 OK durum koduna sahip olduğundan emin olmalısınız.
- 404 sayfa, tarayıcı ve kullanıcı için çıkmaz sokaklardır. 404 hataları için sayfanızı düzenli olarak kontrol edin ve mümkün olan en kısa sürede düzeltin.
- Yönlendirmeler (301 yönlendirmeleri) de, onları tarayıcı dostu bir şekilde kullandığınız sürece iyidir.
Günlük dosyası(log dosyası) verilerinizi durum koduna göre gruplayarak tarama bütçesinin sitenizdeki farklı sayfalara nasıl dağıtıldığını değerlendirebilirsiniz. Bu, bir arama motorunun tarama bütçesinin ne kadarının önemli 200 durum kodlu sayfaya harcandığına ve ne kadarının 4XX hata sayfalarında ve yönlendirmelere harcandığına dair en doğru genel bakışı sağlar.
Bu verileri kullanarak, sitenizdeki tarama bütçesini iyileştirmek için atabileceğiniz adımlardan bazıları şunlardır:
- Taranması gerekmeyenleri belirlemek için 200 durum kodu URL’leri analiz edin.
- 200 durum kodlu gerekli olmayan sayfalar için robots.txt dosyanıza disallow kuralları ekleyerek, onları tarayıcılar tarafından erişilemez hale getirin.
- 404 sayfaya giden dahili bağlantıları kaldırın ve gerektiğinde onları yeniden yönlendirin.
- 200 durum kodu olmayan tüm durum kodu sayfalarını XML site haritalarından kaldırın.
- Arama motoru tarayıcıları ve kullanıcıları tarafından erişilen her yönlendirmede yalnızca bir adım olduğundan emin olmak için yönlendirme zincirlerini düzeltin.
Taramalar Arasındaki Süre Nasıl Azaltılır?
İçeriğinizi düzenli olarak güncellerseniz, Googlebot tarama etkinliğinde bir artış göreceksiniz. Web tarayıcısı bir sayfayı her ziyaret ettiğinde ve gözden geçirilmiş içerik bulduğunda, tarama bütçeniz artar.
Bir site için en uygun tarama hızını belirlemek söz konusu olduğunda, Google’ın gelişmiş algoritmaları vardır. Amaçları, sunucunun bant genişliğini fazla zorlamadan her ziyarette sitelerden mümkün olduğunca çok sayfa taramaktır.
Bazı durumlarda, sitelerin taranması altyapı üzerinde kritik bir yüke veya bir kesinti sırasında istenmeyen maliyetlere neden olabilir. Bunu hafifletmek için, Googlebot tarafından yapılan isteklerin sayısını azaltmaya karar verebilirsiniz.
Search Console ile tarama hızını azaltın
Tarama hızını hızlı bir şekilde azaltmak istiyorsanız, bunu özel bir istek oluşturarak Tarama Hızı Ayarları sayfasından yapabilirsiniz .
Burada yapılan değişiklikler birkaç gün içinde gerçekleşecektir. Ancak, tarama hızı değerini web sitenizin ihtiyaçları için çok düşük ayarlamamaya dikkat edin.
Google’ın tarama hızını otomatik olarak düşürmesine izin verin
Birkaç saat veya bir gün içinde tarama hızının acilen azaltılmasına ihtiyacınız varsa, 500, 503 veya 429 HTTP kodlu bir hata sayfası döndürebilirsiniz.
Googlebot, web sitenizi devre dışı bıraktığınızda olduğu gibi, 500, 503 veya 429 HTTP kodlarıyla yeterince büyük sayıda URL ile karşılaştığında sitenizin tarama hızını düşürür.
Değişiklik, hem bu hataları döndüren URL’lerin taranmasına hem de genel olarak web sitesine yansıtılır. Bu hataların sayısı azaldığında tarama hızı otomatik olarak tekrar artmaya başlayacaktır.
Faydalanılan Kaynaklar: