İngilizce karşılığı Crawl Budget olan tarama bütçesi, tarayıcıların herhangi bir günde sitenizde tarayacağı sayfa sayısıdır. Bu sayı her gün biraz değişiklik gösterse de genel olarak nispeten istikrarlıdır. Tarayıcılar her gün sitenizdeki altı sayfayı tarayabilir; 5.000 sayfayı tarayabilir; hatta her gün 4.000.000 sayfayı tarayabilir. Tarayıcıların taradığı sayfa sayısı, yani ‘bütçeniz’ genellikle sitenizin boyutuna, sitenizin ‘sağlığına’ (Tarayıcıların karşılaştığı hata sayısı) ve sitenize verilen bağlantıların sayısına göre belirlenir .
Arama Motorları Nasıl Çalışır?
Googlebot gibi bir tarayıcı, bir sitede taranacak URL’lerin bir listesini alır. Bu listeyi sistematik olarak gözden geçirir. Her URL’yi taramasına hala izin verildiğinden emin olmak için arada bir robots.txt dosyanızı alır ve ardından URL’leri tek tek tarar. Örümcek bir URL’yi tarayıp içeriğini ayrıştırdıktan sonra, o sayfada bulunan ve tekrar taraması gereken yeni URL’leri yapılacaklar listesine ekler.
Çeşitli olaylar Google’ın bir URL’nin taranması gerektiğini düşünmesine neden olabilir. İçeriği işaret eden yeni bağlantılar bulmuş olabilir veya birisi bağlantı yapmış olabilir ya da XML site haritasında güncellenmiş olabilir. Google’ın bir URL’yi taramasının tüm nedenlerinin bir listesini yapmanın bir yolu yoktur, ancak taraması gerektiğine karar verdiğinde bunu yapılacaklar listesine ekler.
Tarama Bütçesi Nasıl Hesaplanır?
Tarayıcıların sitenizdeki birçok URL’yi taraması gerekiyorsa ve çok sayıda tarama ayırdıysa tarama bütçesi bir sorun değildir. Ancak, sitenizde 250.000 sayfa olduğunu ve tarayıcıların bu sitede her gün 2.500 sayfa taradığını varsayalım. Bazılarını (ana sayfa gibi) diğerlerinden daha fazla tarayacaktır. Harekete geçmezseniz tarayıcıların sayfalarınızdaki belirli değişiklikleri fark etmesi 200 gün kadar sürebilir. Tarama bütçesi şu anda bir sorun. Öte yandan, günde 50.000 tarama yapıyorsa, hiçbir sorun yoktur.
Sitenizin tarama bütçesi sorunu olup olmadığını belirlemek için aşağıdaki adımları izleyin. Bu, sitenizde Google’ın taradığı ancak dizine eklemediği (örneğin, meta noindex eklediğiniz için) nispeten az sayıda URL olduğunu varsayar.
- Google Search Console‘a gidin.
- “Ayarlar” -> “Tarama istatistikleri” bölümüne gidin ve günde taranan ortalama sayfaları yazın.
- Sayfa sayısını “Günlük ortalama taranan” sayısına bölün.
- Sonunda ~10’dan daha yüksek bir sayı elde ederseniz (yani tarayıcıların günlük taradığından 10 kat daha fazla sayfanız varsa) muhtemelen tarama bütçenizi optimize etmelisiniz. Eğer 3’ten daha düşük bir sayı elde ederseniz başka bir şey okuyabilirsiniz.
Tarama Bütçesini Etkileyen Faktörler Nelerdir?
Düzenli İçerik Yayınlamak
Tarayıcı Dizinine eklenen toplam sayfa sayısı, tarama bütçesini etkileyebilir çünkü tarayıcıların belirli bir siteyi ne sıklıkta ve hangi sayfalarını tarayacağı konusunda bir kılavuz sağlar. Genelde, daha fazla sayfa eklemek, tarayıcıların daha fazla sayfayı taraması için teşvik edici olabilir.
Bununla birlikte, sayfa sayısının artması, tarama bütçesini otomatik olarak artırmaz. Tarama bütçesini etkileyen faktörler arasında sayfa kalitesi, kullanıcı deneyimi, mobil uyumluluk, URL yapısı ve site hızı gibi çeşitli özellikler de bulunur. Yine de, genel olarak, daha fazla sayfa eklemek, tarayıcıların sitenizi düzenli olarak tarayarak indekslemesine ve güncel içeriği keşfetmesine yardımcı olabilir.
Site Kapasitesi
tarayıcı botlarının sitenizde yer alan görsel, html dosyaları, css ve javascript gibi dosyaların büyük olmasından hoşlanmaktadır. Bu dosyalar ne kadar büyük olursa tarayıcı botlarının ayırması gereken vakit o kadar artar ve netice itibarıyla sitenizi daha az sıklıklarla ziyaret etmeye başlar Öte yandan sitenizin değeri de düşük seviyede ise tarayıcı botlarının sitenizi ziyaret etme sıklığı ve süresi daha da azalır.
Site Hızı
Tarayıcılar, hızlı yüklenen ve kullanıcılar için daha iyi bir deneyim sunan siteleri tercih eder. Hızlı yüklenen siteler, tarayıcıların daha hızlı bir şekilde taramasına ve indekslemesine olanak tanır. Bu, tarama bütçesinin daha verimli kullanılmasını sağlar çünkü hızlı sitelerde daha fazla sayfa taranabilir. Ayrıca, kullanıcıların hızlı siteleri tercih etmesi, bu sitelerin daha fazla ziyaretçi çekmesine ve dolayısıyla daha fazla tarama bütçesi kazanmasına yardımcı olabilir.
Backlinkler
Tarayıcı botları herhangi bir siteyi ziyaret ettiğinde, o site içerisinde yer alan linkleri de tarar ve o linklerin olduğu sayfaları ziyaret eder. Yüksek kaliteli ve otoriter sitelerden gelen backlinkler, sitenizin daha fazla dikkate alınmasını sağlar. Yani başka sitede backlinkiniz varsa tarayıcı botları o siteyi incelerken sizin sitenize de uğramış olur ve bu da tarama bütçesinin daha verimli kullanılmasına yardımcı olabilir. Bununla birlikte, backlinkler tarama bütçesini doğrudan etkilemez, ancak sitenizin genel performansını ve otoritesini artırarak tarama sıklığını etkileyebilir.
Tarama Bütçesi Nasıl Optimize Edilir?
Tarama bütçesi nasıl hesaplanır? sorusunda belirttiğimiz gibi sitenizin tarama bütçesi 10 ve üzerinde çıkıyorsa acilen tarama bütçesi optimizasyonuna başlamanız gerekiyor. Eğer tarama bütçesi 3 değerinin altında ise tarama bütçenizin durumu güzel olduğu söylenebilir. Öte yandan tarama bütçesi optimizasyonu yalnızca tarama bütçesi kötü olan siteler için değil, tarama bütçesi halihazırda iyi siteler için de yapılmalıdır. Nitekim bu değeri korumak ve hatta daha da iyileştirmek sitenize fayda sağlayacaktır. Peki tarama bütçesi optimizasyonu nasıl olur? Cevabı sizler için genel hatlarıyla sıraladık:
Yönlendirme Sorunlarının Çözülmesi
Eğer sitenizde çok sayıda yanlış yönlendirme, döngüsel yönlendirmeler veya gereksiz yönlendirmeler varsa, arama motorları bu durumları algılar ve bunlar tarayıcıların gereksiz yere kaynak harcamasına neden olur. Bu durum, arama motorlarının sitenizi tam olarak tarayamamasına veya önemli sayfalarınıza ulaşamamasına yol açabilir.
Sitenizde Gereksiz Dizinler Olmasın
Gereksiz dizinler veya kategoriler içindeki içeriklere gereksiz yere zaman harcayabilir. Bu durumda, sitenizin daha önemli sayfalarının taranmasına ve dizine eklenmesine odaklanmak yerine, bu tür gereksiz içerikleri taramak zorunda kalabilirler.
Örneğin, bir ayakkabı satıcısının web sitesi düşünün. “Spor Ayakkabılar” ana kategorisi altında “Koşu Ayakkabıları”, “Futbol Ayakkabıları”, “Yürüyüş Ayakkabıları” gibi alt kategoriler bulunabilir. Bu alt kategoriler, arama motorlarının sitenizin asıl içeriğine ulaşmasını engelleyebilir.
Bu da önemli sayfalarınızın tarama bütçesini paylaşmasına ve gereksiz dizinlerin içeriğine harcanan zaman nedeniyle sitenizin genel performansının düşmesine yol açabilir. Bu yüzden, gereksiz dizinleri temizlemek ve önemli içeriklere odaklanmak, tarama bütçesini daha verimli kullanmanıza ve arama motorlarının sitenizin asıl değerli içeriğini daha iyi anlamasına yardımcı olabilir.
Tarama Bütçesini Olumsuz Yönde Etkileyen Faktörler
- Taranmaması gereken dizinlerin engellenmemesi,
- Aynı sayfayı açan birden fazla URL olması,
- Taranmaması gereken URL’lerin site haritasında yer alması,
- Web sitesindeki içeriklerin optimize edilmemiş olması,
- 301 ve HTTPS’e geçiş sonrası yanlış yapılandırmalar,
- URL parametrelerine ait tanımlamaların yapılmaması.
- Canonical yapılandırma hataları,
Bunlarla birlikte ülkemizde en çok kullanılan İçerik Yönetim Sistemeleri alt yapılarından olan WordPress ve Opencart e-ticaret sitelerine ait tarama bütçesini en çok olumsuz etkileyen faktörleri gidermek için yapılması gereken robots.txt düzenlemelerine göz atalım:
WordPress Tarama Bütçesi Optimizasyonu
WordPress’e ait aşağıda sunduğumuz Disallow komutlarıyla, sitenizin indeksini oluşturan bir çok gereksiz URL’yi kaldırarak, Tarayıcıların sitenizi sağlıklı bir şekilde taramasına imkan vermiş olursunuz.
WordPress Robots.txt İçeriği
User-agent: *
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*.cgi$
Disallow: /tag/ #istek doğrultusunda
Disallow: /category/ #istek doğrultusunda
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Disallow: /wp-includes/
Opencart Tarama Bütçesi Optimizasyonu
WordPress de olduğu gibi Opencart siteniz için de gereksiz URL’lerin dizine eklenmesini engellemek için Robots.txt dosyasını aşağıdaki şekilde düzenleyebilirsiniz:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /system/
Disallow: /download/
Disallow: /*?limit=*
Disallow: /*?limit*
Disallow: /*&limit=*
Disallow: /*?sort=*
Disallow: /*?sort*
Disallow: /*&sort=*
Disallow: /*?order=*
Disallow: /*?order*
Disallow: /*&order=*
Disallow: /special?limit=*
Disallow: /*=DESC
Disallow: /*=ASC
Disallow: /*=rating*
Robots.txt komutları ardından Google Search Console aracılığıyla ulaşacağınız “URL Parametleri” sekmesinden de, parametlerinizi kontrol edip, tarayıcıların indekslemesi, indekslememesine ait geri bildirimlerde bulunmalısınız.
İlginizi Çekecek İçerikler:
SEO Raporu Nedir, Nasıl Hazırlanır?