SEO uzmanlarının en önemli hedeflerinden biri, sayfaları çok daha görünür kılmak ve anahtar kelime sıralamasında yükselmektir. Peki her sayfanın görünür olması mı gerekir? Ya da arama motorlarından gizlenmesi gereken sayfalar nasıl gizlenir?
Bu konunun detaylarını ve robota.txt dosyası hakkında en çok merak edilen konuları bu yazı içerisinde bulabilirsiniz.
Robots.txt Nedir?
Robots.txt dosyası, Google ve diğer arama motoru robotlarının, taramasının yasak olduğu website alanlarını belirten bir dosyadır. Webmaster tarafından arama motoru dizilerine eklenmesinin istenmediği URL adreslerinin listelenmesi ile birlikte bu sayfaların ziyareti ve indekslenmesi engellenir. Sadece Google için geçerli değildir. Tüm arama motorları bu dosyadan etkilenir ve ilgili yönergeleri takip eder.
Robots.txt dosyası tek bir neden için kullanılmaz. Farklı sebepler ile kullanılarak birçok açıdan katkı sağlar. Google botları ve diğer arama motoru botları bir web site keşfettiklerinde, öncelikle web sitenin nelerin taranmasına izin verdiğine bakar. Bu sayede taranması istenmeyen ve görmezden gelinmesi istenen sayfaları pas geçer ve dizine eklemez.
Robots.txt Nasıl Kullanılır?
Robots.txt dosyasını çok kolay bir şekilde kendiniz oluşturabilirsiniz. Bunun için iki basit adım vardır. Bunlar;
- txt dosyasını oluşturmak için düz metin düzenleyici kullanarak oluşturabilirsiniz.
- Dosyayı oluşturduktan sonra dosya adını robots.txt olarak isimlendirin.
Web sitelerin taranmasını istemediği alanlar için oluşturulan robots.txt dosyasına aşağıdaki gibi bir örnek verebiliriz;
User-agent: *
Disallow:
Yukarıdaki örnekte disallow kısmı boş bırakılmıştır. Bu şekilde boş bırakıldığı takdirde, botlar tarafından engellenen ve taranmasına izin vermediğiniz bir şey olmadığı anlamına gelir.
Herhangi bir sayfayı engellemek için aşağıdaki örnekteki gibi bir kullanım sergileyebilirsiniz. Aşağıdaki örnekte, teşekkürler sayfasının taranmasını istemediğinizi bildirmiş oluyoruz.
User-agent: *
Disallow: /tesekkurler/
- Farklı alt etki alanları için ayrı ayrı robots.txt dosyaları kullanmanız gerekmektedir.
- txt dosyasını web sitenin üst düzey dizinine eklemeye özen gösterin.
- txt dosyasında bir yanlışlık yapmamak adına kök dizine eklemeden önce Google Web Yöneticisi Araçları ile birlikte doğrulama testi yapabilirsiniz.
Robots.txt dosyası oluşturmak ve dilediğiniz zaman değiştirmek gayet kolaydır. Doğru robots.txt dosyası oluşturarak, bot ziyaretlerinden maksimum verimi almış olursunuz. Gereksiz ve anlamsız sayfalar taranmamış ve arama motoru dizinine eklenmemiş olur. Ayrıca, botların site üzerinde anlamsız sayfalar ile ilgilenmesi zamanı boşa harcamak demektir. Bunun yerine hemen indekslenmesi gereken sayfalar ile ilgilenmesi çok daha sağlıklı olacaktır.
Robots.txt dosyası ile birlikte kişiye özel ekranların dizine eklenmesi engellenir. Bunun için kullanılan özel içerik yönetim sistemleri otomatik olarak bu sayfaları engelleyebilir.
Robots.txt dosyası oluşturmak için kullanılan başka yöntemler de vardır. Örneğin, WordPress kullanıcıları çeşitli SEO eklentileri ile birlikte robota.txt dosyasını oluşturabilir ve düzenleyebilir.
Robots.txt Nasıl Olmalı?
Robots.txt dosyası gizli bir dosya değildir. Herkes bu dosyaya erişebilir. İlgili web sitenin sonuna /robots.txt eklenerek dosyaya ulaşabilir. Tabi ki robots.txt dosyasının varlığı durumunda dosyaya ulaşılabilir. Herkes tarafından ulaşılabilen bir dosya olduğu için hiçbir özel bilgiye yer verilmemelidir. Aksi takdirde özel bilgileriniz herkese açık hale gelecektir.
Robots.txt dosyası, yer sağlayıcınızın kök dizininden yer almaktadır. Dosyayı kök dizine yerleştirebilir ve dilediğiniz zaman değiştirebilirsiniz. Dosya yöneticisi üzerinden ya da FTP programları ile giriş yaparak ulaşabilirsiniz. Dosyada değişiklik yaptığınızda eskisi ile değiştirmeniz gerekir. Değiştirme yapabileceğiniz gibi eski dosyayı silip yeni dosyayı yükleyebilirsiniz.
Robots.txt örneği
Örnek bir robots.txt dosyası için aşağıda yer alan sözdizimi kullanılabilir.
User-agent: *
# All bots – Old URLs
Allow: /
Disallow: /admin/*
Robots.txt’nin SEO’ya Etkisi
robots.txt dosyası ile birlikte Google boylarına yardımcı olunur ve gerekli sayfaların daha hızlı indekslenmesi sağlanır. Ayrıca gereksiz sayfalar da incelenmez ve indekslenmez. robots.txt dosyası aşağıda yazan nedenlerden dolayı SEO açısından önem arz eder.
- Google botları sadece taranması ve indekslenmesi gereken sayfalara odaklanır. Bu nedenle, sayfalar daha hızlı indekslenebilir ve tarama süreci çok daha verimli bir şekilde gerçekleşir. Google’ın teşekkür sayfası ve admin gibi sayfaları indekslenmesi istenmez. Bu açıdan ayrıca önem arz eder.
- txt dosyasında yer alan sayfalar, arama motorlarının ilgili sayfayı dizine eklemesini zorlaştırır.
- txt dosyası ile birlikte tarayıcının bazı önemli alanlar için erişimini engeller.
- Her bir kök etki alanı için farklı robots.txt dosyası oluşturulmalıdır. Bu sayede web sitenin tüm alanları kontrol altına alınmış olur. E-ticaret sitelerindeki ödeme sayfaları bu konuda güzel bir örnektir. Bu gibi taranması istenilmeyen sayfalar, robots.txt dosyası ile koruma altına alınır.
- Web site bünyesinde yapılan dahili aramaları, dizine eklememek için de önemli bir yardımcıdır.
- txt ile birlikte sadece web sayfalar değil aynı zamanda PDF ve spesifik görsellerin de Google ve diğer arama motoru dizinlerine eklenmesini engel olabilirsiniz.
Robots.txt Neden Kullanılır?
Robots.txt dosyası, web sitenizin sizin için taranması istenilmeyen alanlarını tarayıcılardan korur. Bunun yanı sıra dosyanın çok dikkatli bir şekilde hazırlanması gerekir. Aksi takdirde, tüm web sitenin indekslenmemesi gibi bir sorun ile karşı karşıya kalınabilir.
Robots.txt dosyası son derece önem arz eden ve birçok açıdan kullanışlı olan bir dosyadır. Aşağıda yer alan etkenlerden dolayı robots.txt dosyası kullanılmalıdır.
- Web sitenin geliştirilmekte olan test sayfaları robots.txt dosyasına alınarak, taranması ve indekslenmesi engellenebilir.
- Yinelenen içeriklerin taranmasını engellemek için robots.txt dosyasını kullanabilirsiniz.
- Web sitenin üzerinde yer alan arama çubuğu ile yapılan dahili aramalarda, sonuç sayfasının indekslenmesi istenmez. Bu gibi durumlarda da robots.txt dosyası önem arz eder.
- txt dosyası site haritalarının konumunu belirtmek ve arama motoru botlarını doğru bir şekilde yönlendirmek için büyük kolaylık sağlar.
- Web site üzerinde birçok alan arama motorlarının erişimine ve taranmasına kapatılması gerekebilir. Özellikle de e-ticaret sitelerinin ödeme sayfaları gibi bazı sayfaları botların erişimine kapatılmalıdır.
- Sunucuya olan aşırı yüklenmenin önüne geçmek adına tarama gecikmesi oluşturmak için kullanılabilir.
Robots.txt SEO Açısından Dikkat Edilmesi Gerekenler
Robots.txt dosyasını doğru bir temel üzerine oturtmak ve anlamlı kılmak adına aşağıda yer alan konulara özen gösterin;
Taranmasını istediğiniz içeriğe erişimi engellemeyin: Oluşturulan yanlış robots.txt dosyası ile birlikte, indekslenmesi gereken sayfaları da erişime engellemiş olabilirsiniz. Bu konuya azami ölçüde dikkat edin.
Arama motoru botları robots.txt dosyası ile engellenen web sayfalar taramadığı gibi ilgili sayfalardaki bağlantıları da takip etmez: Site içi ve site dışı bağlantıların SEO açısından büyük önemi bulunmaktadır. Robots.txt dosyası ile engellenen web sayfaları üzerinde SEO açısından önemli bağlantılar bulunabilir. Ancak, arama motoru botlarının ilgili sayfada yaşadığı engelden dolayı, bağlantılar da takip edilmeyecektir. Dolayısı ile arama motorları hiçbir şekilde bağlantı değeri iletmeyecek ve bağlantının SEO açısından bir değeri olmayacaktır.
Arama sonuçlarında gizli sayfaların gösterilmesini engellemek adına robots.txt dosyasını kullanmak yeterli değildir: Başka sayfalardan gizil tutulması gereken sayfalara bağlantı verilmesi durumunda, botlar robots.txt dosyasındaki yönergeden kaçabilir. Bunun sonucunda da gizli tutulması gereken sayfalar arama motoru üzerinde indekslenirler. İlgili sayfanın arama sonuçlarına yansımaması için şifre koruması ya da noindex meta etiketi kullanma yöntemleri de tercih edilmelidir.
Farklı botlara sahip arama motorları vardır: Google gibi birçok arama motoru tek bir bota sahip değildir. Organik aramalar için kullanılan Googlebot’unun yanı sıra görsel aramalar için de GoogleBot-Image bulunmaktadır. Farklı botlar için robots.txt dosyası üzerinde ekstra bir işlem yapmaya gerek yoktur. Başka bir açıdan ise, sitenin doğru taranması için sürecin kontrolü açısından önem teşkil eder.
Önbellek verileri günlük olarak güncellenir: Google, robots.txt dosyasında yer alan içeriği önbellekte tutar. Dosyada yaşanan değişiklikler ise günlük olarak güncellenmektedir. Eğer ki robots.txt dosyası üzerinden önemli bir değişiklik yaparsanız, zaman kaybetmemek adına robots.txt URL’sini Google’a iletmeniz gerekir.
Robots.txt Dosyası Sınırlamaları
Yazının son kısmında, sizlere robots.txt dosyasının sahip olduğu sınırları bildireceğiz. Bu dosyanın da işlev açısından belirli sınırları olduğunu bilmeniz gerekir. Bu sınırları aşağıdaki gibi sıralayabiliriz;
Txt indekslemeye tamamen engel olmaz: robots.txt dosyasında yer alan alanlar da arama motorları tarafından indekslenebilir. Bu nedenle %100 sonuç veren bir yöntem değildir. Özellikle başka sayfalardan bağlantı alan ancak robots.txt dosyası ile engellenmeye çalışılan sayfalar, arama motoru üzerindeki sonuçlarda yerini alabilir.
Txt dosyası arama motorları için bir zorunluluk değildir: Bir önceki maddeyi destekler bir konudur. Google gibi arama motorları, robots.txt dosyasını dikkate alır ve verilen talimatları uymayı hedefler. Ancak, arama motorları için bir zorunluluk teşkil etmez.
Txt dosya boyutu: Google tarafından robots.txt dosyaları için belirlenen 521 kilobaytlık bir sınır bulunmaktadır. İlgili dosya, boyut açısından bu sınırı aştığı durumlarda, dosya yok farz edilebilir. Google harici arama motorları net bir dosya sınırı belirtmemiştir.
Txt dosyası günlük olarak önbelleğe alınır: Google tarafından robots.txt dosyası tahmini olarak 24 saatlik sürelerde önbelleğe alınmaktadır. Bu açıdan önemli değişiklikler anında yanıt bulmazlar. Ayrıca, web siteniz üzerinde yer alan robots.txt dosyasını önbelleğe almamaya dikkat edin. Bu sayede, değişiklikler web site üzerinde anında görünecektir.
