İçindekiler
Robot.txt dosyası ve bu dosyanın oluşturulması ilgili internet sitesine oldukça yarar sağlayacak bir konudur. Bu dosya, SEO uygulamaları ile senkron çalışır. Bu yüzden internet sitesinin arzu ettiği başarıya ulaşabilmesi adına iyi bir araçtır.
Robot.txt, herhangi bir amaç için oluşturulmuş olan sitenin, kök dizininde bulunan ve arama motorunda yer alan tarayıcıların site içerisinde yer alan URL’lerin hangilerinin taranıp taranmayacağını ifade eden metin belgesidir. Bu dosyanın oluşturulması internet sitesinin kullanılabilir olması açısından zorunlu değildir. Ancak dosyanın oluşturulması sayesinde ilgili sitenin SEO uygulaması ile uyumu gerçekleştirilmiş olur.
Robot.txt dosyasının kullanımı 1994 yılında kabul edilen bir konudur. Google Yardım Merkezi bu dosyanın temel amacının, internet sitelerinin arama sonuçları kısmında gösterilmesine izin vermemek değil, Google robotlarının internet sitelerine yaptıkları istekleri sınırlayarak, sunucuların yüklerini azaltmaktır. Google Yardım Merkezi’nin baktığı bu perspektif doğrultusundan robot dosyalarının internet sayfalarının hızlarını arttırdığını söylemek de mümkündür.
Herhangi bir amaç ile oluşturulmuş olan bir sitenin robot dosyasına erişebilmek mümkündür. Bu görüntülemeyi gerçekleştirmek için yapılması gereken, sitenin tarayıcısında var olan alan adından sonra “/robot.txt” yazarak, komut vermektir.
Robot.txt Dosyasının Oluşturulması ve Yerleştirilmesi
Robot.txt dosyasının oluşturma ve yerleştirme işlemleri için çeşitli adımların izlenmesi gerekmektedir.
Robot.txt Kurulumu İçin Araçlar
Dosya .txt uzantısına sahip olduğu için UTF-8 kodlamasına destek veren bir düzen aracı ile çalışmak gerekmektedir. Bu araçlar: Notepad ya da TextEdit olarak seçilebilir.
Başlık ve Boyut
Google robot dosyaları için 500 KB boyut sınırı koymuştur. Bu sınır değerin aşılması durumunda Google robotları dosyayı yeterince tarayamayabilir. Bu neden ile dosya oluşturulduktan sonra boyut kontrolü yapılmalıdır. Ayrıca dosya isimlendirilirken kesinlikle büyük harf kullanılmamalıdır.
Dosyanın Yerleştirilmesi
Oluşturulan robot dosyası, internet sitesinin ana bilgisayarının kök diziminde konumlandırılmalıdır. Bu dosya üzerinde herhangi bir değişiklik yapmadan önce dosyanın orijinal formunun indirilmesi önerilmektedir.
Robot Dosyasında Yer Alması Gerekenler
- User- Agent: Bu kod botların kendilerini tanımlamak adına kullandıkları bir koddur. Bu neden ile bu kod aracılığı ile belirli botlara ulaşmak mümkündür.
- Disallow: Bu kod ile robotların internet sitesinin belirlenen çeşitli sayfalarına girişimi engellenir.
- Allow: İnternet sitesi içerisinde ki her dizinde bu komut bulunmaktadır. Ek olarak bu kodun kullanılması çok gerekli değildir. Ancak çeşitli klasörlere erişim izni verirken diğerlerine bu erişim iznini vermemek amacı ile bu kod kullanılabilir.
Bu komutlar yukarıda belirtilmiş olan sırası ile kullanılmalıdır. Bu komutların dışında, site haritası ve “crawl-delay” gibi farklı komutlar da bulunmaktadır. Ancak komutların varlığı birçok tarayıcı tarafından reddedildiği için kullanımları gerekli değildir.
Robot.txt Dosyaları Google’a Nasıl Gönderilir?
Robot.txt dosyalarının Google’a gönderimleri, mümkün değildir. Dosyanın yüklenip, test edilmesinden sonra Google tarayıcıları bu dosyaları otomatik olarak bulur ve taramaya başlar. İnternet sitesi yönetiminin bu dosyayı özel olarak Google’a göndermesi gerekmez.
Robot.txt Kod Kuralları
Robot.txt dosyası kuralları arasında en çok kullanılanları kısaca şu şekilde özetlenebilir:
- İnternet sitesinin tümüyle taranmasına izin vermeme,
- İnternet sitesi içerisinde yer alan bazı içeriklerin taranmasına izin vermeme,
- İnternet sitesine sadece bir tarayıcının erişimine izin verme,
- İnternet sitesine yalnızca bir tarayıcının erişimine izin vermeme,
- İnternet sitesinde yer alan sayfalardan sadece birinin taranmasına izin vermeme,
- Google Görseller aracılığı ile bir görseli engelleme,
- Google Görseller aracılığı ile bütün görselleri engelleme,
- Türüne göre dosyaların erişimine izin vermeme,
- Aynı dizin ile biten URL’leri eşleştirme.
