Robots.txt web sitesi kullananlar için oldukça önemlidir. Web sitesinin arama motorlarında istenen her sayfayı indekslemeye yardımcı olur. Hem klasör, hem de robots dosyasına yazılması gereken komutları, gereken erişimleri sağlayarak, indeksleme işlemi yapabilirsiniz. Bazı sayfa ve dosyalar ise indekslenmek istenmez. Bunun için de yapılması gereken tek şey, dosyaları engellemektir.
Robot.txt Ne İşe Yarar?
Robots. txt aracının ne işe yaradığı da oldukça merak edilen konular arasındadır. Bu aracın kullanım amacı, Google’ da arama yaparken, erişimin sağlanmasının istendiği bağlantılara olan erişimin, engellenip, engellenmediğini göstermekle görevlidir. İnternet kullanıcıları için önemli bir araçtır. Özellikle Google’ de yer alan botların, erişiminin engelli olup olmadığını test eder. Herhangi bir sayfanın URL’ sini yazarak, kolay bir şekilde öğrenmek mümkündür.
Robots.txt kullanımı için URL göndermek yeterli olacaktır. Bu aracın çalışma sistemi, Google bot ile benzerdir. Bağlantının engelli olup olmadığını, kolayca gösterir. Bu adres bu konuyu aydınlatmak için vardır. Eğer robots dosyası doğru bir yöntemle test edilmez ve kullanımı aksatılırsa, kendi web sitenize erişim sağlayan diğer sayfaları engellenme riski olabilir. Bu da sayfanın ziyaret edilmesinin önüne geçebilir.
Robot.txt Nasıl Test Edilir?
Robot.txt test etmenin çeşitli yöntem ve adımları bulunur. Bun adımları takip ederek, istediğiniz bilgiye kısa sürede erişebilirsiniz.
- Web sitesi için test aracı aktif hale getirilir. Daha sonra robot.txt kodunda bir hata varsa tespit edilir. Özellikle söz dizimin de ve mantıkta hata varsa bulunur. Bulunan hatalar ne kadarsa sayfanın altında görünecektir.
- Sayfada alt kısımda bulunan bir metin kutusu vardır. Bu kutuya kendi sitenizde yer alan bir sayfanın, URL bağlantısı yazılmalıdır.
- Hangi aracı kullanacaksanız, metin kutusunda bulunan listeden seçilmelidir.
- En son teste ulaşmak için, test tuşuna basılmalıdır.
Bu basamaklar takip edildikten sonra, girilen bağlantının, kullanıcılar tarafından erişime açık ya da kapalı olduğunu görebilirsiniz. Yine en son test düğmesi kontrol edilir ve kabul edildiği ya da erişimin kapalı olduğu kontrol edilmelidir. Sayfada düzenleme yapılması gerekiyorsa, düzenleyip tekrar test edebilirsiniz. Yapılan değişiklikler, mutlaka kaydedilmelidir. Yoksa yapılan işlemler bir farklılık yaratmaz.
Sayfa değişiklikleri siteyi etkilemez, yani kaydetme durumu olmaz. Daha sonra da başka işlemlerle devam edilebilir. Dikkat edilmesi gereken bir diğer önemli konu da sayfa için yapılan bütün değişikliklerin robots.txt dosyasına kopyalanmasıdır. Bu araç sitede değişikliğe sebep olmaz, test yapmak için sadece kopyalanmış sayfayı kullanır.
Robot. Txt Dosyası ve Komutları Nasıl Anlaşılır?
Robot.txt dosyası hazırlanırken, belirli kurallara uyulması gerekir. Bu standartlara uyulmazsa, test etme işlemi gerçekleşmez. Sitenin dizinine yüklenmesi gereken bir araçtır. Robot.txt dosyası hazırlanırken, özellikle dikkat edilmesi gereken, üç husus bulunur. Bunlar; robot.txt dosyasının kök dizinin de yer alması, dosyanın UTF 8 koduna uygun olarak hazırlanması, hazırlanan dosyanın, sitedeki URL bağlantısı ile aynı olmasıdır. Kök dizini dışında farklı dosyalarda yer alan robot.txt’ ler faydalı olmaz.
Web sitesi kurmak isteyen ya da bir web sitesi olanlar, tasarımları değiştirmek isteyebilir. Bunun için mutlaka robot.txt dosyasına ihtiyaç duyulur. Eğer sitenizde bu dosya yer almıyor ve kullanamıyor iseniz, mutlaka oluşturmanız tavsiye edilir. SEO durumu için önemlidir. Sitelerde robot.txt olup olmadığı kontrol edilir. Yoksa site açısından dezavantajlı bir durumdur. Mümkün olduğunca robot.txt dosyası hızlı bir şekilde oluşturulmalı ve avantajlarından yararlanmak gereklidir. Site kurulumu yapılırken oluşturulması, sizin açınızdan daha iyi bir sonuç oluşturur.
