robots.txt dosyası arama motoru botları web sitesini tararken ilk baktığı yerlerden biridir. Sitenin kök dizininde ve daima robots.txt ismiyle yer alması gerekir. Aksi halde sitenize gelen botlar başka isimli bu dosyayı tanımayacaklardır. Arama motoru botları siteye geldiğinde özellikle erişime kapalı olan sayfaları belirtmek için kullanılır. Yani bir anlamda siteye gelen botların nelere erişip erişemeyeceğini belirlediğimiz dosyadır.
Robots.txt dosyası dikkatle hazırlanmalıdır aksi halde bu dosya içerisinde verilen yanlış komutlar, engeller sitenin tamamen sıralamadan yani SERP’ten kaybolmasına yada önemli olan sayfaların engellenmesine neden olabilir. Bu da her site sahibinin istemeyeceği bir durumdur. Sitenizdeki tüm sayfaların ve dosyaların botlar tarafından taranmasını istiyorsanız bu dosyayı kullanmayabilirsiniz. Fakat arama motorlarının siteyi ziyaret ettiğinde ilk bu dosyaya göz atıklarını dikkate alarak robots.txt dosyasını site haritasının konumunu belirtmek amacıyla kullanabilirsiniz. Bu yöntem size çok fazla yarar sağlayacaktır.
Nerelerde kullanılır?
- Yapım aşamasındaki web sayfalarının indexlenmesini önlemek (Tamamlanmamış sayfalar size eksi puan olarak geri dönebilir.),
- Arama motoru botları dışındaki zararlı botları engellemek,
- Site haritasının konumunu botlara bildirmek için,
- Siteye gelen botlara gerekli izinler vermek için kullanılır.
En basit Robots.txt Dosyası:
2 adet komut bulunmaktadır;
user-agent: *
disallow: /
User-agent: Kullanıcı aracıları (Arama motoru botları veya web tarayıcı yazılımlarıdır.), eğer tüm arama motorlarının sitenizi taramasını engellemek istiyorsanız user-agent: * şeklinde belirtmelisiniz. * ifadesi tüm botların karşılığıdır.
Disallow – Allow: Bu komutları kullanarak belirli bir dizinde erişime izni verebilir ya da engel, sınırlama koyabilirsiniz. Bu alanda verilen dizinler botlar içindir. Kullanıcılar dizinlere ulaşmaya devam ederler.
Örneğin özel bir dizininiz (ozel) var ve tüm botlar tarafından indexlenmesini istemiyorsunuz. Kullanmanız gereken kod satırları aşağıdaki gibidir.
user-agent: *
disallow: /ozel/
Bu sayede arama motoru botları www.siteadiniz.com/ozel/ dizinini ve bu dizinde yer alan alt sayfaları taramayacaktır. * yazan yere ilgili botun ismini yazarak o botun belirtilen dizini taramasına engel olabilirsiniz.
Not: Botlar tarafından taranması istenmeyen url’ler robots.txt dosyası ile engellenebilir fakat bu her zaman işe yaramaz. Çünkü başka siteden linki takip ederek gelen botlar bu dosyasındaki izinleri dikkate almadan ilgili linklere ulaşabilir ve indexleyebilirler. Kısacası disallow ile engelleme ilgili dosyanın dizine eklenmeyeceğine garanti veremez.
Dikkat edilmesi gereken 3 kritik nokta;
- Bu dosya sitenin en üst dizininde yani alan adının kök dizininden yer almalıdır.
- Robots.txt dosyasının aynen bu isimle adlandırılması gerekir başka bir isimle işe yaramaz, botlar tarafından okunamaz.
- UTF-8 karakter kodlamasına uygun şekilde hazırlanmalıdır.
Örneğin: www.eniyiseo.com/robots.txt adresi botlar tarafından okunabilirken, bulunabilirken www.eniyiseo.com/files/robots.txt gibi bir yol botlar tarafından bulunamaz. En çok yapılan hatalardan birisi ise sitenin adresinde https:// protokolü varken Disallow kısmında http:// olarak belirtilmesi. İki tarafta bir olmalıdır.
Hatırlatmakta fayda var; site haritası böyle değildir. Başka bir isimle veya başka bir dizinde yer alabilirler. Yeter ki Google Webmaster Tools üzerinden doğru bir şekilde bildirilsin.
www.geekiti.com aracı ile dosyanızı online şekilde oluşturup sunucunuza aktarabilirsiniz.
Arama motoru botları siteyi taramak için geldiğinde içeriklerin sağlıklı bir şekilde indexlenmesi için robots.txt dosyası test aracı ile kontrol edilmesinde fayda vardır. Bu bağlantıya tıklayarak Google Webmaster Tools üzerinden dosyasınızı kontrol edebilirsiniz. Tabi bunun için öncelikle mülkünüzün kayıtlı olması gerekiyor. Ayrıca technicalseo.com ve tools.seochat.com adresleri üzerinden dosyalarınızda ki hataları kontrol edebilirsiniz. Çok dikkat etmeniz gereken bir nokta ise; Bu dosya üzerinde yapacağınız bir karakterlik hata bile sitenin yanlış indexlenmesine veya hiç indexlenmemesine neden olabilmektedir. Olumsuz bir durumlara sebebiyet vermemek için ilgini dosyanızı yukarıda vermiş olduğumuz test araçları ile kontrol etmenizi, hatalarınız var ise düzeltmenizi öneriyoruz!
Daha detaylı bir robots.txt oluşturulması ve ilgili kodların ne anlama geldiğini öğrenmek için sonraki yazılarımızı kaçırmayın!
Paylaştığımız ipuçlarını kaçırmamak için instagram hesabımızı takip ediniz!
