Robots.txt ne işe yarar?
Arama motoru sitenize geldiğinde önce bu dosyaya bakar. Taranmasını istemediğiniz klasörleri (yönetim paneli gibi) ve site haritanızın adresini buradan öğrenir.
En sık yapılan hata
Site yapım aşamasındayken eklenen “Disallow: /” satırının yayına alınırken unutulması. Bu satır bütün siteyi taramaya kapatır. Sitenizin sonuna /robots.txt yazıp kendi dosyanızı kontrol edin.
Dosyayı nereye koymalı?
Alan adınızın kök dizinine, adı tam olarak robots.txt olacak biçimde. Araç tarayıcınızda çalışır; yazdıklarınız hiçbir yere gönderilmez.
