WordPress Robots.Txt Dosyası Oluşturma
Web Sitesi kurduğunuz zaman ilk yapmanız gereken işlerden biriside Sitenize ait bir Robots.txt dosyası oluşturmak olacaktır. Bu sayede arama motorları tarafından daha hızlı index alabilirsiniz ve istemedğiniz linklerinde indexlenmesini engelleyebilirsiniz.
Robots.txt Nedir ? Robots dosyası Ana dizinde bulunan normal metin dosyası formatında bir dosyadır. İçine eklediğiniz kodlar sayesinde Arama motorlarından gelen botları yönlendirmiş oluyorsunuz. eğer yanlış kullanım olursa sitenizi arama motorlarından engelleyebilirsiniz. O yüzden siteniz için en doğru olan dosyayı oluşturmanız lazım. Şimdi sizlere kendi sitemde kullandığım Kodları vereceğim.
Not Kodu kopyaladıktan Sonra En üstteki adresi değiştirmeyi unutmayın.
sitemap: http://www.musakinik.com.tr/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
