Cara Setting Robot.txt Blog - Mengatasi Masalah Blocked by Robots - Blogger Bandung

Cara Setting Robot.txt Blog - Mengatasi Masalah Blocked by Robots

Robot.txt adalah standar pengecualian robot.

Robot.txt juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt.

Robot.txt adalah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web.

Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Facebook dan Twitter. (Wikipedia).

Di blog (Blogger/Blogspot), robot.txt ada di dashboard bloggger bagian bawah Setting paling akhir. Anda bisa membiarkannya (disable), bisa juga melakukan setting dengan edit / enable dengan cara di bawah ini.

Cara Setting Robot.txt Blog

1. Setting > Search Preferences > Crawlers and indexing > Edit
2. Custom robot.txt? Klik "Edit"

Copas kode robot.txt berikut ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bloggerbandungnih.blogspot.com/sitemap.xml

Ganti alamat blognya dengan milik Anda.

ARTI KODE:

• User-agent: Mediapartners-Google (menandakan bahwa blog ini adalah partner dari Google)
• Disallow: Yang tidak diperbolehkan tidak ada alias harus ada.
• User-agent: *  Semua robot Search Engine/mesin pencari
• Disallow: /search  Tidak diperbolehkan merayapi folder search
• Allow: / Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda /  kurang lebih artinya nama blog
• Sitemap:http://bloggerbandungnih.blogspot.com/sitemap.xml sitemap blog.

3. Custom robots header tags? Klik Edit

Lakukan Setting sebagai berikut:

• Homepage/Beranda:  Centang > all
• Archieve and Search pages/Laman Arsip dan Penelusiran:  Centang > noindex, nofollow, noarchieve
• Default for Posts and Pages/Default untuk Post dalm Laman :  Centang > all

Demikian Cara Setting Robot.txt Blog - Mengatasi Masalah Blocked by Robots.*