Setelah sekian lama saya tidak menulis artikel di blog ini, kini muncullah sebuah artikel tentang cara agar web Anda tidak terindeks oleh BOT. kenapa saya menulisnya? Saya melihat dari data feedjit bahwa ada yang terlink ke blog ini, dengan kata kunci kurang lebih mengenai hal di atas, padahal pembahasan itu tidak saya cantumkan dulu karena saya lebih memfokuskan agar web/blog Anda terindeks. Caranya adalah tambahkan tag meta seperti di bawah ini:
tag tersebut Anda letakkan di bawah tag <head> . Jika Anda ingin semua content dalam folder tertentu, ataupun halaman tertentu web Anda tidak terindeks, Anda dapat membuat sebuah file .txt pada bagian www.domainanda.com/robots.txt, isinya sebagai berikut:
User-agent: *
Disallow: /folder_a/
Disallow: /folder_b/
Disallow: /folder_c/folder_c1/
Disallow: /bingung.html
Tanda * di atas bermakna bahwa itu berlaku untuk semua BOT yang mampir ke web Anda. Jangan menuliskan Disallow: / saja, jika Anda memang ingin seluruh bagian web Anda tidak terindeks sama sekali. Gunakan jika ada halaman-halaman yang Anda inginkan tidak terindeks ataupun halaman yang dapat mengancam keselamatan web Anda.
<META NAME="robots" CONTENT="noindex, nofollow">
tag tersebut Anda letakkan di bawah tag <head> . Jika Anda ingin semua content dalam folder tertentu, ataupun halaman tertentu web Anda tidak terindeks, Anda dapat membuat sebuah file .txt pada bagian www.domainanda.com/robots.txt, isinya sebagai berikut:
User-agent: *
Disallow: /folder_a/
Disallow: /folder_b/
Disallow: /folder_c/folder_c1/
Disallow: /bingung.html
Tanda * di atas bermakna bahwa itu berlaku untuk semua BOT yang mampir ke web Anda. Jangan menuliskan Disallow: / saja, jika Anda memang ingin seluruh bagian web Anda tidak terindeks sama sekali. Gunakan jika ada halaman-halaman yang Anda inginkan tidak terindeks ataupun halaman yang dapat mengancam keselamatan web Anda.
Posts
0 comments:
Post a Comment