Cara Setting Robot.txt dan Tag Tajuk Robot di Blog - Mungkin anda bertanya-tanya Apa itu robots.txt? Robots.txt adalah filter Blog kita dari mesin pencari. Dengan anda menggunakan robots.txt semua artikel anda dengan mudah akan terindex oleh Search Engine, sehinggan bukan tidak mungkin pengunjung Blog anda akan meningkat. Apakah setiap blog mempunyai robots.txt? Ya, semua blog sudah mempunyai robots.txt yang diberikan oleh blogger.
Selain Robot.txt ada juga Tag Tajuk Robot yang bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.
Berikut adalah Langkah-langkah Setting Robot.txt:
1. Silahkan Login ke Blogger.
2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.
3. Pada Robots.txt klik Edit kemudian klik Ya, kemudian masukan kode robots.txt yang ada dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED
Catatan: Ganti kode yang berwarna Merah dengan Alamat Blog anda.
Contohnya seperti ini:
4. Kemudian Simpan.
Apa Fungsi dari kode-kode di atas?
User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.
Selain Robot.txt ada juga Tag Tajuk Robot yang bertujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog.
Berikut adalah Langkah-langkah Setting Robot.txt:
1. Silahkan Login ke Blogger.
2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.
3. Pada Robots.txt klik Edit kemudian klik Ya, kemudian masukan kode robots.txt yang ada dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /
Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED
Catatan: Ganti kode yang berwarna Merah dengan Alamat Blog anda.
Contohnya seperti ini:
4. Kemudian Simpan.
Apa Fungsi dari kode-kode di atas?
User-agent: Mediapartners-Google
Robot Google Adsense merayapi blog
Disallow:
Yang tidak diperbolehkan tidak ada
User-agent: *
Semua robot Search Engine / mesin pencari
Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://ALAMAT_BLOG.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap atau alamat feed blog kita.
Berikut adalah Langkah-langkah Setting Tag Tajuk Robot :
1. Silahkan Login ke Blogger.
2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.
3. Pada Tag Tajuk Robot klik Edit kemudian klik Ya, kemudian centang seperti gambar dibawah ini:
4. Kemudian Simpan.
Apa Fungsi masing-masing Tag Pada Tag Header Robots Khusus:
Direktif
Penjelasan
all
Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
noindex
Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
nofollow
Jangan ikuti link di halaman ini.
none
Sama dengan tag noindex, nofollow
noarchive
Tidak menunjukkan "Cached" link dalam hasil pencarian.
nosnippet
Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
noodp
Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
notranslate
Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
noimageindex
Jangan indeks gambar di halaman ini.
unavailable_after: [RFC-850 date/time]
Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam
RFC 850 format.
CATATAN PENTING:
Agar berhati-hati untuk menggunakan Mensetting Robot.txt dan Tag Tajuk Robot ini, karena jika salah akan mengakibatkan Blog anda yang diabaikan oleh mesin pencari.
1. Silahkan Login ke Blogger.
2. Lalu Klik Setelan > Preferensi Penelusuran / Search Preferences.
3. Pada Tag Tajuk Robot klik Edit kemudian klik Ya, kemudian centang seperti gambar dibawah ini:
4. Kemudian Simpan.
Apa Fungsi masing-masing Tag Pada Tag Header Robots Khusus:
Direktif
Penjelasan
all
Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
noindex
Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
nofollow
Jangan ikuti link di halaman ini.
none
Sama dengan tag noindex, nofollow
noarchive
Tidak menunjukkan "Cached" link dalam hasil pencarian.
nosnippet
Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
noodp
Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
notranslate
Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
noimageindex
Jangan indeks gambar di halaman ini.
unavailable_after: [RFC-850 date/time]
Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam
RFC 850 format.
CATATAN PENTING:
Agar berhati-hati untuk menggunakan Mensetting Robot.txt dan Tag Tajuk Robot ini, karena jika salah akan mengakibatkan Blog anda yang diabaikan oleh mesin pencari.
Terimakasih Atas kunjungan teman bloger semuanya mohon tinggalkan jejak biar kita bisa saling berkunjung.dan tidak lupa bagi teman -teman mohon saran dan bimbingannya,agar kita bisa saling berbagi dan maju bersama.terimakasih
COMENT ConversionConversion EmoticonEmoticon