Trik Memaksimalkan Perayapan Robot Blogspot

Oleh Blogger Pemula 09 Jun, 2016

Pada dasarnya robots.txt khusus di blogger memang tidak perlu di ubah ubah dengan tujuan agar search engine dapat merayapi blog kita dengan mudah. Namun bagaimana dampaknya jika anda salah setting robot blog anda? salah satunya adalah search engine akan mengabaikan konten yang pernah anda buat di blog anda. ngeri juga bukan kalau anda secara tidak sengaja merubah setingan default dari robotnya.

Tugas robot di blog adalah memberi arahan dan larangan terhadap google-bot (robot milik google) untuk memfilter apa saja yang boleh di indek/dirayapi. Pengalaman saya pernah salah edit settingan robot, dampak salah satunya, biasanya pageview dalam 1 hari bisa mencapai kurang lebih 2K namun setelah saya rubah hanya sekitar 1K sampai 1.2K. semoga pengalaman saya tidak menimpa blogger lain nya.

Karena saya pernah membaca banyak sumber di blogger lain tentang kinerja robot blog di tambah dengan beberapa pengalaman kesalahan yang pernah saya lakukan, maka sedikit banyak saya mengetahui cara memaksimalkan kinerja Robot blogger.

Trik Memaksimalkan Perayapan Robot Blogspot

Sebelum kita cari tau cara memaksimalkan kinerja robot blog, alangkah baiknya Check Robot milik anda terlebih dahulu dengan menambahkan robots.txt di halaman url blog anda. sebagai contoh

http://www.kalautau.com/robots.txt

Bentuk default dari robot yang belum di rubah adalah seperti di bawah ini,

User-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search
Allow: / Sitemap: http://www.kalautau.com/sitemap.xml

Maksud Konfigurasi di atas adalah

Mediapartners-Google = Blog anda merupakan partner dari google Disallow: = memperbolehkan robot menelusuri semua yang ada di blog. User-agent: * = Semua robot mesin pencari Allow: / = memperbolehkan perayapan semua yang ada diblog anda. Disallow: /search = tidak memperbolehkan perayapan search artinya melarang untuk merayapi tautan.../search seperti search/label, search/search?updated dan lain lain Sitemap: http://www.kalautau.com/sitemap.xml Perayapan peta situs blog.

Arti memaksimalkan perayapan robot

adalah Membantu mempercepat perayapan dengan membatasi apa saja yang di ijinkan untuk di telusuri serta membatasi beberapa hal agar robot tidak mengindex.

sebagai contoh kasus

disaat blog anda memiliki 100 tautan dalam 1 halaman, biasanya robot akan mengabaikan beberapa perayapan tautan anda, dari 100 tautan mungkin hanya 20% tautan saja yang berhasil di rayapi robot selebihnya di abaikan.

nah untuk mempercepat perayapan robot, saya hanya membatasi/memfilter beberapa tautan agar tautan yang di rekam robot lebih maksimal dan sesuai dengan keinginan saya untuk di indek.

Baca Juga

Dalam hal ini saya hanya ingin robot merayapi, gambar, tautan dan konten blog dengan melarang robot merayapi halaman/page blog saya.

User-agent: Mediapartners-Google
Disallow:
Disallow: /search
Disallow: /p/video.html
Disallow: /p/template.html
Disallow: /p/daftar-isi.html
User-agent: Googlebot
Disallow: /search
Disallow: /p/video.html
Disallow: /p/template.html
Disallow: /p/daftar-isi.html
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
User-agent: Adsbot-Google
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
User-agent: *
Disallow: /search
Disallow: /?m=0
Disallow: /?m=1
Allow: /
Sitemap: http://www.kalautau.com/sitemap.xml

Maksud dari setingan robot di atas.

Mediapartners-Google = Blog merupakan Partner dari google Disallow: = memperbolehkan robot menelusuri semua yang ada di blog. ------------------------------------ Disallow: /search Disallow: /p/video.html Disallow: /p/template.html Disallow: /p/daftar-isi.html = Tidak memperbolehkan robot menelusuri halaman yang saya miliki. ------------------------------------- Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.gif = Memperbolehkan robot menelusuri Gambar yang ada di blog saya. ------------------------------------- User-agent: Adsbot-Google = Bertugas untuk melakukan cek pada nilai rank halaman atau halaman landas kita yang biasa disebut sebagai pagerank. dan perayap ini juga mengatur laman teratas blog atau website kita. ------------------------------------- User-agent: * = Memperbolehkan Semua robot mesin pencari Allow: / = Memperbolehkan perayapan semua yang ada diblog anda. Disallow: /search = Tidak memperbolehkan perayapan search artinya melarang untuk merayapi tautan.../search seperti search/label, search/search?updated dan lain lain Sitemap: http://www.kalautau.com/sitemap.xml Perayapan peta situs blog.