Setting robots.txt dan Header tags di Blogger Terbaru 2018

Cara Mengaktifkan dan Setting Robots.txt Untuk SEO Friendly [2018], URL Mana yang Tidak Perlu Dirayapi oleh Google?

File robots.txt merupakan salah satu element yang sangat penting bagi sebuah website. File ini untuk memperbolehkan serta membatasi mesin pencari dalam merayapi setiap halaman di website.

Dengan mengaktfikan custom robots.txt inilah, kita akan memberitahu kepada robot mesin pencari google, bing, yandex dan lainnya, mana sajakah halaman yang boleh ditunjukan di hasil penelusuran.

Tapi perlu diketahui, file robots.txt ini sangat sensitif dan tidak boleh sembarang saat menginputnya. Agar mesin pencari bisa merayapi dan memunculkan hasil pencarian dengan sempurna, inilah SEO Friendly.

Pada platform Blogger sendiri, dalam membuat file kustom robots.txt sangatlah mudah. Tidak seribet jika kita menggunakan wordpress, yang notabene banyak direktori web yang pemilikinya tidak ingin  dirayapi google.

Direktori URL Blogger Yang Sederhana

Di blogger, seperti yang kita ketahui hanya ada beberapa direktori address/link yang ada, antara lain: /search, /p, /year/month. Dan hanya ada 2 parameter URL yaitu m=1 untuk tampilan mobile dan m=0 untuk tampilan non-mobile view.

Dari beberapa direktori address itu, juga 'dipecah' menjadi beberapa jenis. Contohnya:

 www.amp-blogger.com/search/label/AMP
 /* URL diatas merupakan URL untuk Label atau kategori */

 www.amp.blogger.com/2018/08/seo-seo-google.html
 /* URL diatas merupakan URL untuk Label atau kategori */

 www.amp.blogger.com/2018/08/seo-seo-google.html
 /* URL diatas merupakan link untuk Article*/

 www.amp.blogger.com/2018/08/
 /* URL diatas merupakan Link untuk Archive Tahun dan Bulan. Biasanya archive tahun dan bulan ini link-nya sudah 'dimatikan'  */

Dari beberapa direktori address Blogger dan contoh URL di atas, saya merekomendasikan beberapa direktori URL yang harus anda block dari mesin pencari. Hal ini untuk mencegah mesin pencari Google merayapi halaman yang membuat anda mendapatkan masalah dalam hasil penelusuran nantinya.

Karena hal tersebut dapat membuat munculnya masalah perayapan seperti duplicate title dan meta. Maka untuk itulah robot.txt pada blogger wajib anda ubah, agar lebih SEO Friendly.

Mari kita lanjutkan ke tahap Setting Robots.txt and Header Tags For Better Google Crawling.

Setting Robots.txt and Custom Robots Header Tag in Blogger [AMP and Non AMP]

Setting robots.txt 

Ada beberapa cara yang akan saya jelaskan. Pertama adalah setting robots.txt pada blogger blog. Silahkan pegi ke dashboard Blogger lalu klik Setting. Kemudian akan terbuka beberapa tab, pilih Search Preferences. 

Jika anda pertama kali setting robots.txt, maka akan ada tulisan disable. Klik untuk aktifkan Custom Robots.txt . Maka akan muncul text area, dan masukan kode untuk robots.txt di bawah ini:

 User-agent: *
 Disallow: /search
 Allow: /
 
 Sitemap: https://www.yourblog.com/sitemap.xml

Ganti mark kuning dengan alamat blog anda.

Setelah anda memasukan kode untuk robots.txt Blogger di atas, silahkan klik save.

Penjelasan:

• User-agent: *, akan mencakup keseluruhan robot googleboot Google. Diantaranya Googleboot, Mediapartner Google, googlebot-images, googleboot-Video, Googleboot-News, dan Googleboot-mobile.
• Allow:/ : artinya robots.txt membiarkan mesin pencari untuk merayapi keseluruhan URL atau Link yang ada pada direktori website. Dengan pengecualian apabila diterapkan row Disallow pada robots.txt.
• Disallow: /search, artinya semua url yang berada pada direktori /search tidak akan dirayapi mesin pencari. Untuk blogger sendiri, row Dissalow: /search sangat direkomendasikan agar tidak terjadi duplikat judul dan deskripsi di hasil penelusuran.

Setting Custom Robots Header Tags

Robots header tags bekerja hampir sama dengan robots, namun pada interface Blogger lebih mudah digunakan, karena tidak perlu memasukan kode apapun. 

Silahkan lihat gambar di atas untuk setting custom robots header tags yang sempurna.

Harap diperhatikan bahwa, kesalahan sedikitpun pada robots.txt dapat berpengaruh pada hasil penelusuran blog anda. Anda dapat memantau kinerja penelusuran di Google Search Console. 

Bagikan Artikel ini