Cara Setting Robots.txt Blog SEO Friendly

Cara Setting Robots.txt Blog SEO Friendly. Hallo sobat blogger, jika kemarin saya update artikel tentang "Cara Setting Tag Tajuk Robot Khusus" jika sobat sudah membaca artikel tersebut, saya harap sobat bisa tahu tentang pentingnya optimasi robot pencari pada peringkat blog yang kita kelola, jika belum, sobat juga boleh membacanya. 

Cara Setting Robots.txt Blog SEO Friendly


Untuk kali ini saya akan membahas tentang bagaimana cara setting atau custome Robots.txt yang pasti sobat tau settingan ini ada di blogger, dengan adanya pengaturan ini, maka sobat bisa menyesuaikan file ini sesuai dengan pilihan sobat. Dalam tutorial kali ini saya membahas istilah ini dalam mengetahui apa saja penggunaan dan manfaat Robots.txt blogger tersebut.

Apa Itu Robots.txt?

Robots.txt adalah sebuah file teks yang berisi beberapa baris kode dengan sesuai kegunaannya, hal ini di setting di situs kita atau server blog yang menginstruksikan web crawler untuk mengindeks dan merayapi blog kita dalam hasil pencarian. Itu berati sobat dapat membatasi setiap halaman label blog sobat, sehingga apakah ini harus di indeks atau tidak dihalaman pencarian atau search engine, seperti halaman yang tidak penting, bisa halaman arsip atau label, maka dari itu perlu kita ketahui sobat blogger, sebelum bot crawler merayapi situs kita, bot crawler terlebih dahulu merayapi file robots.txt 

Baca Juga : Cara Cek Dan Memperbaiki Broken Link di Blog

Setiap blog atau situs pasti mempunyai file robots.txt default dan terlihat seperti dibawah ini dan untuk mengetahui robots.txt tersebut, sobat dapat mengeceknya dengan cara menambahakan Robots.txt dibelakang domain blog sobat, contoh : http://oktavialie.blogspot.com/robots.txt 
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://oktavialie.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan di setiap kode dan Fungsi Kode Robot.txt

1. User-agent: Mediapartners-Google : Kode ini adalah untuk bot adsense untuk membantu melayani layanan iklan di blog kita, maka jika sobat menggunakan adsense, silahkan pakai.

2. User-agent: * : Kode ini berfungsi untuk semua robot yang ditandai ( * ) dalam pengaturan default blog kita, link label dibatasi untuk di indeks oleh crawler search engine, dengan itu berarti web crawler tidak akan mengindeks halaman label di situs kita dengan menggunakan kode tersebut seperti kode dibawah ini 
Disallow: /search
Itu berarti link tersebut memiliki kata kunci pencarian untuk setelah nama domain maka akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.
http://oktavialie.blogspot.com/search/label/SEO
Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman web kita.
Larang khusus Halaman

Jika kita perlu untuk melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang terlihat seperti dibawah ini:

Disallow: /p/page-url.html
3. Sitemap: http://oktaseo.blogspot.com/feeds/posts/default?orderby=UPDATED
Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link tersebut di sitemap di sini kita hanya mengoptimalkan tingkat merayapi blog kita. Berarti setiap kali web crawler memindai file robots.txt kita,  maka bot akan menemukan jalan untuk sitemap situs kita di mana semua link dari postingan kita dipublikasikan. 

Maka web crawler akan sangat mudah untuk merayapi semua postingan kita. Oleh karena itu, ada kemungkinan baik bahwa web crawler merayapi semua posting blog kita tanpa mengabaikan satu pun. 

Cara Menambahkan atau Setting Robots.txt Blog

1. Buka Akun blog blogger Sobat.
2. Arahkan ke Settings >> Preferensi Penelusuran>> Perayap dan pengindeksan >> robots.txt >> 

3. Sunting >> Ya
4. Sekarang paste kode file robots.txt sobat di dalam kotak.
Klik tombol Save Changes.


Cara Setting Robots.txt Blog SEO Friendly

Oke sobat blogger, saya cukupkan dulu untuk tutorial "Cara Setting Robots.txt Blog SEO Friendly" mudah-mudahan sobat bisa memahaminya dengan baik, lebih dan kurangnya saya mohon maaf.



EmoticonEmoticon