Menggunakan Custom robots.txt for blogger

robots.txt merupakan sekumpulan kode berbentuk text yang berfungsi sebagai pengatur intruksi pada bot search engine. Hal itu bisa digunakan untuk berinteraksi dengan website atau blog yang anda kelola. Secara pengertian, anda bisa menyebutnya sebagai rangkaian file berbentuk text yang berisi intruksi untuk mem bot saat membuat website yang anda kelola dalam mesin pencarian.

User-agent: Mediapartners-Google
Kode ini untuk robot Google Adsense yang membantu mereka menampilkan iklan yang lebih baik di blog . Entah kamu menggunakan Google Adsense di blog atau tidak. biarkan begitu saja.

Disallow:
Yang tidak di bolehkan tidak ada.

Disallow: /search
Ini berarti tautan yang memiliki pencarian kata kunci tepat setelah nama domain akan diabaikan. Lihat contoh di bawah ini yang merupakan tautan halaman label bernama SEO.

https://pakgalingging.blogspot.com/search/label/SEO

Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua konten dan halaman webnya.

User-agent: *
Ini untuk semua robots yang ditandai dengan tanda bintang (*). Dalam pengaturan standar, tautan label blog kami dibatasi untuk diindeks oleh crawler pencarian yang berarti crawler web tidak akan mengindeks tautan halaman label.

Allow: /
Yang di ijinkan unutk di rayapi oleh robots.txt tanda / adalah blog kamu.

Sitemap:
Kode ini mengacu pada peta situs blog kita. Dengan menambahkan tautan sitemap di sini kami hanya mengoptimalkan tingkat perayapan blog kami.

Berarti kapan pun perayap web memindai file robots.txt kami, mereka akan menemukan jalur ke sitemap kami tempat semua tautan pos yang kami terbitkan hadir. Perayap web akan mudah merayapi semua postingan.

Karenanya, ada peluang yang lebih baik bahwa perayap web merayapi semua posting blog kami tanpa mengabaikan satu pun.

Sekarang bagian utama dari tutorial ini adalah bagaimana cara menambahkan custom robots.txt di blogger. Jadi di bawah ini adalah langkah untuk menambahkannya.

1. Login ke blogger kamu.

2. Pilih ke Pengaturan >> Preferensi Penelusuran ›› Perayap dan pengindeksan ›› Robots.txt khusus ›› Edit ›› Ya

3. Sekarang tempel kode file robots.txt di dalam kotak.

4. Klik tombol Simpan Perubahan.

5. Kamu selesai!

Costume robots.txt Blogger yang Aman dan SEO Friendly
Untuk cara pemasangan sama saja dengan di atas.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://pakgalingging.blogspot.com/sitemap.xml

Ganti sitemap dengan alamat blog kamu, robots.txt di atas memberikan perintah untuk tidak mengindek halaman about dan contact.

Cara Memeriksa File Robots.txt

Kamu dapat memeriksa file ini di blog dengan menambahkan /robots.txt di akhir URL blog kamu di browser web. Sebagai contoh: 

https://pakgalingging.blogspot.com/robots.txt

Setelah kamu mengunjungi URL file robots.txt  akan melihat seluruh kode yang  gunakan dalam file robots.txt kustom.

Pastikan anda mendapatkan tampilan seperti berikut.