Robots.txt merupakan suatu file teks yang dengan cara de-facto dijadikan sebagai rujukan awal oleh acara penelusur milik mesin pencari (search engine) atau layanan internet sejenis. Program penelusur yang lazim disebut sebagai web robot, web crawler, atau web spider, akan mengecek apakah suatu website mempunyai file robots.txt serta kemudian mengecek aba-aba yang diberikan di dalamnya. Para robot mesin pencari ini kemudian akan mengindeks halaman web berdasarkan isntruksi yang ada di file robots.txt.
Dengan membikin file robots.txt serta menempatkannya di website Anda, jadi proses indeks mampu lebih manjur serta terkontrol. Sebagai contoh, apabila Anda tak ingin halaman-halaman tertentu diindeks serta kemudian ditampilkan di mesin pencari, jadi Anda mampu melarangnya melewati file robots.txt. Penerapannya mampu untuk melarang indeks ke lokasi halaman yang telah dihapus, melarang lokasi yang rawan dianggap duplikasi konten dengan cara SEO (misalnya tag atau kategori), serta sebagainya. Anda juga mampu memblokir robot dari website tertentu yang tak terperinci fungsinya tetapi menghabiskan bandwidth hosting Anda.
Ada dua bagian perintah mutlak yang lazim dipakai di file robots.txt, yaitu :
- User-agent: untuk menetapkan pengaturan pada robot yang tercantum di bagian ini. Jika pengaturan diberlakukan untuk semua robot, jadi gunakan simbol bintang *.
- Disallow: untuk menetapkan halaman mana yang tak boleh diindeks oleh robot yang disebutkan di bagian User-agent. Perintah pelarangan diawali dengan simbol garis miring /.
- Berikut ini berbagai contoh penulisan perintah di dalam file robots.txt:
Untuk mempersilakan semua acara robot untuk mengindeks website Anda, jadi lumayan tuliskan baris berikut:
User-agent: *Disallow:
Penjelasan: semua robot tak ada yang dilarang atau leluasa mengindeks. Perintah ini paling lazim dipakai para pemilik situs. Sebaliknya, apabila ingin melarang robot manapun untuk mengindeks website Anda, jadi tuliskan baris berikut:
User-agent: *Disallow: /
Penjelasan: semua robot dilarang mengindeks (misalnya dipakai di website underground). Untuk melarang para robot mengakses halaman tertentu, tuliskan baris berikut:
User-agent: *Disallow: /login.htmlDisallow: /cadangan/Disallow: /member/info.php
Penjelasan: robot tak boleh mengindeks file login.html, folder cadangan, serta halaman info.php di folder member. Untuk melarang suatu acara robot tertentu tetapi mengijinkan robot-robot lainnya, tuliskan baris berikut:
User-agent: NamaRobotDisallow: /
Penjelasan: robot bernama NamaRobot tak boleh mengindeks, yang lain boleh (baca catatan di bagian akhir untuk mengetahui nama robot). Untuk mengijinkan suatu robot tertentu serta melarang robot-robot lainnya, tuliskan baris berikut:
User-agent: GoogleDisallow:User-agent: *Disallow: /
Penjelasan: robot Google boleh mangeindeks, yang lainnya tidak boleh.
Mungkin itulah sedikit penjelasan mengenai Cara Mudah Buat File ROBOTS.TXT Untuk Optimasi SEO semoga saja dapat membantu dan bermanfaat bagi pembaca. salam sekses brother
Mungkin itulah sedikit penjelasan mengenai Cara Mudah Buat File ROBOTS.TXT Untuk Optimasi SEO semoga saja dapat membantu dan bermanfaat bagi pembaca. salam sekses brother