Pengertian Robot.txt, Spider, Bots, dan Crawler

Duh bingung juga ya mau nulis apa, tapi pengen banget posting nih sob. Daripada gak ada kerjaan mendingan  posting-posting aja deh.
Oke sob, kali ini disini kita bakalan cari tahu tentang sedikit pengertian robot.txt, spider, bots, dan crawler dari saya menurut para ahli.  Apa sih maksudnya?, keren-keren banget namanya...

Sedikit pengertian yang saya tangkep, mereka ini katanya adalah petugas-petugas pengunjung web di dunia maya dengan tugas-tugas yang berbeda. tapi tujuannya sama, yaitu mengindeks, mengambil data sebuah web, membawa dan menyimpannya di  database pusat. 

Pastinya kita sering dong ya berselancar di internet dengan mencari suatu kata kunci yang kita butuhkan di sebuah search engine seperti Google search. Lalu apa yang muncul? tentunya berjuta link akan di suguhkan pada kita semua (SERP: Search Engine Result Page) sampai-sampai kita sendiri kadang bingung di buatnya. Robot.txt, Spider, Bots, dan Crawler lah yang bertugas menyimpan data itu semua di database google.
Dan dengan adanya petugas-petugas ini, kita sebagai pemilik web / blog kata mas yuwono banyak banget file dan folder yang gak ada gunanya untuk di index oleh mereka, yaitu yang sobat anggap rahasia. Nah untuk membatasinya sobat bisa membuat sebuah file robot.txt yang bisa sobat buat melalui tools ini. Untuk mempelajarinya sobat bisa langsung belajar dengan mas yuwono di webnya http://www.dolandolan.com
Kalo saya kan orang bodoh yang bisanya cuma minum kopi dan berbagi apa kata para master aja...wkwkwkwk
Mungkin itu saja sob sebuah pengertian dari saya yang gak tau jelas gak tau nggak...gkgkgk, yaa yang jelas saran saya sih kalo mau belajar lebih jauh.....ya lari ke webnya mas yuwono tadi...hehehehe.