Jumat, November 12, 2010

Pengertian Robot.txt, Spider, Bots, dan Crawler

Duh bingung juga ya mau nulis apa, tapi pengen banget posting nih sob. Daripada gak ada kerjaan mendingan  posting-posting aja deh.
Oke sob, kali ini disini kita bakalan cari tahu tentang sedikit pengertian robot.txt, spider, bots, dan crawler dari saya menurut para ahli.  Apa sih maksudnya?, keren-keren banget namanya...
Sedikit pengertian yang saya tangkep, mereka ini katanya adalah petugas-petugas pengunjung web di dunia maya dengan tugas-tugas yang berbeda. tapi tujuannya sama, yaitu mengindeks, mengambil data sebuah web, membawa dan menyimpannya di  database pusat. 
Pastinya kita sering dong ya berselancar di internet dengan mencari suatu kata kunci yang kita butuhkan di sebuah search engine seperti Google search. Lalu apa yang muncul? tentunya berjuta link akan di suguhkan pada kita semua (SERP: Search Engine Result Page) sampai-sampai kita sendiri kadang bingung di buatnya. Robot.txt, Spider, Bots, dan Crawler lah yang bertugas menyimpan data itu semua di database google.
Dan dengan adanya petugas-petugas ini, kita sebagai pemilik web / blog kata mas yuwono banyak banget file dan folder yang gak ada gunanya untuk di index oleh mereka, yaitu yang sobat anggap rahasia. Nah untuk membatasinya sobat bisa membuat sebuah file robot.txt yang bisa sobat buat melalui tools ini. Untuk mempelajarinya sobat bisa langsung belajar dengan mas yuwono di webnya http://www.dolandolan.com
Kalo saya kan orang bodoh yang bisanya cuma minum kopi dan berbagi apa kata para master aja...wkwkwkwk
Mungkin itu saja sob sebuah pengertian dari saya yang gak tau jelas gak tau nggak...gkgkgk, yaa yang jelas saran saya sih kalo mau belajar lebih jauh.....ya lari ke webnya mas yuwono tadi...hehehehe.

0 komentar:

Posting Komentar

Makasih sudah berkunjung!
Blog ini saya buat dofollow sob, jadi silahkan berkomentar!
Maaf kalo ada salah-salah kata atau ada artikel yang gak jelas..hehe. Saya mohon jangan tinggalin komentar spam ya sob :), Sobat-sobat semua adalah segalanya bagi saya untuk membangun blog ini! Dan maaf kalo komentar spam akan saya hapus / tidak akan saya tampilkan.

Daftar Isi


 

Sahabat

Pengunjung

fie-link Copyright © 2009 Template Designed by Bie Template | Edit By Fie-link