Crawler বা Bot হলো একটি স্বয়ংক্রিয় সফটওয়্যার প্রোগ্রাম, যা ইন্টারনেটে ঘুরে ঘুরে ওয়েবসাইটের তথ্য সংগ্রহ করে। সহজভাবে বললে, এটি এমন এক ধরনের রোবট সফটওয়্যার, যেটা মানুষের মতো ওয়েবসাইট পড়ে, লিঙ্ক ফলো করে এবং সেই তথ্য সার্চ ইঞ্জিনে জমা রাখে।
একটা বাস্তব উদাহরণ দিই। ধরুন আপনি গুগলে লিখলেন "বাংলাদেশে সেরা ল্যাপটপ ব্র্যান্ড"। আপনি কি জানেন গুগল কীভাবে এত তাড়াতাড়ি হাজারো ওয়েবসাইট থেকে সঠিক তথ্য খুঁজে এনে দেয়? এখানেই কাজ করে এই Crawler বা Bot। এটি সারাক্ষণ ইন্টারনেটে ঘুরে বেড়ায়, ওয়েবসাইট স্ক্যান করে, কোন পেইজে কী লেখা আছে সেটা বিশ্লেষণ করে এবং সার্চ ইঞ্জিনে জমা রাখে।
এই বটগুলো খুবই দরকারি, কারণ এগুলোর মাধ্যমেই গুগল বা অন্য সার্চ ইঞ্জিন বোঝে কোন ওয়েবসাইটে কী ধরনের তথ্য আছে। আপনি যদি একটা নতুন ওয়েবসাইট বানান, তাহলে গুগলের বট এসে সেটা ঘুরে দেখে, এরপর আপনার পেইজগুলো সার্চ রেজাল্টে দেখাতে শুরু করে। তবে বট বা ক্রলার সব সময় ভালোই হয় না। কিছু খারাপ বটও থাকে, যারা আপনার ওয়েবসাইট থেকে তথ্য চুরি করে, স্প্যাম করে বা সার্ভারে চাপ ফেলে।