Robots.txt

Robots.txt একটি ছোট ফাইল যেটি ওয়েবসাইটের রুট ডিরেক্টরিতে থাকে। এর কাজ হলো সার্চ ইঞ্জিনের রোবটদের নির্দেশ দেওয়া কোন পেজ ইনডেক্স করতে পারবে, কোনটা না।

এই ফাইল দিয়ে আপনি বলতে পারেন, "এই পেজটা গুগলে দেখিও না।" যেমন অ্যাডমিন প্যানেল বা প্রাইভেট ডেটা যেগুলো গুগলে না দেখানো ভালো। Robots.txt লেখার নিয়ম অনেক সহজ। শুধু "Disallow" কমান্ড দিয়ে বলে দিতে পারেন কোন ফোল্ডার বা ফাইল বন্ধ থাকবে।

তবে ভুল করে যদি গুরুত্বপূর্ণ পেজ ব্লক করে দেন, তাহলে পুরো ওয়েবসাইটই গুগলে দেখাবে না। তাই Robots.txt ব্যবহারে সাবধান থাকা দরকার।