فایل Robots.txt چیه؟ + نمونه فایل بهینه برای سایت
اگه یه سایت داری یا تازه شروع به کار با وب کردی قطعاً به اسم robots.txt برخورده‌ای شاید هم هنوز دقیقاً ندونی این فایل چیه و چرا باید اهمیت بدی بهش خب نگران نباش! تو این مقاله می‌خواهیم بهت بگیم که این فایل چه کارهایی می‌کنه و چطور می‌تونی ازش به نفع سئو سایتت استفاده کنی.
فایل Robots.txt اصلا چی هست؟
خیلی ساده بخوایم بگیم robots.txt یه فایل متنی هست که توی روت (ریشه) سایت قرار می‌گیره و به موتورهای جستجو (مثل گوگل) می‌گه که کدوم بخش‌های سایت رو باید ایندکس (ثبت توی نتایج جستجو) کنن و کدوم بخش‌ها رو باید نادیده بگیرن خیلی وقت‌ها ممکنه که تو نخوای موتورهای جستجو به همه قسمت‌های سایتت دسترسی داشته باشن مثلاً صفحه‌های لاگین یا صفحات تستی رو نمی‌خوای تو نتایج جستجو بیاد پس این فایل کمکت می‌کنه تا اون‌ها رو مخفی کنی.
ساختار فایل Robots.txt
خیلی نگران نباش فایل robots.txt خیلی پیچیده نیست یه فایل ساده‌ست که فقط چند خط داره این فایل دو بخش اصلی داره:
-
User-agent: این بخش می‌گه که این دستور برای کدوم موتور جستجو هست مثلاً گوگل یا بینگ می‌تونی بگی که فقط گوگل این دستور رو اجرا کنه یا برای همه موتورهای جستجو باشه.
-
Disallow/Allow: اینجا به ربات‌ها می‌گی که کدوم قسمت از سایت رو باید ایندکس کنن و کدوم قسمت رو نه مثلاً اگه نمی‌خوای موتورهای جستجو صفحه لاگین رو ایندکس کنن می‌نویسی
Disallow: /login.
اگر فایل Robots.txt نداشته باشیم، چه ضررهایی ممکنه برای سایت پیش بیاد؟
اگر فایل robots.txt رو برای سایت خودتون قرار ندید ممکنه مشکلات جدی‌ای برای سئو و عملکرد سایت شما پیش بیاد این مشکلات به راحتی می‌تونن به کاهش رتبه سایت شما در نتایج جستجو یا حتی کند شدن سرعت سایت بیانجامند در ادامه به چند مورد از مهم‌ترین ضررها اشاره می‌کنیم:
-
ایندکس شدن صفحات غیرضروری
بدون وجود فایلrobots.txtموتورهای جستجو ممکنه به صفحاتی دسترسی پیدا کنند که اصلاً نیازی به ایندکس شدن ندارند مثلاً صفحاتی که شامل اطلاعات ورود به سایت تنظیمات ادمین یا صفحات تکراری هستن موتورهای جستجو وقت خودشون رو صرف ایندکس کردن این صفحات می‌کنن و در نتیجه تمرکزشون روی صفحات اصلی و مهم سایت شما کمتر میشه این کار می‌تونه باعث کاهش کیفیت نتایج جستجو بشه. -
کاهش سرعت ایندکس‌گذاری و افزایش بار سرور
زمانی که ربات‌های جستجو به همه صفحات سایت دسترسی داشته باشند این می‌تونه باعث مصرف زیاد منابع سرور بشه این کار می‌تونه سرعت ایندکس‌گذاری رو کاهش بده و حتی باعث به‌هم‌ریختگی در نحوه ایندکس شدن صفحات سایت بشه بدون فایلrobots.txtموتور جستجو نمی‌دونه که کدوم صفحات باید ایندکس بشن و کدوم نه و ممکنه این فرایند خیلی کند و پیچیده بشه. -
محتوای تکراری و مشکلات در سئو
یکی از مهم‌ترین آسیب‌هایی که می‌تونه پیش بیاد ایندکس شدن صفحات تکراری هست ممکنه سایت شما صفحات زیادی با محتوای مشابه داشته باشه (مثلاً صفحات با فیلترهای مختلف یا URLهای تکراری) اگر شما نتونید به موتورهای جستجو بگید که این صفحات رو نادیده بگیرن می‌تونید با مشکل محتوای تکراری روبه‌رو بشید موتورهای جستجو معمولاً این صفحات رو به عنوان محتوای مشابه می‌بینن و ممکنه نتایج جستجو رو برای سایت شما به هم بریزن. -
آسیب به ساختار سایت و تجربه کاربری
اگر موتور جستجو صفحات مهم سایت رو ایندکس نکنه ممکنه ساختار سایت شما به هم بریزه در نتیجه کاربران نتونن به راحتی به محتوای اصلی دسترسی پیدا کنن همچنین موتورهای جستجو ممکنه صفحات اشتباهی رو ایندکس کنن که این موضوع می‌تونه تجربه کاربری رو تحت تاثیر قرار بده. -
محدودیت در شناسایی صفحات مهم
با فایلrobots.txtمی‌تونید به موتورهای جستجو بگید کدوم صفحات برای شما اهمیت بیشتری دارند و باید بیشتر مورد توجه قرار بگیرند اگر این فایل وجود نداشته باشه موتورهای جستجو ممکنه نتونن به خوبی صفحات مهم رو شناسایی کنند و در نتیجه صفحات غیرضروری به جای صفحات ارزشمند به ایندکس می‌رن. -
مشکلات در کراولینگ سایت
بدون فایلrobots.txtربات‌های جستجو ممکنه به تمامی بخش‌های سایت شما دسترسی پیدا کنند و هر صفحه رو کراول کنند این اتفاق می‌تونه باعث افزایش هزینه‌های پهنای باند بشه و همچنین سرعت بارگذاری سایت رو کند کنه به‌ویژه اگر سایت شما بزرگ و دارای صفحات زیادی باشه کراولینگ غیرمحدود می‌تونه فشار زیادی به سرور وارد کنه.
مطالب بیشتر درباره ی دنیای وب بخوانید
چرا باید از Robots.txt استفاده کنیم؟
خیلی وقتا ممکنه سایت شما یه سری صفحات اضافی یا حساس داشته باشه که دوست نداری موتورهای جستجو به اون‌ها دسترسی داشته باشن برای همین استفاده از این فایل به چند دلیل مهم میشه:
-
مدیریت پهنای باند سایت: اگه سایت شما خیلی محتوای زیادی داره ربات‌های جستجو ممکنه بخوان همه صفحات رو بررسی کنن که می‌تونه باعث مصرف زیاد منابع سرور بشه با استفاده از
robots.txtمی‌تونی به موتورهای جستجو بگی که کدوم بخش‌ها رو نادیده بگیرن. -
مخفی کردن محتوای حساس: مثلاً صفحاتی مثل صفحه ورود به حساب کاربری یا تنظیمات ادمین رو نمی‌خوای که موتورهای جستجو بهش دسترسی داشته باشن این کار رو می‌تونی با
robots.txtانجام بدی. -
جلوگیری از ایندکس صفحات تکراری: مثلاً اگه تو فروشگاه آنلاین صفحه‌های زیادی با فیلترهای مختلف داری که محتوای تکراری ایجاد می‌کنه می‌تونی به موتورهای جستجو بگی که این صفحات رو نادیده بگیرن.
آیا فایل Robots.txt در آینده از رده خارج میشه؟
بعضی وقت‌ها ممکنه این سوال پیش بیاد که آیا استفاده از فایل robots.txt همیشه ادامه داره یا ممکنه در آینده روش‌های جدیدی جایگزینش بشه؟ با توجه به پیشرفت‌های تکنولوژی و ابزارهای جدیدی که برای ایندکس‌گذاری سایت‌ها معرفی میشه، شاید در آینده روش‌های پیچیده‌تر و دقیق‌تری برای مدیریت ربات‌ها داشته باشیم که نیاز به فایل robots.txt رو کم کنه. ولی در حال حاضر، این فایل یکی از مهم‌ترین ابزارها برای مدیریت دسترسی موتورهای جستجو به سایت‌هاست و به احتمال زیاد برای مدت زمان طولانی همچنان کاربرد خودش رو حفظ می‌کنه.
حالا که فهمیدیم robots.txt چیه و چرا مهمه، وقتشه که یه فایل بهینه بنویسیم. این فایل باید طوری نوشته بشه که موتورهای جستجو بتونن راحت‌تر سایت شما رو ایندکس کنن.
نمونه‌ای از یک فایل Robots.txt بهینه:
User-agent: *
Disallow: /login
Disallow: /admin
Disallow: /cart
Allow: /blog
Allow: /products
Sitemap: https://www.yoursite.com/sitemap.xml
این فایل به موتورهای جستجو می‌گه که:
- همه ربات‌ها (
User-agent: *) نمی‌تونن به صفحات/login،/adminو/cartدسترسی داشته باشن. - اما می‌تونن به صفحات
/blogو/productsدسترسی داشته باشن. - در آخر هم به ربات‌ها می‌گه که نقشه سایت شما (sitemap) رو از این آدرس پیدا کنن.
حوصله نوشتن robots.txt رو نداری؟ این ابزار به کارت میاد
اگه نمی‌خوای دستی بشینی تایپ کنی و یادت بره کدوم بخش رو باید بلاک کنی یه راه ساده‌تر هم هست ابزار ساخت robots.txt رو امتحان کن فقط کافیه چند تا تیک بزنی و خودش برات یه فایل آماده تحویل می‌ده. دیگه نیازی نیست دست به کد بشی
نتیجه‌گیری
در نهایت، فایل robots.txt یکی از ابزارهای خیلی مهم در مدیریت سایت و سئو هست که به شما کمک می‌کنه تا کنترل بهتری روی ایندکس شدن صفحات سایتتون داشته باشید این فایل به موتورهای جستجو می‌گه که کدوم بخش‌های سایت باید دیده بشه و کدوم بخش‌ها باید مخفی بمونه.
اگه سایت شما دارای محتوای زیاد صفحات تکراری یا بخش‌های حساس هست باید حتماً از این فایل استفاده کنید تا موتورهای جستجو به درستی سایت شما رو ایندکس کنن و باعث بهبود سئو بشه.