Robot.txt چیست ؟
فایلی است که در قسمت root هاست ( محل نصب وب سایت ) گذاشته شده که اجازه یا عدم اجازه به موتورهای جستجو برای خزش و ایندکس کردن در قسمت های مختلف سایت را میدهد .
اهمیت روبات تکستک چیست ؟
اهمیت اصلی آن در عدم نمایش قسمت هایی از سایت که اهمیتی برای کاربر ندارد و یا به هر دلیل شما نمیخواهید آن قسمت در موتورهای جستجو نمایش داده شود است .
اهمیت دیگر آن امنیت سایت است
شما با استفاده از ربات تکست دسترسی موتورهای جستجو را به قسمت های مهم سایت مانند فایل مدیریت را میتوانید قطع کنید .
کاهش مصرف منابع و پهنای باند از دیگر مزایای آن است
اگر سایت با url های زیاد ( صفحات زیاد ) دارید با استفاده از این فایل میتوانید از خزش و ایندکس کردن موتورهای جستجو و خزنده های بی اهمیت جلوگیری کنید . زیرا بسیاری از سایت ها و موتورهای جستجو به طور مداوم به سایت شما سر میزنند که باعث مصرف منابع و پهنای بند شما خواهند شد .
بسیاری از وب سایت ها برای بررسی سایت شما و جمع آوری اطلاعات به سایت شما می آیند که هیچ تاثیر مثبتی برای شما ندارد . اگر مشکل منابع یا پهنای باند دارید حتما دسترسی این موتورهای جستجو و سایت ها را به وب سایت خود محدود کنید .
نکته مهم : هیچوقت دسترسی گوگل ، بینگ و یاهو را به وب سایت خود را قطع نکنید ، بقیه موتورهای جستجو و سایت ها تقریبا بی اهمیت هستند .
بدون دیدگاه