فایل Robots . txt و دستگاه لیزر هر چیزی که نیاز است در باب آن بدانیم

همانطور که می دانید دستگاه لیزر فولدر Robots . txt به خزندگان ( یا به عبارتی کراولرهای ) موتورهای کاوش و بقیه کراولرها می گوید کدام صفحه از وبسایت برای اسکن کردن گشوده است و کدام صفحه را نمی‌توانند چک نمایند . این پوشه امروزه به وسیله اضافه سایت ها آیتم به کارگیری قرار می‌گیرد و اکثر کراولرهای اینترنت به آن احترام دستگاه لیزر می گذارند . این پروتکل اغلب بر روی سایت هایی استفاده میگردد که در حال توسعه میباشند یا بر روی صفحاتی مورد استفاده قرار میگیرد که دوست ندارند دراختیار عموم باشند . در مراحل با صرفه سازی وب سایت برای موتورهای کاوش یا این که به عبارتی دستگاه لیزر , فولدر Robots . txt دستگاه لیزر نقش مهمی در بهینه سازی خزش و ایندکس موتورهای کاوش بازی می نماید &# ایران روتک . txt

پروتکل Robots . txt در اصل توسط یکی‌از پیشگامان فضای اینترنت و تولید کننده Allweb یعنی Martijn Koster توصیه شد . وی در اوایل سال 1994 این سفارش را بخشید که در‌این روزگار برای شرکت Nexor عمل میکرد . مولف انگلیسی به اسم Charlie Stross داعیه می کند این توصیه را زمانی که او خزنده بدخواهی را ساخت که باعث پیدایش مشکلاتی بر روی سرورها شد به Koster داد . به لطف آسانی و موءثر بودن این پروتکل , بیشتر سایت ها و موتورهای جستجوی اولیه هم خود را با این فایل سازگار کردند . تاکنون , موتورهای جستجویی همچون گوگل , بینگ , یاهو و سایر موتورهای کاوش به‌این پروتکل احترام می گذارند و خود را از صفحاتی که بوسیله کاربر محدود شده است دور نگه می‌دارند .


برای روند سئوی سایت هم فولدر robots . txt به بخش یکپارچه فرایند بهینه سازی تبدیل شده‌است . زیرا جامعه آگاهی بیشتری درباره ی مفاهیمی همچون جریان تساوی لینک و میزان دارایی خزش به دست آورده اند . امروزه سئوکاران کارشناس و زبده بر روی این پروتکل تکیه می کنند تا بتوانند ربات ها را از خرش صفحه ها پویا , صفحه ها مختص ادمین , صفحه های پرداخت و بقیه سندها مشابه باز دارند . با اینحال همگی خزندگان از این استاندارد پیروی نمی‌کنند . ربات های اسپم , کپی کنندگان محتوا , نرم افزاری های هک و بدخواه همه دستورالعمل های دستگاه لیزر جان دار درین فایل را نادیده می گیرند .

در بعضا از موردها , خزندگان بدخواه حتی خزش این صفحه ها را در حق تقدم کاری خود قرار میدهند . تارنما های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده می گیرند و آن را تحت عنوان یک پروتکل منسوخ میشناسند که بیش تر برای موتورهای کاوش ایجاد شده است . مجموعه های آرشیوی معمولا ادعا می نمایند اطلاعاتی را ذخیره میسازند که تکامل اینترنت و بقیه بنیانگذاران دستگاه لیزر را مانیتور می نماید .

Leave a Reply

Your email address will not be published. Required fields are marked *