فایل Robots . txt و دستگاه لیزر هر چیزی که نیاز است راجع به آن بدانیم

همانطور که میدانید دستگاه لیزر فولدر Robots . txt به خزندگان ( یا به عبارتی کراولرهای ) موتورهای جستجو و سایر کراولرها اعلام می کند کدام برگه از وبسایت برای نسخه برداری کردن گشوده است و کدام برگه را نمی‌توانند چک کنند . این پوشه امروزه به وسیله اضافه وب سایت ها مسئله سود قرار می‌گیرد و بیشتر کراولرهای وب به آن احترام دستگاه لیزر می‌گذارند . این پروتکل اکثر وقت ها بر روی وب سایت هایی استفاده میگردد که در حال پیش رفت می باشند یا بر روی صفحاتی آیتم به کار گیری قرار میگیرد که دوست ندارند دراختیار عموم باشند . در فرآیند بهینه سازی وب سایت برای موتورهای جستجو یا این که به عبارتی دستگاه لیزر , فایل Robots . txt دستگاه لیزر نقش مهمی در با صرفه سازی خزش و ایندکس موتورهای کاوش بازی می نماید .
تاریخچه پوشه Robots . txt


پروتکل Robots . txt اساسا به وسیله یک کدام از پیشگامان فضای وب و تولید کننده Allweb یعنی Martijn Koster توصیه شد . او در اوایل سال دستگاه CNC این توصیه را بخشید که در‌این عصر برای کمپانی Nexor عمل میکرد . تالیف کننده انگلیسی به نام Charlie Stross ادعا می نماید این پیشنهاد را هنگامی که وی خزنده بدخواهی را ساخت که سبب پیدایش مشکلاتی بر روی سرورها شد به Koster بخشید . به لطف آسانی و موءثر بودن این پروتکل , بیشتر تارنما ها و موتورهای جستجوی اول نیز خود را با این فایل سازگار کردند . تا به امروز , موتورهای جستجویی همچون گوگل , بینگ , یاهو و سایر موتورهای جستجو بدین پروتکل احترام می‌گذارند و خویش را از صفحاتی که توسط استفاده کننده محدود شده‌است بدور نگه می‌دارند .

برای فرایند سئوی وبسایت نیز فایل robots . txt به بخش یک دست روند باصرفه سازی تبدیل شده‌است . زیرا جامعه آگاهی بیشتری درخصوص مفاهیمی همچون جریان تساوی لینک و پیوند و میزان دارایی خزش به دست آورده اند . امروزه سئوکاران کارشناس و زبده بر روی این پروتکل توکل می نمایند تا بتوانند ربات ها را از خرش صفحات پویا , صفحه ها مختص ادمین , صفحات پرداخت و سایر اسناد مشابه گشوده دارا‌هستند . با اینحال همگی خزندگان از این استاندارد پیروی نمیکنند . ربات های اسپم , نسخه برداری کنندگان محتوا , قابل انعطاف افزاری های هک و بدخواه تمامی دستورالعمل های دستگاه لیزر موجود در‌این فولدر را نادیده میگیرند .

در برخی از موارد , خزندگان بدخواه حتی خزش این صفحه های را در اولویت کاری خویش قرار میدهند . تارنما های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده می‌گیرند و آن را تحت عنوان یک پروتکل منسوخ می‌شناسند که بیشتر برای موتورهای کاوش ساخته شده است . گروه های آرشیوی معمولا داعیه می نمایند اطلاعاتی را ذخیره می‌سازند که تکامل اینترنت و سایر بنیانگذاران دستگاه لیزر را صفحه نمایش می نماید .

Leave a Reply

Your email address will not be published. Required fields are marked *