پایگاه علمی پژوهشی بازاریابی و برند سازی دیجیتال

همه چیز در مورد استفاده از Robots.txt

تاثیر فایل robots.txt در سئو
0 365
زمان مطالعه مطلب : ۱ دقیقه

اکثر شما دوستان به احتمال زیاد با متا تگ های html آشنایی دارید همانند متا های Description و Keyword ، اما امروز میخواهیم یکی دیگر از اساس ترین متاتگ ها را به شما معرفی کنیم ، این متا تگ robots نام دارد ، این متا تگ robots حاولی یک فایل متنی است که موتورهای جستجو به خیلی علاقه دارند ، دلیل این علاقه به این خاطر است که آنها نمی خواهند وقت خود را صرف پیمایش و فهرست کردن صفحاتی از سایت شما کنند ، که مهم نیستند  و اصلا باب میل آنها نیست .

 شما با استفاده از این فایل متنی می توانید صفحات مجاز و غیر مجاز را برای موتورهای جستجو متمایز کنید ، به عنوان مثال  اگر شما نمی خواهید موتورهای جستجو به  آدرس Mobile سایت شما دسترسی داشته باشند ، کافیست که این آدرس را به آنها اعلام کنید (Disallow: /mobile/) .
شما اغلب در ریشه سایت خود (Root) دایرکتوری هایی را دارید که نمی خواهید موتورهای جستجو به آنها دسترسی داشته باشند ، یا اینکه به دلیل مسائلی امنیتی ،  می توانید اجازه دسترسی به برخی صفحات را برای موتورهای جستجو سلب کنید ، یا اینکه شما در Root سایت خود ، دایرکتوری ای را دارید که این پوشه باعث کاهش رتبه سایت شما می شود ولی به این فایل نیازمندید ، برای حل این مشکلات شما می توانید از یک فایل متنی به نام Robots.txt استفاده کنید !
در ابتدا شکل زیر را مشاهده نمائید :

فایل robots چیست؟
فایل robots چیست؟

همانطور که شکل را ملاحظه نمودید ، خزنده های موتورهای جستجو ، در ابتدا به فایل متنی روبوت سایت شما ، دسترسی پیدا می کنند ، و صفحاتی که ورود آنها مجاز نیست را بررسی می کنند و فقط صفحات مجاز را پیمایش می کنند در تصویر زیر ، دایرکتوری هایی که با علامت فلش سبز رنگ مشخص شده اند ، اجازه ورود موتورهای جستجو به این پوشه ها فراهم شده است ولی پوشه هایی که با علامت ورود ممنوع مشخص شده است ، اجازه دسترسی به صفحات را ندارند :

تاثیر فایل robots.txt در سئو
تاثیر فایل robots.txt در سئو

فایل متنی  robots.txt منبعی در دسترس عموم بوده و هر کس می تواند از طریق نوشتن domain.com/robots.txt به این فایل دسترسی پیدا کنند ، دلیل این امر این است که فایل robots را همواره باید در ریشه سایت خود قرار دهید.نحوه وارد اطلاعات در این فایل متنی همانند دستورات زیر می باشد :

User-agent:
* Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

همانطور که میدانید ما با دستورات فوق ، پوشه های cgi-bin ، tmp و junk ، برای دسترسی موتورهای جستجو ، ممنوع کرده ایم ، این صفحات در موتورهای جستجو index نخواهند شد.
در گذشته وب سایتی را مورد بررسی قرار می دادم  که از لحاظ محتوا و تعداد لینک های بالا ، بسیار عالی عمل می کرد ، ولی این سایت هیچ جایی در فهرست SERP گوگل نداشت ، دلیل این امر این بود که این سایت در فایل Robots خود ، دستوری را وارد کرده بود  (به عمد یا غیر عمد)که به موتورهای جستجگو اعلام شده بود که به هیچکدام از صفحات سایت دسترسی نداشته باشد و صفحات را در لیست خود ثبت نکنند :

disallow to “/”

در استفاده از این فایل متنی باید دقت لازم را داشته باشید و بدون دانش فنی نباید این فایل را ایجاد نمائید!

نکاتی که باید مد نظر داشته باشید:

  • به همه دایرکتوری های سایت خود توجه کنید ، اگر دایرکتوری دارید که به درد موتورهای جستجو نمی خورد ، یا اینکه نمی خواهید موتورهای جستجو آن ها را index کنند ، کافیست آن ها را disallow نمائید.
  • گاهی اوقات ممکن است که یک سایت علاوه برای دایرکتوری که برای نمایش محتوا می باشد ، دایرکتوری دیگری برای نسخه چاپی محتوا داشته باشد ، در اینصورت باید دایرکتوری نسخه چاپی برای موتورهای جستجو غیر مجاز شود ، چون احتمل اینکه آنها را محتوای  تکراری تشخیص دهند وجود دارد.
  • مطمئن باشید که موتورهای جستجو اجازه دسترسی به فایل محتواهای شما را دارد.

نباید ها در فایل Robots :

  • از هرگونه استفاده از توضیحات یا Comment در این فایل خودداری کنید
  • همه دایرکتوری های خود را در این فایل لیست نکنید ، موتورهای جستجو ، مواردی که مجاز هستند را از شما نمی خواهند ، در این فایل فقط موارد غیر مجاز را وارد نمائید.
  • در این فایل دستوری به نام allow وجود ندارد ، و تنها disallow برای غیر مجاز وارد می شود.

با توجه مطالب فوق ، مطمئن شوید که نحوه نوشتاری فایل روبوت شما درست باشد تا مشکلی با موتورهای جستجو نداشته باشید ، شما با استفاده درست از این فایل متنی می توانید جایگاهی خوب در بین موتورهای جستجو کسب کنید  ، فقط اگر نمی توانید به درستی فایل های خود را تشخیص دهید (از لحاظ مجاز یا غیر مجاز بودن) بهتر است که با یک متخصص سئو مشورت کنید!

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.