اکثر شما دوستان به احتمال زیاد با متا تگ های html آشنایی دارید همانند متا های Description و Keyword ، اما امروز میخواهیم یکی دیگر از اساس ترین متاتگ ها را به شما معرفی کنیم ، این متا تگ robots نام دارد ، این متا تگ robots حاولی یک فایل متنی است که موتورهای جستجو به خیلی علاقه دارند ، دلیل این علاقه به این خاطر است که آنها نمی خواهند وقت خود را صرف پیمایش و فهرست کردن صفحاتی از سایت شما کنند ، که مهم نیستند و اصلا باب میل آنها نیست .
شما با استفاده از این فایل متنی می توانید صفحات مجاز و غیر مجاز را برای موتورهای جستجو متمایز کنید ، به عنوان مثال اگر شما نمی خواهید موتورهای جستجو به آدرس Mobile سایت شما دسترسی داشته باشند ، کافیست که این آدرس را به آنها اعلام کنید (Disallow: /mobile/) .
شما اغلب در ریشه سایت خود (Root) دایرکتوری هایی را دارید که نمی خواهید موتورهای جستجو به آنها دسترسی داشته باشند ، یا اینکه به دلیل مسائلی امنیتی ، می توانید اجازه دسترسی به برخی صفحات را برای موتورهای جستجو سلب کنید ، یا اینکه شما در Root سایت خود ، دایرکتوری ای را دارید که این پوشه باعث کاهش رتبه سایت شما می شود ولی به این فایل نیازمندید ، برای حل این مشکلات شما می توانید از یک فایل متنی به نام Robots.txt استفاده کنید !
در ابتدا شکل زیر را مشاهده نمائید :
همانطور که شکل را ملاحظه نمودید ، خزنده های موتورهای جستجو ، در ابتدا به فایل متنی روبوت سایت شما ، دسترسی پیدا می کنند ، و صفحاتی که ورود آنها مجاز نیست را بررسی می کنند و فقط صفحات مجاز را پیمایش می کنند در تصویر زیر ، دایرکتوری هایی که با علامت فلش سبز رنگ مشخص شده اند ، اجازه ورود موتورهای جستجو به این پوشه ها فراهم شده است ولی پوشه هایی که با علامت ورود ممنوع مشخص شده است ، اجازه دسترسی به صفحات را ندارند :
فایل متنی robots.txt منبعی در دسترس عموم بوده و هر کس می تواند از طریق نوشتن domain.com/robots.txt به این فایل دسترسی پیدا کنند ، دلیل این امر این است که فایل robots را همواره باید در ریشه سایت خود قرار دهید.نحوه وارد اطلاعات در این فایل متنی همانند دستورات زیر می باشد :
User-agent:
* Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/
همانطور که میدانید ما با دستورات فوق ، پوشه های cgi-bin ، tmp و junk ، برای دسترسی موتورهای جستجو ، ممنوع کرده ایم ، این صفحات در موتورهای جستجو index نخواهند شد.
در گذشته وب سایتی را مورد بررسی قرار می دادم که از لحاظ محتوا و تعداد لینک های بالا ، بسیار عالی عمل می کرد ، ولی این سایت هیچ جایی در فهرست SERP گوگل نداشت ، دلیل این امر این بود که این سایت در فایل Robots خود ، دستوری را وارد کرده بود (به عمد یا غیر عمد)که به موتورهای جستجگو اعلام شده بود که به هیچکدام از صفحات سایت دسترسی نداشته باشد و صفحات را در لیست خود ثبت نکنند :
disallow to “/”
در استفاده از این فایل متنی باید دقت لازم را داشته باشید و بدون دانش فنی نباید این فایل را ایجاد نمائید!
نکاتی که باید مد نظر داشته باشید:
- به همه دایرکتوری های سایت خود توجه کنید ، اگر دایرکتوری دارید که به درد موتورهای جستجو نمی خورد ، یا اینکه نمی خواهید موتورهای جستجو آن ها را index کنند ، کافیست آن ها را disallow نمائید.
- گاهی اوقات ممکن است که یک سایت علاوه برای دایرکتوری که برای نمایش محتوا می باشد ، دایرکتوری دیگری برای نسخه چاپی محتوا داشته باشد ، در اینصورت باید دایرکتوری نسخه چاپی برای موتورهای جستجو غیر مجاز شود ، چون احتمل اینکه آنها را محتوای تکراری تشخیص دهند وجود دارد.
- مطمئن باشید که موتورهای جستجو اجازه دسترسی به فایل محتواهای شما را دارد.
نباید ها در فایل Robots :
- از هرگونه استفاده از توضیحات یا Comment در این فایل خودداری کنید
- همه دایرکتوری های خود را در این فایل لیست نکنید ، موتورهای جستجو ، مواردی که مجاز هستند را از شما نمی خواهند ، در این فایل فقط موارد غیر مجاز را وارد نمائید.
- در این فایل دستوری به نام allow وجود ندارد ، و تنها disallow برای غیر مجاز وارد می شود.
با توجه مطالب فوق ، مطمئن شوید که نحوه نوشتاری فایل روبوت شما درست باشد تا مشکلی با موتورهای جستجو نداشته باشید ، شما با استفاده درست از این فایل متنی می توانید جایگاهی خوب در بین موتورهای جستجو کسب کنید ، فقط اگر نمی توانید به درستی فایل های خود را تشخیص دهید (از لحاظ مجاز یا غیر مجاز بودن) بهتر است که با یک متخصص سئو مشورت کنید!
