فایل Robot.txt چیست؟ چه اهمیتی در سئو سایت دارد؟

فایل  Robot.TXT چیست؟

فایل Robot.txt یک فایل متنی ساده است که در فهرست اصلی سایت یا Root Directory قرار دارد. این فایل به ربات های موتور جستجو می گوید، چه چیز، می تواند جستجو شود. همچنین شامل دستوراتی است که توصیف می کند کدام ربات های موتور جستجو مجاز به خزیدن در سایت هستند. به عبارت دیگر فایل Robot.txt بخش های قابل دسترسی و محدود شده را به ربات های گوگل معرفی می کند.

در نتیجه به کمک فایل Robot.txt به ربات ها گفته می شود کدام صفحات و بخش های یک وب سایت را ببینند و ایندکس کنند. معمولا ربات های جستجو به محض وارد شدن در یک وب سایت، به دنبال فایل Robot.txt هستند. بنابر این در وهله اول داشتن فایل Robot.txt قابل توجه است. حتی اگر فردی بخواهد تمام صفحات سایتش توسط ربات های موتور جستجو بررسی شوند، حضور یک فایل Robots.txt پیش فرض که اجازه این کار را بدهد امری ضروری است. Robot.txt همچنین حاوی اطلاعاتی مهم، مانند نقشه سایت می باشد که در ادامه به شرح آن می پردازیم.

برای درک بیشتر به مثال زیر توجه کنید:

فرض کنید فردی برای اولین بار وارد اداره ای شده و با هیچ یک از قسمت های آن آشنایی ندارد، از آنجایی که مدیران اداره می دانند، مراجعین ممکن است دچار سردرگمی شوند. معمولا در قسمت ورودی ساختمان قسمتی را به عنوان واحد اطلاعات، جهت هدایت افراد در نظر میگیرند. اگر این راهنماها نباشند هر فرد باید مدت ها در اداره جست جو کند و به همه قسمت ها مراجعه کند تا به مقصودش برسد.

Robot.Txt نیز همچون راهنما در ورودی وب سایت عمل می کند با این تفاوت که کاربرانی که وارد وب سایت می شوند را راهنمایی نمی کند بلکه خزنده ها و ربات های گوگل را راهنمایی می کند.

از ایندکس شدن چه صفحاتی به کمک این فایل باید جلوگیری شود؟

صفحاتی که محتوای تکراری دارند، تگ ها و برچسب هایی که سبب ایجاد محتوای تکراری و اضافه در سایت می شوند، صفحات ادمین و پنل سایت، صفحات پروفایل کاربران سایت و صفحات چت برخی از صفحاتی هستند که باید از ایندکس شدن آن ها به وسیله فایل Robot.txt جلوگیری کرد.

نحوه دسترسی به فایل Robot.txt

آدرس دسترسی به این فایل www.YourWebsite.com/robots.txt می باشد، که باید در مرورگر قرار گیرد. در نتیجه اطلاعاتی مانند تصویر زیر نمایش داده می شود که در ادامه بیشتر به بررسی آن می پردازیم.

فایل robots.txt چگونه کار می‌کند؟

نحوه عملکرد فایل robot.txt با کمک یک سری دستورات پیش فرض مانند User-agent ، Disallow ، Allow ، Sitemap می باشد که در ادامه هر یک را توضیح می دهیم.

User-agent

عبارت User-agent به این معناست که به یکی از ربات های خزنده در وب دستوری داده شده است. پس مانند تصویر قبل بعد از تایپ عبارت User-agent و قرار دادن دو نقطه در جلوی آن، نام رباتی که قرار است به آن دستور داده شود را می نویسند.

 مثال: User-agent: googlebot  که به ربات گوگل دستور داده می شود.  

شکل دیگری از این دستور وجود دارد، اگر بخواهند به تمام ربات های خزنده، دستور یکسانی داده شود، کافی است یک * در جلوی عبارت User-agent قرار دهند.

مثال:  *:User-agent

Disallow

با استفاده از عبارت disallow به ربات های موتورهای جستجو گفته می شود که کدام فایل های یک وب سایت را نباید بررسی کند. برای مثال اگر مدیر سایتی تمایل نداشته باشد تصاویر سایتش ایندکس شوند، باید تمام تصاویر را در پوشه ای با نام Photo قرار دهند تا از دسترس ربات های خزنده خارج شوند. به این منظور از دستور زیر به منظور ندیدن و ایندکس نکردن عکس های سایت توسط تمام ربات ها استفاده می شود.

*:user-agent
Disallow:/photos

کدهای بالا به ربات ها اجازه ورود و دسترسی به فایل با نام photos را نمی دهد. استفاده از دستور user-agent به این معناست که تمام ربات های جستجوگر باید از این فرمان پیروی کنند و قسمت بعد Disallow:/photos نیز بیان گر این است که ربات ها اجازه دسترسی به فولدر photos و ایندکس آن در سایت را ندارند.

Allow

ربات Googlebot که معروف ترین ربات گوگل است، وظیفهی بازرسی، بارگذاری و ایندکس صفحات وب را بر عهده دارد. این ربات علاوه بر دستور بالا، دستور دیگری به نام allow را نیز متوجه می شود. این دستور به ربات گوگل اجازه مشاهده و ایندکس فایلی که در فایل disallowed قرار دارد را می دهد.

برای درک بیشتر مثال قبل را در نظر بگیرید. فرض کنید در پوشه Photo که ربات های گوگل اجازه دسترسی به آن را ندارند، تصویری وجود دارد که مدیر سایت می خواهد آن تصویر بخصوص به تنهایی ایندکس شود بدون آنکه سایر تصاویر پوشه ایندکس شوند، در این شرایط از دستور Allow استفاده می کنیم. پس فایل عکس به نام  picture.jpg را به صورت زیر در دستور Allow قرار می دهیم.

*:user-agent
Disallow:/photos
Allow:/photos/ picture.jpg

این کد به ربات اجازه می دهد در فایل photos فقط عکس picture.jpg را نمایش داده و ایندکس کند، واجازه دسترسی به دیگر عکس های داخل فولدر را ندارد.

Site map یا نقشه سایت

نقشه سایت یک فایل XML است که لیستی از مهم ترین صفحات وب سایت را در خود جای داده است تا ربات های گوگل بتوانند به راحتی محتوا را دیده و ایندکس کنند و درست مثل robot.txt نقشه سایت هم ضروری است. این فایل به کاوش ، خزیدن و ایندکس کردن تمام صفحات یک سایت توسط ربات های موتور جستجو کمک می کند.