Robots.txt فایل متنی است که به وبسایت امکان ارائه دستورالعمل برای ربات‌های وب را میدهد. موتورهای جستجو نظیر گوگل از این کاوش وب استفاده میکنند، گاهی اوقات روبات‌های وب این فایل را جهت بایگانی و دسته بندی وبسایت‌ها استفاده میکنند. اکثر روبات‌ها اینگونه پیکربندی شده‌اند که پیش از جستجوی سایر صفحات وب، فایل robots.txt را جستجو کنند. آنها این کار را برای این انجام میدهند تا ببینند آیا صاحبان وبسایت دستورالعمل خاصی برای نحوه کاوش و رتبه بندی ایندکس سایتشان قرار داده‌اند یا خیر.
فایل robots.txt شامل مجموعه‌ای از دستورالعمل‌هاست که به ربات‌ها میگوید از یک فایل یا دایرکتوری خاص چشم پوشی کنند. صاحبان وبسایت‌ها ممکن است این کار را بخاطر حفظ حریم شخصی انجام دهند یا معتقد باشند که محتوای آن فایل‌ها و دایرکتوری‌ها برای نمایش و دسته بندی در نتایج جستجو مناسب نیست.
مقاله مرتبط: چطور یک صفحه وردپرس را از گوگل مخفی کنیم
اگر یک وبسایت بیش از یک زیردامنه داشته باشد، هر زیر دامنه باید فایل robots.txt خود را داشته باشد. لازم به ذکر است که تمام ربات‌ها به فایل robots.txt توجه نمی‌کنند. برخی از ربات‌های مخرب حتی فایل robots.txt را بررسی میکنند تا بفهمند کدام فایل یا دایرکتوری را هدف خود قرار دهند. درنظر داشته باشید حتی زمانی که فایل robots.txt به ربات‌ها اعلام کند تا صفحات خاصی را روی سایت نادیده بگیرند،ممکن است آن صفحات همچنان توسط لینک‌دهی سایر صفحات در نتایج جستجو نمایش داده شوند.
