واژهنامه
فایل robots.txt چیست؟
robots.txt فایل متنی سادهای در ریشه وبسایت است که به خزندههای موتور جستوجو میگوید کدام بخشها را میتوانند یا نمیتوانند درخواست کنند. این فایل خزیدن را مدیریت میکند، نه نمایهسازی را، پس صفحه مسدودشده اگر سایتهای دیگر به آن لینک دهند هنوز میتواند در نتایج ظاهر شود.
چرا برای کسبوکارهای همیلتون اهمیت دارد
یک اشتباه کوچک در این فایل میتواند کل سایت را از موتورهای جستوجو پنهان کند. برای کسبوکارهای همیلتون بررسی آن پس از بازطراحی یا انتقال یک محافظت پایه است، بهویژه وقتی قواعد مسدودسازی سایت آزمایشی به سایت اصلی کپی شود.
مثال
صاحب سایت بخش مدیریت و نتایج جستوجوی داخلی را مسدود میکند تا خزندهها وقتشان را روی صفحات خدمات بگذارند. فایل همچنین نشانی نقشه سایت XML را اعلام میکند.
نکتههای کاربردی
- فایل را پس از هر بازطراحی، انتقال یا تغییر پلتفرم بررسی کنید.
- برای پنهان کردن محتوای خصوصی از آن استفاده نکنید، چون عمومی خوانده میشود.
- قواعد را پیش از انتشار در Google Search Console آزمایش کنید.
آیا robots.txt میتواند صفحه را از گوگل حذف کند؟
بهطور قابلاعتماد نه. خزیدن را متوقف میکند، اما نشانی ممکن است بدون محتوا نمایه بماند. برای دور نگه داشتن صفحه از نتایج از برچسب noindex یا رمز عبور استفاده کنید و صفحه را قابل خزیدن بگذارید تا برچسب خوانده شود.