برای حذف صفحات ایندکس شده از گوگل، راستش دو تا قدم جدا از هم لازمه: یه قدم «سریع و موقت» و یه قدم «دائمی». قدم سریع، ابزار Removals توی سرچ کنسوله که صفحه رو حدود شش ماه از نتایج قایم می‌کنه. قدم دائمی هم یکی از این سه تا کاره: گذاشتن تگ noindex، برگردوندن کد ۴۰۴ یا ۴۱۰، یا بردن صفحه پشت رمز عبور.
نکته‌ای که خیلی‌ها رو به دردسر می‌ندازه اینه که بستن صفحه توی robots.txt اون رو از گوگل پاک نمی‌کنه. حتی برعکس! اگه صفحه رو توی robots.txt ببندی، گوگل دیگه نمی‌تونه تگ noindex اون رو ببینه و ممکنه آدرس صفحه همچنان توی نتایج بمونه.
خب، توی ادامه با هم مرور می‌کنیم که کی باید بریم سراغ حذف صفحه، هر روش دقیقاً چی کار می‌کنه و اثرش چقدر می‌مونه.
مطالب صفحه
چه زمانی باید صفحه را از ایندکس گوگل حذف کنیم؟
لازم نیست هر صفحه‌ای که ازش خوشت نمیاد رو از ایندکس بیرون بندازی. گاهی بهتر کردن محتوا یا ریدایرکت به یه صفحه‌ی مرتبط، انتخاب درست‌تریه. ولی چند تا موقعیت هست که حذف صفحات ایندکس شده واقعاً لازم می‌شه.
اطلاعات حساس یا خصوصی لو رفته
مثلاً فایل اکسل مشتری‌ها، صفحه‌ی پنل مدیریت یا فرمی که اطلاعات شخصی نشون می‌ده ایندکس شده. اینجا سرعت حرف اول رو می‌زنه؛ اول از همه ابزار Removals رو بزن، بعد برو سراغ حل کردن مشکل اصلی.
صفحه‌های کم‌ارزش یا تکراری ایندکس شدن
صفحه‌های جست‌وجوی داخلی سایت، برچسب‌های خالی وردپرس، صفحه‌های فیلتر فروشگاه یا نسخه‌های تستی سایت. این صفحه‌ها معمولاً به درد کاربر نمی‌خورن و بهتره با noindex از ایندکس بیرون برن. اگه چند تا صفحه سر یه کلمه با هم رقابت می‌کنن، اول مقاله‌ی کیورد کنیبالیزیشن رو بخون؛ شاید ادغام صفحه‌ها راه بهتری باشه.
محصول یا خدمتی برای همیشه حذف شده
وقتی صفحه‌ای دیگه قرار نیست برگرده و جایگزین مشابهی هم نداره، کد ۴۰۴ یا ۴۱۰ گزینه‌ی طبیعیه. ولی اگه جایگزین مرتبطی داره، ریدایرکت ۳۰۱ معمولاً انتخاب بهتریه، چون هم کاربر رو می‌بره به صفحه‌ی جدید، هم اعتبار لینک‌ها رو.
نسخه‌ی استیجینگ یا سایت تستی ایندکس شده
این یکی خیلی پیش میاد. بهترین کار اینه که کل نسخه‌ی تستی رو ببری پشت رمز عبور؛ اینجوری هم از دسترس گوگل خارج می‌شه، هم از دسترس آدمای کنجکاو.
ابزار Removals سرچ کنسول؛ حذف سریع اما موقت
ابزار Removals (که توی فارسی گاهی بهش «removal tool سرچ کنسول» یا «ابزار حذف URL» هم می‌گیم) توی منوی سمت چپ Google Search Console قرار داره. طبق راهنمای رسمی گوگل، یه درخواست موفق «فقط حدود شش ماه» دوام داره و بعدش صفحه ممکنه دوباره توی نتایج پیداش بشه.
یه نکته‌ی مهم دیگه هم توی همون راهنما اومده: این ابزار جلوی خزیدن گوگل رو نمی‌گیره، فقط جلوی نمایش صفحه توی نتایج جست‌وجو رو می‌گیره. یعنی صفحه هنوز توی ایندکس هست؛ فقط قایم شده.
مراحل استفاده از ابزار Removals
- وارد سرچ کنسول شو و پراپرتی سایتت رو انتخاب کن (حواست باشه باید مالک تأییدشده‌ی سایت باشی).
- از منوی Indexing گزینه‌ی Removals رو باز کن و روی New Request بزن.
- توی تب Temporarily remove URL، آدرس دقیق صفحه رو وارد کن.
- انتخاب کن که فقط همین URL حذف بشه یا Remove all URLs with this prefix (یعنی همه‌ی آدرس‌هایی که با این پیشوند شروع می‌شن).
- درخواست رو ثبت کن و وضعیتش رو توی همین بخش دنبال کن.
با گزینه‌ی حذف با پیشوند، دست به عصا باش
اگه پیشوند رو اشتباه وارد کنی، ممکنه یه تیکه‌ی بزرگ از سایتت از نتایج غیب بشه. گوگل می‌گه این گزینه نسخه‌های با www و بدون www و http و https رو هم پوشش می‌ده، ولی زیردامنه‌های دیگه مثل m. رو شامل نمی‌شه.
گزینه‌ی Clear snippet
اگه فقط متن توضیحات صفحه توی نتایج مشکل داره (مثلاً یه اطلاعاتی رو از صفحه پاک کردی ولی هنوز توی اسنیپت دیده می‌شه)، گزینه‌ی Clear snippet in search توضیحات رو تا ایندکس دوباره‌ی صفحه پاک می‌کنه.
خلاصه‌ش اینه که Removals مثل یه چسب زخمه؛ خونریزی رو سریع بند میاره، ولی درمان اصلی نیست. توی همون شش ماه باید یکی از روش‌های دائمی پایین رو اجرا کنی. اگه هنوز با محیط سرچ کنسول راحت نیستی، راهنمای خطاهای گوگل سرچ کنسول حسابی به کارت میاد.
noindex و کد ۴۰۴ / ۴۱۰؛ حذف دائمی صفحات از ایندکس
تگ noindex؛ وقتی صفحه باید بمونه ولی ایندکس نشه
اگه صفحه برای کاربرا لازمه (مثلاً صفحه‌ی تشکر بعد از خرید یا نتایج جست‌وجوی داخلی) ولی نمی‌خوای توی گوگل باشه، noindex بهترین گزینه‌ست. کافیه این تگ رو توی بخش head صفحه بذاری:
<meta name="robots" content="noindex">
برای فایل‌هایی مثل PDF که head ندارن، می‌تونی همین دستور رو به شکل هدر HTTP بفرستی:
X-Robots-Tag: noindex
طبق مستندات گوگل، وقتی گوگل‌بات صفحه رو دوباره بخزه و این دستور رو ببینه، صفحه رو کامل از نتایج حذف می‌کنه. ولی خب این اتفاق فوری نیست؛ خود گوگل می‌گه ممکنه ماه‌ها طول بکشه تا دوباره به صفحه سر بزنه. برای اینکه کار سریع‌تر پیش بره، از ابزار URL Inspection توی سرچ کنسول درخواست خزش مجدد بده. اگه سایتت وردپرسیه، افزونه‌هایی مثل Yoast یا Rank Math این تگ رو با یه تیک برات می‌ذارن؛ توی مقاله‌ی تگ های مهم در سئو هم درباره‌ی متاتگ robots بیشتر حرف زدیم.
یادت باشه صفحه‌ی noindex رو از نقشه‌ی سایت هم بیرون بیاری. نگه داشتن صفحه‌ای که نمی‌خوای ایندکس بشه توی سایت مپ، یه سیگنال ضد و نقیض به گوگل می‌ده.
کد ۴۰۴ و ۴۱۰؛ وقتی صفحه دیگه وجود نداره
اگه صفحه رو واقعاً پاک کردی، سرور باید کد ۴۰۴ (Not Found) یا ۴۱۰ (Gone) برگردونه. گوگل توی مستندات کدهای وضعیت HTTP صاف و پوست‌کنده می‌گه URLهایی که ایندکس شدن و کد 4xx برمی‌گردونن، از ایندکس حذف می‌شن.
شاید شنیده باشی که ۴۱۰ سریع‌تر از ۴۰۴ کار می‌کنه. ولی طبق همین سند رسمی، گوگل همه‌ی خطاهای 4xx (به جز ۴۲۹) رو یکسان حساب می‌کنه. پس از نظر گوگل فرق محسوسی بین این دو تا نیست؛ ۴۱۰ بیشتر از نظر معنایی دقیق‌تره و می‌گه «این صفحه عمداً و برای همیشه حذف شده».
حواست به Soft 404 باشه
بعضی سایت‌ها صفحه‌ی حذف‌شده رو با پیام «صفحه پیدا نشد» نشون می‌دن ولی کد ۲۰۰ برمی‌گردونن. گوگل اسم این رو می‌ذاره خطای Soft 404 و ممکنه حذف از ایندکس درست انجام نشه. با ابزار URL Inspection یا هر ابزار بررسی هدری، مطمئن شو کد واقعی ۴۰۴ یا ۴۱۰ باشه.
رمز عبور؛ مطمئن‌ترین روش برای محتوای حساس
راهنمای گوگل روش‌های دائمی رو اینجوری فهرست می‌کنه: حذف یا به‌روزرسانی محتوا (۴۰۴/۴۱۰)، محدود کردن دسترسی با رمز عبور، یا noindex. گوگل یه اشاره‌ای هم می‌کنه که noindex از اون دو روش دیگه کم‌امنیت‌تره، چون صفحه هنوز برای هر کسی که آدرسش رو داشته باشه بازه. پس اگه پای اطلاعات واقعاً حساس وسطه، برو سراغ رمز عبور یا حذف کامل.
جدول مقایسه روش‌های حذف صفحات ایندکس شده
این جدول رو بر اساس مستندات رسمی گوگل آماده کردیم و خلاصه‌ش اینه که هر روش چقدر سریعه و اثرش چقدر می‌مونه:
| روش | سرعت اثر | مدت اثر | مناسب برای |
|---|---|---|---|
| ابزار Removals سرچ کنسول | سریع (بعد از تأیید درخواست، بدون اینکه لازم باشه دوباره خزیده بشه) | موقت، حدود ۶ ماه | قایم کردن فوری صفحه‌های حساس، کنار یه روش دائمی |
| تگ noindex یا X-Robots-Tag | بعد از خزش مجدد (از چند روز تا چند ماه) | دائمی، تا وقتی تگ سر جاش باشه | صفحه‌هایی که کاربر لازمشون داره ولی نباید ایندکس بشن |
| کد ۴۰۴ / ۴۱۰ | بعد از خزش مجدد | دائمی | صفحه‌هایی که برای همیشه پاک شدن و جایگزین ندارن |
| رمز عبور / لاگین | بعد از خزش مجدد | دائمی و امن‌ترین | اطلاعات حساس، نسخه‌های تستی و استیجینگ |
| بستن در robots.txt | — | صفحه رو حذف نمی‌کنه | مدیریت خزش، نه حذف از ایندکس |
توی صفحه‌ی New Request دقیقاً با چی روبه‌رو می‌شی؟
وقتی توی بخش Removals روی New Request می‌زنی، یه پنجره‌ی کوچیک باز می‌شه که بالاش چند تا تب داره و اولیش Temporarily remove URL هست. توی همین تب یه کادر هست به اسم Enter URL که آدرس رو اونجا می‌نویسی و زیرش دو تا گزینه‌ی رادیویی می‌بینی: Remove this URL only و Remove all URLs with this prefix. بعد از زدن Next، گوگل یه بار دیگه ازت می‌پرسه مطمئنی یا نه، و با Submit request درخواستت ثبت می‌شه. از اون به بعد درخواست توی جدول Temporary removals با وضعیت Processing request نشون داده می‌شه و وقتی انجام شد، وضعیتش می‌شه Temporarily removed. فرض کن یه فروشگاه اینترنتی داری و آدرس /checkout/thank-you/ ایندکس شده؛ همین آدرس رو با گزینه‌ی Remove this URL only ثبت می‌کنی و هم‌زمان روی خود صفحه noindex می‌ذاری تا بعد از تموم شدن اون شش ماه، صفحه دوباره سر و کله‌ش پیدا نشه.
اشتباه رایج: حذف صفحه با robots.txt
خیلی از صاحب‌های سایت فکر می‌کنن اگه یه آدرس رو توی robots.txt با Disallow ببندن، از گوگل پاک می‌شه. ولی گوگل توی مستندات robots.txt صاف و پوست‌کنده می‌گه این فایل ابزاری برای بیرون نگه داشتن صفحه از گوگل نیست. robots.txt فقط به ربات می‌گه «اینجا رو نخز»، نه «اینجا رو ایندکس نکن».
چرا robots.txt حتی کار رو خراب‌تر می‌کنه؟
فرض کن روی یه صفحه تگ noindex گذاشتی و هم‌زمان اون رو توی robots.txt هم بستی. گوگل توی سند block indexing توضیح می‌ده که اینجوری خزنده «هیچ‌وقت تگ noindex رو نمی‌بینه» و اگه صفحه‌های دیگه بهش لینک داده باشن، صفحه هنوز می‌تونه توی نتایج بیاد؛ معمولاً هم بدون توضیحات.
ترتیب درست کار
- اول مطمئن شو صفحه توی robots.txt بسته نیست.
- تگ noindex بذار یا کد ۴۰۴/۴۱۰ برگردون.
- با URL Inspection درخواست خزش مجدد بده.
- بعد از اینکه صفحه از ایندکس بیرون رفت، اگه خواستی می‌تونی برای صرفه‌جویی توی بودجه‌ی خزش، اون رو توی robots.txt ببندی.
اگه می‌خوای دقیق بدونی robots.txt چی کار می‌کنه و چی کار نمی‌کنه، مقاله‌ی فایل robots.txt رو از دست نده. اگه هم ایندکس شدن صفحه‌های اضافه توی سایتت هی تکرار می‌شه، به احتمال زیاد ریشه‌ش توی ساختار فنی سایته؛ اینجاست که خدمات سئو تکنیکال می‌تونه کل مسیر ایندکس سایت رو بررسی و مرتب کنه. برای سایت‌های وردپرسی هم صفحه‌ی سئو سایت وردپرس رو ببین، چون بیشتر صفحه‌های ناخواسته (برچسب‌ها، آرشیو نویسنده، پیوست‌ها) از تنظیمات پیش‌فرض وردپرس میان. و اگه مطمئن نیستی کدوم روش به درد سایتت می‌خوره، یه جلسه مشاوره سئو جلوی تصمیم‌های پرهزینه رو می‌گیره.
سوالات متداول
چطور صفحه را از گوگل حذف کنیم؟
اگه مالک سایتی، برای حذف سریع از ابزار Removals سرچ کنسول استفاده کن تا صفحه حدود شش ماه از نتایج قایم بشه. هم‌زمان یه روش دائمی هم اجرا کن: تگ noindex بذار، صفحه رو پاک کن تا کد ۴۰۴ یا ۴۱۰ برگردونه، یا ببرش پشت رمز عبور. صفحه رو توی robots.txt نبند، چون گوگل دیگه نمی‌تونه noindex رو ببینه. اگه مالک سایت نیستی و محتوای قدیمی از یه سایت دیگه توی نتایج مونده، باید از ابزار Refresh Outdated Content گوگل استفاده کنی. اگه هم یکی محتوای خودت رو کپی کرده و می‌خوای نسخه‌ی کپی از گوگل حذف بشه، راهش ثبت یه گزارش کپی‌رایت بر اساس قانون DMCAه که از فرم Report Content for Legal Reasons گوگل انجام می‌شه.
بعد از گذاشتن noindex چقدر طول می‌کشد صفحه حذف شود؟
بستگی داره گوگل کی دوباره صفحه رو بخزه. ممکنه چند روز یا حتی چند ماه طول بکشه. درخواست خزش مجدد از URL Inspection این روند رو سریع‌تر می‌کنه.
آیا ۴۱۰ سریع‌تر از ۴۰۴ صفحه را حذف می‌کند؟
نه راستش. طبق مستندات گوگل، همه‌ی خطاهای 4xx به جز ۴۲۹ یکسان رفتار می‌شن و هر دو تا باعث حذف صفحه از ایندکس می‌شن.
منابع
- Removals and SafeSearch reports tool
- Block Search indexing with noindex
- How HTTP status codes, and network and DNS errors affect Google Search
- Introduction to robots.txt
