اگه می‌خوای مطلب تازه‌ت زودتر توی نتایج گوگل دیده بشه، راه رسمی و مطمئن برای ایندکس سریع سه تا چیزه: درخواست ایندکس از ابزار URL Inspection توی سرچ کنسول، داشتن یه سایت‌مپ به‌روز با تاریخ lastmod درست، و لینک دادن به مطلب جدید از صفحه‌هایی که گوگل مرتب بهشون سر می‌زنه. بقیه‌ی ترفندها راستش یا روی گوگل اثری ندارن یا اصلاً برای این کار ساخته نشدن.
نکته‌ی مهم‌تر اینه که خود گوگل می‌گه کرال شدن یه صفحه ممکنه از چند روز تا چند هفته طول بکشه و هیچ روشی هم تضمین نمی‌کنه صفحه حتماً ایندکس بشه. پس افزایش سرعت ایندکس بیشتر از اینکه به یه دکمه‌ی جادویی بستگی داشته باشه، به سلامت فنی سایت و کیفیت خود محتوا برمی‌گرده.
توی این راهنما قدم‌به‌قدم با هم می‌ریم جلو: اول اینکه چرا مطالب دیر ایندکس می‌شن، بعد روش‌هایی که واقعاً جواب می‌دن، و آخرش هم چند تا باور غلط رایج درباره‌ی IndexNow و Indexing API رو با هم مرور می‌کنیم.
مطالب صفحه
چرا مطالب دیر ایندکس می‌شوند؟
قبل از اینکه بریم سراغ راه‌حل، خوبه بدونی گوگل یه صفحه رو توی سه مرحله پردازش می‌کنه: کشف (Discovery)، کرال (Crawl) و ایندکس (Indexing). هر کدوم از این مرحله‌ها که گیر کنه، صفحه دیر یا اصلاً وارد نتایج نمی‌شه.
گوگل هنوز صفحه رو پیدا نکرده
اگه هیچ لینکی به مطلب جدید نداده باشی و توی سایت‌مپ هم نباشه، خب گوگل راهی برای پیدا کردنش نداره دیگه. صفحه‌های یتیم (Orphan Pages) که از هیچ جای سایت لینک نگرفتن، معمولاً از همه دیرتر کشف می‌شن.
صفحه پیدا شده ولی هنوز کرال نشده
احتمالاً توی گزارش Pages سرچ کنسول وضعیت «Discovered – currently not indexed» رو دیدی. یعنی گوگل آدرس رو می‌شناسه ولی هنوز سراغش نرفته. دلیلش می‌تونه کندی سرور، تعداد زیاد صفحه‌های کم‌ارزش توی سایت یا پایین بودن تقاضای کرال باشه.
صفحه کرال شده ولی ایندکس نشده
وضعیت «Crawled – currently not indexed» معمولاً یعنی گوگل صفحه رو دیده ولی به این نتیجه رسیده که نسبت به صفحه‌های مشابه، چیز اضافه‌ای نداره. محتوای تکراری، کم‌عمق یا خیلی شبیه به بقیه‌ی مطالب سایت، رایج‌ترین دلیل این وضعیته.
یه مشکل فنی جلوی ایندکس رو گرفته
تگ noindex که از دوره‌ی طراحی سایت جا مونده، مسدود شدن آدرس توی robots.txt، کنونیکال اشتباه یا خطاهای سرور، همه‌شون می‌تونن ایندکس رو متوقف کنن. اگه با این خطاها سروکار داری، راهنمای رفع خطاهای گوگل سرچ کنسول حسابی به دردت می‌خوره.
درخواست ایندکس در سرچ کنسول؛ سریع‌ترین راه رسمی
ابزار URL Inspection توی گوگل سرچ کنسول تنها راه رسمیه که گوگل برای درخواست کرال یه صفحه‌ی مشخص در اختیار همه‌ی سایت‌ها گذاشته. مراحلش هم ساده‌ست:
- وارد سرچ کنسول شو و پراپرتی سایتت رو انتخاب کن (باید Owner یا Full User باشی).
- آدرس کامل مطلب رو توی نوار بالای صفحه (Inspect any URL) وارد کن.
- اگه پیام «URL is not on Google» رو دیدی، روی Test Live URL بزن تا مطمئن بشی گوگل می‌تونه صفحه رو بخونه.
- وقتی تست موفق بود، روی Request Indexing کلیک کن.
چند تا نکته که بهتره بدونی
این درخواست سهمیه‌ی روزانه داره و گوگل هم عدد دقیقش رو اعلام نکرده؛ پس نگهش دار برای مطالب مهم و صفحه‌هایی که تغییر جدی کردن، نه برای صدتا آدرس.
درخواست چندباره برای یه آدرس هیچ کمکی به سرعت ایندکس نمی‌کنه. خود گوگل صریحاً گفته ارسال دوباره‌ی یه URL باعث نمی‌شه سریع‌تر کرال بشه. یه بار درخواست بده و یه کم صبور باش.
حواست باشه درخواست ایندکس یعنی «لطفاً این صفحه رو ببین»، نه «این صفحه رو حتماً ایندکس کن». تصمیم آخر با گوگله و بر اساس کیفیت گرفته می‌شه.
سایت‌مپ و لینک داخلی؛ دو ابزاری که بیشتر از همه دست‌کم گرفته می‌شوند
برای سایتی که مرتب محتوا منتشر می‌کنه، درخواست دستی برای تک‌تک مطالب عملاً شدنی نیست. اینجاست که سایت‌مپ و ساختار لینک‌دهی داخلی، کار اصلی ایندکس سریع رو انجام می‌دن.
سایت‌مپ به‌روز با lastmod درست
گوگل برای تعداد زیاد آدرس، ارسال سایت‌مپ رو توصیه می‌کنه. اگه هنوز سایت‌مپت رو ثبت نکردی، مراحلش رو توی مطلب معرفی نقشه سایت به گوگل و ثبت در سرچ کنسول توضیح دادیم. توی وردپرس هم افزونه‌های سئو مثل Yoast یا Rank Math سایت‌مپ رو خودکار به‌روز می‌کنن.
نکته‌ی کلیدی، تگ lastmod ـه. گوگل گفته این تاریخ رو فقط وقتی عوض کن که محتوای اصلی صفحه، داده‌های ساختاریافته یا لینک‌ها واقعاً تغییر کرده باشن. اگه با هر تغییر کوچیک توی فوتر یا سایدبار تاریخ رو عوض کنی، گوگل کم‌کم دیگه به lastmod سایتت اعتماد نمی‌کنه.
بی‌خیالش شو: پینگ کردن سایت‌مپ
خیلی از آموزش‌های قدیمی هنوز می‌گن آدرس google.com/ping?sitemap= رو صدا بزن. گوگل ژوئن ۲۰۲۳ اعلام کرد این endpoint رو کنار می‌ذاره و از اواخر همون سال درخواست‌های پینگ فقط خطای 404 برمی‌گردونن. پس اگه افزونه یا اسکریپتی هنوز داره این کار رو می‌کنه، هیچ اثری روی ایندکس سریع نداره. راه درست، ثبت سایت‌مپ توی سرچ کنسول یا معرفیش توی فایل robots.txt ـه.
لینک داخلی از صفحه‌های پربازدید
گوگل صفحه‌های مهم و پرلینک سایتت رو، مثل صفحه‌ی اصلی، صفحه‌ی بلاگ و مطالب پربازدید، بیشتر از بقیه کرال می‌کنه. وقتی از این صفحه‌ها به مطلب جدید لینک بدی، شانس اینکه زود کشف بشه خیلی بیشتر می‌شه.
چند تا کار ساده که همین امروز می‌تونی انجامشون بدی:
- مطلب جدید رو توی صفحه‌ی بلاگ یا بخش «آخرین مطالب» صفحه‌ی اصلی نشون بده.
- از دو سه تا مطلب قدیمی و مرتبط که ترافیک خوبی دارن، با یه انکرتکست توصیفی به مطلب جدید لینک بده.
- مطمئن شو مطلب جدید توی دسته‌بندی درست قرار گرفته و صفحه‌ی اون دسته‌بندی هم ایندکس‌پذیره.
اگه می‌خوای این کار رو اصولی و با استراتژی پیش ببری، راهنمای لینک سازی داخلی رو بخون.
IndexNow چیست و آیا روی گوگل اثر دارد؟
IndexNow یه پروتکله که به سایت اجازه می‌ده به‌محض انتشار یا تغییر یه صفحه، مستقیم به موتورهای جستجو خبر بده. ایده‌ی خوبیه، ولی یه نکته‌ی خیلی مهم داره که توی خیلی از مقاله‌های فارسی اشتباه گفته می‌شه.
گوگل از IndexNow پشتیبانی نمی‌کنه
موتورهایی که IndexNow رو پذیرفتن Bing، Yandex، Naver، Seznam و Yep هستن. گوگل سال ۲۰۲۱ گفته بود این پروتکل رو آزمایش می‌کنه، اما تا امروز بهش نپیوسته. یعنی فعال کردن IndexNow توی سایتت به ایندکس سریع توی بینگ و یاندکس کمک می‌کنه، ولی روی گوگل هیچ اثری نداره.
با این حال فعال کردنش ضرری هم نداره. اگه بخشی از مخاطب‌هات از بینگ یا دستیارهایی که از نتایج بینگ استفاده می‌کنن میان، IndexNow می‌تونه به کارت بیاد. افزونه‌هایی مثل Rank Math و Yoast امکان فعال کردنش رو دارن.
Google Indexing API چی؟
یه باور غلط دیگه اینه که با Indexing API گوگل می‌شه هر صفحه‌ای رو سریع ایندکس کرد. ولی مستندات رسمی گوگل صریحه: این API فقط برای صفحه‌هاییه که داده‌ی ساختاریافته‌ی JobPosting (آگهی شغلی) یا BroadcastEvent داخل VideoObject (پخش زنده) دارن. استفاده ازش برای مقاله‌ی بلاگ یا صفحه‌ی محصول، خارج از کاربری مجازشه و ما توصیه‌ش نمی‌کنیم.
جدول زیر خلاصه‌ی روش‌ها رو کنار هم نشونت می‌ده:
| روش | اثر روی گوگل | مناسب برای | توصیه‌ی ما |
|---|---|---|---|
| Request Indexing توی سرچ کنسول | آره (درخواست کرال، ولی بدون تضمین) | مطالب مهم و صفحه‌های به‌روزشده | استفاده کن، ولی محدود |
| سایت‌مپ با lastmod درست | آره | همه‌ی سایت‌ها، مخصوصاً پرمحتواها | حتماً لازمه |
| لینک داخلی از صفحه‌های پربازدید | آره | همه‌ی مطالب جدید | حتماً لازمه |
| IndexNow | نه (فقط Bing، Yandex و چند تا موتور دیگه) | دیده شدن توی بینگ و یاندکس | اختیاریه |
| Google Indexing API | فقط برای JobPosting و BroadcastEvent | سایت‌های آگهی شغلی و پخش زنده | برای بلاگ سراغش نرو |
| پینگ سایت‌مپ (google.com/ping) | نه، از سال ۲۰۲۳ از کار افتاده | — | بذارش کنار |
کیفیت محتوا و کرال باجت؛ ریشه‌ی اصلی سرعت ایندکس
گوگل توی مستنداتش گفته اولویتش «ورود سریع محتوای باکیفیت و مفید» ـه. یعنی اگه مطالب سایتت معمولاً ارزشمند باشن، گوگل خودش سریع‌تر میاد سراغ مطالب جدیدت. برعکسش هم صادقه: سایتی که پر از صفحه‌های کم‌ارزشه، کم‌کم تقاضای کرال کمتری می‌گیره.
کرال باجت برای چه سایت‌هایی مهمه؟
طبق راهنمای گوگل، کرال باجت بیشتر دغدغه‌ی سایت‌های بزرگه؛ مثلاً سایت‌هایی با بیشتر از یک میلیون صفحه که هفتگی تغییر می‌کنن، یا سایت‌هایی با بیشتر از ده هزار صفحه که محتواشون روزانه عوض می‌شه. اگه سایتت کوچیکه و مطالبش معمولاً همون روز انتشار کرال می‌شن، لازم نیست نگران کرال باجت باشی. برای اینکه بیشتر باهاش آشنا بشی، مطلب کرال باجت چیست رو ببین.
دو تا عاملی که کرال رو تعیین می‌کنن
- ظرفیت کرال: اگه سرورت سریع و پایدار جواب بده، گوگل می‌تونه صفحه‌های بیشتری رو کرال کنه. خطاهای 5xx و کندی سرور این ظرفیت رو میارن پایین.
- تقاضای کرال: به محبوبیت صفحه‌ها، تازه بودن محتوا و تعداد آدرس‌های تکراری یا بی‌ارزش توی سایت بستگی داره.
کارهایی که به هر دوتاش کمک می‌کنه
- صفحه‌های تکراری، تگ‌های بی‌استفاده و آدرس‌های پارامتری بی‌ارزش رو از ایندکس دربیار یا ادغامشون کن.
- زنجیره‌های ریدایرکت و لینک‌های شکسته رو درست کن.
- سرعت پاسخ سرور رو بهتر کن.
- به‌جای انتشار کلی مطلب کوتاه و شبیه هم، مطالب کامل‌تر و منحصربه‌فرد بنویس.
اگه حس می‌کنی مشکل از زیرساخت فنی سایته، تیم ما توی خدمات سئو تکنیکال دقیقاً همین موارد رو بررسی و رفع می‌کنه. اگه هم مشکل از کیفیت مطالبه، می‌تونی سفارش تولید محتوای سئو شده رو به ما بسپاری تا محتوایی بگیری که گوگل دلیلی برای ایندکس نکردنش نداشته باشه.
یه مثال فرضی: زمان ایندکس رو چطوری خودت اندازه بگیری؟
فرض کن یه سایت فروشگاهی کوچیک داری و این هفته سه تا مطلب بلاگ منتشر کردی. برای مطلب اول، همون روز از دو تا مقاله‌ی پربازدید بهش لینک می‌دی و یه بار هم Request Indexing می‌زنی. مطلب دوم فقط لینک داخلی می‌گیره، و مطلب سوم رو به حال خودش ول می‌کنی که فقط از راه سایت‌مپ پیدا بشه. حالا هر روز آدرس هر سه تا رو توی URL Inspection چک کن و تاریخ اولین ایندکس رو یادداشت کن. مثلاً ممکنه به یه همچین جدولی برسی (عددها صرفاً برای مثالن):
| مطلب (فرضی) | کاری که انجام شد | فاصله تا اولین ایندکس (مثال) |
|---|---|---|
| مطلب اول | لینک داخلی + Request Indexing | ۱ روز |
| مطلب دوم | فقط لینک داخلی | ۳ روز |
| مطلب سوم | فقط سایت‌مپ | ۹ روز |
نتیجه‌ی سایت تو احتمالاً فرق می‌کنه، ولی همین تست ساده نشونت می‌ده کدوم روش روی سایت خودت بیشتر جواب می‌ده. موقع چک کردن توی URL Inspection، تا وقتی صفحه ایندکس نشده پیام «URL is not on Google» رو می‌بینی. وقتی ایندکس شد، پیام عوض می‌شه به «URL is on Google» و اگه بخش Page indexing رو باز کنی، جلوی «Last crawl» تاریخ و ساعت آخرین کرال رو نشونت می‌ده؛ همون تاریخیه که باید توی جدولت بنویسی. یه راه دیگه هم اینه که توی گزارش Performance، آدرس صفحه رو فیلتر کنی و ببینی اولین ایمپرشن کِی ثبت شده.
چک‌لیست ایندکس سریع بعد از انتشار هر مطلب
- مطمئن شو صفحه noindex نیست و توی robots.txt مسدود نشده.
- چک کن مطلب توی سایت‌مپ اومده و lastmod درستی داره.
- از دو سه تا مطلب مرتبط و پربازدید بهش لینک بده.
- یه بار از URL Inspection درخواست ایندکس بده.
- چند روز بعد وضعیتش رو توی سرچ کنسول چک کن و اگه «Crawled – currently not indexed» شد، برو سراغ کیفیت محتوا.
اگه ترجیح می‌دی کل این فرایند، از سلامت فنی تا استراتژی محتوا، رو یه تیم متخصص برات مدیریت کنه، یه نگاهی به خدمات سئو سایت محتوا لوکس بنداز.
سوالات متداول
مطلب جدید چقدر طول می‌کشه تا ایندکس بشه؟
عدد ثابتی نداره. خود گوگل می‌گه کرال شدن یه صفحه ممکنه از چند روز تا چند هفته طول بکشه. توی سایت‌هایی که اعتبار خوب، ساختار لینک داخلی منظم و سایت‌مپ به‌روز دارن، مطالب جدید معمولاً خیلی سریع‌تر کرال می‌شن؛ ولی برای سایت‌های تازه‌تأسیس یا سایت‌هایی که مشکل فنی دارن، این زمان بیشتره.
با IndexNow می‌تونم مطالبم رو توی گوگل سریع‌تر ایندکس کنم؟
نه. گوگل عضو پروتکل IndexNow نیست و این روش فقط روی Bing، Yandex و چند تا موتور جستجوی دیگه اثر داره. برای گوگل، راه‌های اصلی همون سرچ کنسول، سایت‌مپ و لینک داخلیه.
اگه چند بار درخواست ایندکس بدم، سرعتش بیشتر می‌شه؟
نه. طبق مستندات گوگل، ارسال دوباره‌ی یه آدرس باعث نمی‌شه سریع‌تر کرال بشه. یه بار درخواست کافیه.
منابع
- Ask Google to recrawl your URLs
- Using the Indexing API
- Sitemaps ping endpoint is going away
- Optimize your crawl budget
- IndexNow: participating search engines
- Google will be testing IndexNow
