فرض کن یه فروشگاه بزرگ داری با هزاران محصول، ولی گوگل هر روز فقط وقت داره چند صد تا از صفحههات رو سر بزنه. حالا اگه این وقت محدود صرف صفحههایی بشه که اصلاً برات مهم نیستن، چه اتفاقی برای صفحههای واقعاً مهمت میافته؟
کرال باجت (Crawl Budget) دقیقاً همین مفهومه؛ یعنی گوگل و بقیه موتورهای جستوجو چقدر وقت و منابع برای بررسی سایت تو کنار میذارن. اگه این منابع محدود درست مدیریت نشه، ممکنه صفحههای مهم سایتت هیچوقت دیده و ایندکس نشن. تو این مقاله میخوایم کامل و عمیق بریم سراغ اینکه کرال باجت دقیقاً چیه، چطور محاسبه میشه، چه چیزهایی هدرش میدن و مهمتر از همه، چطور میشه افزایشش داد و ازش بهترین استفاده رو کرد.
کرال باجت دقیقاً یعنی چی؟
وب یه فضای تقریباً بینهایته و گوگل هرچقدر هم قدرتمند باشه، نمیتونه همهی صفحههای موجود توی اینترنت رو بررسی و ایندکس کنه. به همین خاطر گوگل برای هر سایت یه سقف زمانی و منابعی در نظر میگیره که بهش میگن کرال باجت.
به زبان ساده، کرال باجت یعنی تعداد صفحاتی که رباتهای گوگل (مثل Googlebot) در یه بازهی زمانی مشخص حاضرن و میتونن روی سایت تو کرال کنن. نکتهی جالب اینه که این محدودیت فقط مربوط به صفحات HTML نیست؛ فایلهای جاوااسکریپت، فایلهای CSS، نسخههای موبایل صفحات، نسخههای hreflang و حتی فایلهای PDF هم جزو همین بودجه حساب میشن.
پس وقتی میگیم کرال باجت، منظورمون هر سندی هست که موتور جستوجو باید برای فهمیدن و پردازش سایتت بررسی کنه، نه فقط خودِ صفحات محتوایی.
هر دامنه یا سابدامین هم بهصورت جداگانه بودجهی خودش رو داره. یعنی اگه سایت اصلیت www.example.com باشه و یه سابدامین جدا مثل blog.example.com هم داشته باشی، این دو تا کرال باجت کاملاً مستقل از هم دارن و باید هر کدوم رو جداگانه مدیریت کنی.
کرال باجت از چه دو بخش اصلی تشکیل شده؟
گوگل توی مستندات رسمی خودش میگه که کرال باجت حاصل ترکیب دو عامل مجزاست: محدودیت ظرفیت کرال و تقاضای کرال.
این دو با هم مشخص میکنن که در نهایت چقدر و کدوم صفحات سایتت کرال میشن.
محدودیت ظرفیت کرال
این بخش در واقع نشوندهندهی اینه که سرور تو چقدر تحمل درخواست داره. گوگل نمیخواد با فرستادن درخواستهای زیاد سرورت رو از کار بندازه، پس یه سقف برای تعداد اتصالهای همزمانی که میتونه برای کرال کردن سایتت استفاده کنه در نظر میگیره.
این سقف ثابت نیست و دائم بالا و پایین میره. اگه سایتت مدتی سریع و بدون خطا جواب بده، گوگل این حد رو بالا میبره و اتصالهای بیشتری برای کرال باز میکنه. اما اگه سایتت کند بشه یا خطاهای سرور زیاد بده، گوگل فوراً این محدودیت رو پایین میاره تا فشار بیشتری روی سرور ضعیفت نیاره.
علاوه بر این، خود گوگل هم منابع محدودی داره؛ با اینکه هزاران ماشین در اختیار داره، بازم بینهایت نیست و باید بین میلیونها سایت دنیا اولویتبندی کنه. تو Search Console هم امکانی هست که مالک سایت بتونه بهصورت دستی نرخ کرال رو کاهش بده، ولی افزایش دستی این نرخ معمولاً امکانپذیر نیست.
تقاضای کرال
حتی اگه سرورت ظرفیت بالایی داشته باشه و محدودیت کرال بالا باشه، اگه گوگل تقاضای زیادی برای بازدید از سایتت نداشته باشه، بازم کرال کمی روی سایتت انجام میده. تقاضای کرال یعنی گوگل چقدر واقعاً علاقهمند و مشتاقه که سایتت رو کرال کنه، و این خودش به چند عامل بستگی داره.
اولین عامل، محبوبیت صفحاته. صفحاتی که بکلینک بیشتری دارن یا ترافیک بالاتری میگیرن، در اولویت کرال شدن قرار میگیرن؛ چون گوگل فرض میکنه محتوای ارزشمندتری دارن و میخواد نسخهی تازهشون رو توی ایندکس نگه داره.
عامل دوم، تازگی محتواست. سیستمهای گوگل سعی میکنن صفحاتی که مدام آپدیت میشن رو با فاصلهی کمتری دوباره کرال کنن تا تغییرات جدید رو ثبت کنن. مثلاً یه سایت خبری که هر روز مطلب جدید منتشر میکنه، تقاضای کرال خیلی بالاتری نسبت به یه سایت ساده و ایستا داره.
عامل سوم هم رویدادهای بزرگ سایته؛ مثل جابهجایی دامنه یا تغییر ساختار URLها. وقتی همچین اتفاقی میافته، تقاضای کرال بهطور موقت افزایش پیدا میکنه چون گوگل باید محتوا رو زیر آدرسهای جدید دوباره پردازش کنه.
و یه عامل دیگه که کمتر بهش توجه میشه، «موجودی درکشده» یا Perceived Inventory ئه. یعنی بدون راهنمایی از طرف تو، گوگل سعی میکنه همهی URLهایی که ازشون خبر داره رو کرال کنه؛ حتی اگه تکراری یا بیارزش باشن. اینجاست که مدیریت درست URL Inventory اهمیت پیدا میکنه.
اصلاً کرال باجت برای همه سایتها مهمه؟
جواب کوتاه: نه، همیشه نه.
اگه سایتت کوچیکه و صفحات جدیدت همون روزی که منتشر میشن کرال و ایندکس میشن، اصلاً لازم نیست نگران کرال باجت باشی. گوگل و بقیه موتورهای جستوجو معمولاً توی پیدا کردن و ایندکس کردن سایتهای کوچیک خیلی خوب عمل میکنن.
اما یه سری سایتها هستن که واقعاً باید به فکر کرال باجت باشن. اگه سایتت بیش از چند هزار صفحه داره (مثلاً یه فروشگاه اینترنتی بزرگ)، اگه اخیراً یه بخش جدید با صفحات زیاد به سایتت اضافه کردی، اگه پارامترهای URL و ناوبری فسِتد (Faceted Navigation) زیاد داری، یا اگه سابقهی مشکلات فنی توی سایتت وجود داشته، احتمالاً کرال باجت روی رتبهبندی و ایندکس شدنت تأثیر مستقیم میذاره.
Faceted Navigation یعنی سیستم فیلترهایی که توی سایتهای فروشگاهی میبینی؛ مثل فیلتر رنگ، سایز، برند، قیمت و غیره که کاربر میتونه ترکیبشون کنه.
مشکل اینه که هر ترکیب از فیلترها معمولاً یه URL جدید با پارامتر میسازه (مثل ?color=black&size=m)، در حالی که محتوای صفحه تقریباً همون محصولاته. اگه کنترلش نکنی، میتونه هزاران URL تکراری بسازه و کرال باجتت رو سریع هدر بده.
یه نکتهی مهم دیگه اینه که کرال شدن، بهتنهایی فاکتور رتبهبندی نیست. یعنی افزایش کرال باجت بهخودیخود باعث بهتر شدن رتبهت نمیشه. اما از اونجایی که کرال، اولین گام از سه گام کرال-ایندکس-رتبهبندیه، اگه گوگل اصلاً صفحهت رو نبینه، امکان نداره اون صفحه بتونه ایندکس بشه یا جایی توی نتایج جستوجو ظاهر بشه. پس غیرمستقیم، تأثیر خیلی زیادی روی موفقیت سئوی سایتت داره.
چه چیزهایی کرال باجت رو هدر میده؟
حالا بریم سراغ بخش کلیدی ماجرا؛ رایجترین دلایلی که باعث میشن کرال باجت بیدلیل مصرف بشه و صفحات مهم سایتت از دید گوگل جا بمونن.
URLهای دارای پارامتر
یکی از رایجترین دلایل هدر رفتن کرال باجت، پارامترهای URL هستن. مثلاً یه آدرس مثل example.com/toys/cars?color=black که یه فیلتر رنگ روی محصولات اعمال میکنه. این پارامترها میتونن تعداد تقریباً بینهایتی URL جدید تولید کنن، در حالی که محتوای اصلی صفحه هیچ فرقی نکرده. این حالت خصوصاً توی سایتهای فروشگاهی که فیلتر محصول دارن خیلی رایجه.
محتوای تکراری
وقتی چند تا URL دقیقاً محتوای یکسان یا خیلی شبیه به هم رو نشون میدن، گوگل مجبوره وقتش رو صرف کرال کردن همهی این نسخهها کنه، در حالی که فقط یکیشون واقعاً لازمه.
دامهای خزنده
اینها مشکلات ساختاریای هستن که باعث میشن خزندهها توی تعداد نامحدودی URL بیربط گیر بیفتن. رایجترین نمونههاش شامل حلقههای ریدایرکت، لینک به جستجوهای داخلی سایت، محتوای داینامیک تولیدشده، و صفحات تقویم بینهایت (مثل صفحهی تقویم رویداد که برای هر ماه یه URL جدید تولید میکنه) هستن. این دامها نهتنها کرال باجت رو هدر میدن، بلکه معمولاً باعث ایجاد محتوای تکراری زیادی هم میشن.
خطاهای سرور و ریدایرکتهای زنجیرهای
اگه گوگل با تعداد زیادی کد خطای ۴xx یا ۵xx مواجه بشه، این یعنی تجربهی کرالِ بدی داشته و همین میتونه باعث بشه کرال رو زودتر متوقف کنه. زنجیرههای ریدایرکت طولانی هم همینطور؛ هر پرش اضافه یعنی مصرف بیشتر منابع محدود کرال.
سافت ۴۰۴ها (Soft 404)
این یه نوع خطای مخفیه؛ صفحهای که در واقع محتوایی نداره یا وجود نداره، اما بهجای برگردوندن کد ۴۰۴ واقعی، کد ۲۰۰ برمیگردونه. این صفحات همچنان کرال میشن و منابع رو هدر میدن، بدون اینکه هیچ ارزشی داشته باشن.
استفادهی اشتباه از noindex
خیلیها فکر میکنن اگه یه صفحه رو noindex کنن، دیگه کرال باجت مصرف نمیکنه. اما واقعیت اینه که گوگل باید اول صفحه رو کرال کنه تا اصلاً بفهمه توش تگ noindex هست یا نه. پس noindex برای کنترل ایندکسشدن خوبه، ولی برای صرفهجویی در کرال باجت اصلاً روش مناسبی نیست.
بلاک کردن موقت با robots.txt
استفاده از robots.txt برای بلاک کردن موقتی یه بخش از سایت، بهقصد اینکه بودجهی کرال به بخش دیگهای منتقل بشه، معمولاً جواب نمیده. گوگل این بودجهی آزادشده رو به بخشهای دیگه منتقل نمیکنه مگر اینکه واقعاً به سقف ظرفیت سرویسدهی سایتت رسیده باشه.
بودجهی کرال، حتی منابع جانبی صفحه رو هم شامل میشه
یه نکتهی خیلی مهم که خیلیها ازش غافلن اینه که کرال باجت فقط مربوط به خود صفحهی HTML نیست.
امروزه صفحات وب پیچیدهتر از قبل شدن؛ اندازهی متوسط یه صفحهی موبایل توی چند سال اخیر چند برابر شده و حالا هر صفحه ممکنه دهها فایل جداگانه از تصویر گرفته تا کامپوننتهای تعاملی رو لود کنه.
وقتی گوگل صفحهت رو رندر میکنه، باید جاوااسکریپت و CSS مرتبط باهاش رو هم دانلود و پردازش کنه، و همین کار بخشی از کرال باجت هاست همون منابع رو مصرف میکنه. برای همین توصیه میشه از حداقل منابع لازم برای تجربهی خوب کاربری استفاده کنی؛ هرچقدر منابع کمتری برای رندر شدن صفحه لازم باشه، کرال باجت کمتری هم موقع رندر مصرف میشه.
نکتهی خوب اینه که سیستم رندرینگ گوگل معمولاً فایلهای جاوااسکریپت و CSS رو تا سی روز کش میکنه تا مجبور نباشه هر بار از اول اونها رو دانلود کنه. این کش کردن به حفظ کرال باجت برای کارهای دیگه کمک میکنه.
چطور کرال باجت رو افزایش بدیم و بهینهش کنیم؟
حالا وقتشه بریم سراغ راهکارهای عملی. اینها تکنیکهایی هستن که واقعاً میتونن کمک کنن گوگل زمان و منابعش رو روی صفحات مهم سایتت متمرکز کنه.
سرعت سایتت رو بالا ببر
این شاید مهمترین فاکتور باشه. وقتی سایتت سریع لود میشه، گوگل میتونه با همون تعداد اتصال، محتوای بیشتری رو کرال کنه. یه سرعت بالا برای گوگل نشونهی سلامت سرورته، و همین باعث میشه محدودیت ظرفیت کرال رو براحتی بالاتر ببره. برعکس، صفحات کند وقت گرانبهای گوگل رو هدر میدن و فرصت کرال شدن صفحات دیگه رو میگیرن.
کدهای وضعیت HTTP رو درست مدیریت کن
برای صفحاتی که واقعاً حذف شدن، حتماً کد ۴۰۴ یا ۴۱۰ برگردون. گوگل هیچوقت URLای که ازش خبر داره رو کاملاً فراموش نمیکنه، اما دیدن کد ۴۰۴ یه سیگنال قویه که دیگه لازم نیست اون آدرس دوباره کرال بشه. در مقابل، صفحاتی که فقط بلاک شدن (نه حذف)، همچنان توی صف کرال باقی میمونن و به محض برداشتن بلاک، دوباره کرال میشن.
۴۰۴های سافت رو پیدا و برطرف کن
توی گزارش Index Coverage توی سرچ کنسول میتونی سافت ۴۰۴ها رو پیدا کنی. این صفحات باید یا محتوای واقعی بگیرن، یا با کد ۴۰۴ واقعی جواب بدن، یا با ریدایرکت ۳۰۱ به یه صفحهی مرتبط هدایت بشن.
محتوای تکراری رو یکپارچه کن
اگه چند تا نسخه از یه صفحه داری، سعی کن بهترین نسخه رو انتخاب کنی و بقیه رو یا حذف کنی، یا با تگ کنونیکال به نسخهی اصلی اشاره کنی. این کار باعث میشه سیگنالهای ارتباط موضوعی و اعتبار صفحه هم روی همون نسخهی اصلی متمرکز بشه، نه پخش بین چندین آدرس مشابه.
URLهای دارای پارامتر رو کنترل کن
اگه پارامترهای فیلتر یا مرتبسازی داری که محتوای صفحه رو عوض نمیکنن، بهتره اینها برای موتورهای جستوجو قابلدسترس نباشن. میتونی از robots.txt، تگ کنونیکال، یا تنظیمات مدیریت پارامتر توی ابزارهای وبمستری برای این کار استفاده کنی.
ساختار لینکسازی داخلی رو قوی کن
لینکهای داخلی راه اصلی گوگل برای کشف صفحات جدید و رسیدن به صفحاتیه که عمیقتر توی ساختار سایت قرار دارن. اگه یه صفحه هیچ لینک داخلی به سمتش نداشته باشه (که بهش میگن «صفحهی یتیم»)، ممکنه اصلاً کشف نشه یا خیلی دیر کرال بشه. یه ساختار سایت مسطح و منظم، با دسترسی راحت از صفحهی اصلی به دستهبندیهای اصلی و از اونجا به صفحات جزئیتر، هم به کاربر و هم به گوگل کمک میکنه.
سایتمپ رو تمیز و بهروز نگه دار
سایتمپ XML به گوگل کمک میکنه دستهجمعی از URLهای مهم سایتت باخبر بشه، بهجای اینکه هرکدوم رو دستی معرفی کنی. مطمئن شو سایتمپت فقط شامل صفحات معتبر و قابلایندکسه، بعد از هر تغییر خودکار آپدیت میشه، و برای سایتهای بزرگ (مثلاً بیشتر از ده هزار صفحه) بهتره به چند فایل کوچیکتر تقسیمش کنی تا تحلیل مشکلات هر بخش راحتتر باشه.
گزارش Crawl Stats توی سرچ کنسول رو مرتب چک کن
این گزارش دقیقاً نشون میده گوگل چند تا درخواست به سایتت زده، چه نوع فایلهایی کرال شده، و چه کدهای وضعیتی برگشته. با چک کردن مرتب این گزارش، میتونی خیلی زود متوجه بشی اگه گوگل داره وقتش رو صرف بخشهای اشتباه سایت میکنه.
آنالیز فایل لاگ سرور
این یکی از دقیقترین راهها برای فهمیدن رفتار واقعی رباتهای گوگله. با بررسی لاگهای خام سرور میتونی ببینی چه درصدی از درخواستها به URLهای بدون پارامتر بوده، چقدر گوگل داره روی فایلهایی مثل فونتهای سفارشی که بهندرت تغییر میکنن وقت میذاره، و کدوم بخشهای سایتت بیشترین خطای ۴xx و ۵xx رو دارن.
مدرنسازی زیرساخت فنی
استفاده از تکنیکهایی مثل رندرینگ داینامیک (که یه نسخهی از پیش رندرشده از صفحات جاوااسکریپتی به ربات گوگل میده) میتونه بار سرور رو کم کنه و سرعت کرال رو بالا ببره. همینطور ابزارهای مبتنی بر هوش مصنوعی میتونن ساختار سایت رو تحلیل کنن، متادیتا رو بهینه کنن و اولویتبندی دقیقتری برای صفحات مهم انجام بدن.
چند تا باور غلط رایج دربارهی کرال باجت
بعضی از باورهای غلط دربارهی کرال باجت خیلی زیاد بین صاحبان سایت رواج داره، پس بد نیست چندتاشون رو روشن کنیم.
فکر نکن فشرده کردن سایتمپ باعث افزایش کرال باجت میشه؛ چون سایتمپ فشردهشده هم باید از سرور دانلود بشه، پس تفاوت چندانی توی زمان یا تلاش کرال ایجاد نمیکنه.
این باور هم اشتباهه که گوگل همیشه محتوای تازه رو به محتوای قدیمی ترجیح میده. برای گوگل، کیفیت محتوا مهمتر از تازگی صرفه؛ صرفاً تغییر دادن تاریخ صفحه یا اصلاحات جزئی و ظاهری، ارزش اضافهای ایجاد نمیکنه.
یه باور غلط دیگه اینه که گوگل از URLهای دارای پارامتر خوشش نمیاد و اونها رو کرال نمیکنه. در واقعیت، گوگل کاملاً قادر به کرال کردن پارامترهاست؛ فقط باید مراقب باشی این پارامترها باعث تولید حجم زیادی صفحهی تکراری نشن.
قانون غیررسمی crawl-delay توی robots.txt هم توسط رباتهای گوگل پردازش نمیشه، پس اگه فکر میکردی با این دستور میتونی سرعت کرال گوگل رو کنترل کنی، باید بدونی که این روش براش کار نمیکنه.
و نکتهی آخر، خیلیها فکر میکنن کرال شدن بهتنهایی یه فاکتور رتبهبندیه. اما همونطور که گفتیم، کرال فقط اولین قدم از سه قدم لازم برای دیده شدن یه صفحه در نتایج جستوجوئه؛ خودِ کرال شدن مستقیماً روی رتبه تأثیر نمیذاره، بلکه پیشنیازیه که بدون اون هیچکدوم از مراحل بعدی اتفاق نمیافتن.
یه نکتهی تازه؛ رباتهای هوش مصنوعی و کرال باجت
این روزها یه عامل جدید هم وارد این معادله شده؛ رباتهای شرکتهای هوش مصنوعی که برای تغذیهی ابزارهاشون، در مقیاس گسترده وب رو کرال میکنن.
کرال باجت بهطور رسمی همچنان دربارهی Googlebot تعریف میشه، اما یه اثر جانبی مهم وجود داره؛ گوگل صراحتاً میگه که اگه سایتی کند بشه یا خطای سرور بده، نرخ کرالش پایین میاد. حالا وقتی موج زیادی از رباتهای هوش مصنوعی هم به سرورت درخواست میزنن، همین میتونه سرعت سایتت رو پایین بیاره و غیرمستقیم روی کرال باجت گوگل هم اثر منفی بذاره.
پس پیشنهاد میشه لاگهای سرورت رو برای شناسایی user-agentهای مربوط به رباتهای هوش مصنوعی هم بررسی کنی. اگه دیدی این رباتها منابع زیادی مصرف میکنن، میتونی دسترسیشون رو از طریق robots.txt یا تنظیمات CDN محدود کنی.