رفع خطای واکشی صفحه در ابزار Google Search Console

اگر در پنل Google Search Console هنگام بررسی وضعیت ایندکس صفحات سایتتان با پیام Fetch Page Failed: Hostload مواجه شده‌اید، یعنی ربات خزنده گوگل (Googlebot) نتوانسته صفحات سایت شما را به‌درستی بخواند و در نتیجه نرخ خزش (Crawl Rate) دامنه شما کاهش یافته یا افزایش پیدا نمی‌کند. این مشکل می‌تواند به ایندکس ضعیف‌تر، کند شدن ثبت مقالات جدید در گوگل و افت سئو منجر شود. همانطور که می‌دانید افزایش نرخ کرول سایت یکی از دغدغه‌های مهم کارشناسان سئو است.

خطای Failed: Hostload در سرچ کنسول یعنی چه؟

خطای Failed: Hostload (که با عنوان «بیش از حد بارگذاری میزبان» هم شناخته می‌شود) یکی از خطاهای Crawl در Google Search Console است. این خطا زمانی نمایش داده می‌شود که Googlebot تلاش کرده صفحه‌ای از سایت شما را خزش کند، اما سرور شما توانایی پاسخ‌دهی را نداشته یا پاسخ بسیار کندی داده است.

به عبارت ساده: گوگل به این نتیجه رسیده که سرور شما زیر بار است و ارسال درخواست‌های بیشتر ممکن است آن را از کار بیندازد.

این خطا با موارد زیر تفاوت دارد:

• خطای 500 (Server Error): سرور پاسخ داده اما با خطا
• خطای 404 (Not Found): صفحه وجود ندارد
• خطای Hostload: سرور اصلاً نمی‌تواند یا خیلی کند پاسخ می‌دهد

چرا کرولر گوگل با خطای Hostload مواجه می‌شود؟

Googlebot پیوسته صفحات سایت‌ها را می‌خزد و ایندکس می‌کند. برای جلوگیری از اینکه این فرایند باعث افت عملکرد سرور شود، گوگل ظرفیت سرور را مداوم رصد می‌کند. اگر سرور شما در پاسخ‌دهی به درخواست‌های Googlebot کند باشد یا خطا برگرداند، گوگل به این نتیجه می‌رسد که:

• سرور اشباع شده و منابع CPU یا RAM کافی ندارد
• نرخ خزش باید کاهش پیدا کند تا سایت برای کاربران واقعی در دسترس بماند
• بودجه خزش (Crawl Budget) کمتر شود و تعداد صفحات خزیده‌شده روزانه کاهش یابد

چگونه گوگل ظرفیت سرور را برای خزش تخمین می‌زند؟

گوگل ظرفیت واقعی سرور شما را نمی‌داند. در عوض، این ظرفیت را بر اساس چند معیار تخمین می‌زند:

• زمان پاسخ‌دهی سرور (TTFB): چقدر طول می‌کشد تا اولین بایت پاسخ برسد
• نرخ خطاهای HTTP: چند درصد از درخواست‌های Googlebot با خطای 5xx مواجه شده‌اند
• اتصال‌پذیری سرور: آیا سرور اصلاً قابل دسترس بوده یا نه
• تاریخچه ۹۰ روزه خزش: الگوی رفتاری سرور در بازه بلندمدت

نکته مهم: اگر سرور در ساعات پرترافیک کُند شود — حتی اگر در آزمایش لحظه‌ای سریع باشد — گوگل همان تجربه بدتر را به‌عنوان معیار ثبت کرده است.

رفع خطای Failed: Hostload در گوگل سرچ کنسول

برای رفع این خطا باید معیارهایی که گوگل برای تخمین ظرفیت سرور استفاده می‌کند را بهبود بخشید تا به Googlebot نشان دهید سرور شما می‌تواند درخواست‌های بیشتری تحمل کند.

گام اول: بررسی خطاهای سرور از طریق Crawl Stats

اول باید ببینید Googlebot در ۹۰ روز اخیر با چه میزان خطا روبرو شده است:

1. وارد Google Search Console شوید
2. از منوی چپ به Settings بروید
3. گزینه Crawl Stats را پیدا کنید و روی Open Report کلیک کنید
4. در صفحه گزارش، بخش Host Status را باز کنید
5. روی Server Connectivity کلیک کنید

در نمودار نمایش داده‌شده، هر نقطه خطا نشان‌دهنده یک مشکل سرور است که Googlebot با آن مواجه شده. اگر این نقاط زیاد هستند، با هاستینگ خود تماس بگیرید و لاگ‌های سرور را در بازه زمانی همان خطاها بررسی کنید.

توجه: خطاهای سرور ممکن است در آزمایش زنده (Live Test) نمایش داده نشوند، اما گوگل ممکن است در بازدیدهای قبلی آن‌ها را تجربه کرده باشد. اگر Crawl Stats مقادیر غیرعادی نشان می‌دهد، حتماً با میزبان خود مشورت کنید.

گام دوم: کاهش تعداد درخواست‌های HTTP هر صفحه

هر صفحه وب برای لود شدن درخواست‌های متعددی ارسال می‌کند (CSS، JS، تصاویر، فونت‌ها). هرچه این درخواست‌ها بیشتر باشند، سرور بیشتر درگیر می‌شود و احتمال اشباع بالا می‌رود.

برای سایت‌های وردپرسی، افزونه‌های کشینگ مثل WP Rocket یا W3 Total Cache را نصب کنید و مطمئن شوید گزینه‌های Minify CSS/JS و Page Caching فعال هستند. همچنین تعداد افزونه‌های فعال را تا حد ممکن کاهش دهید.

گام سوم: بهبود سرعت پاسخ‌دهی سرور (TTFB)

سرعت پایین پاسخ‌دهی سرور یکی از مهم‌ترین سیگنال‌هایی است که گوگل برای تخمین ظرفیت استفاده می‌کند. برای اندازه‌گیری آن، وارد PageSpeed Insights شوید، URL صفحات مهم سایت را آنالیز کنید و به مقدار Time to First Byte (TTFB) در بخش Diagnostics توجه کنید.

مقادیر مرجع TTFB:

• زیر ۲۰۰ms: عالی
• ۲۰۰ تا ۵۰۰ms: قابل قبول
• بالای ۵۰۰ms: نیاز به بهبود فوری

برای کاهش TTFB می‌توانید OPcache در PHP را فعال کنید، از Full Page Cache استفاده کنید، HTTP/2 را روی وب‌سرور فعال کنید و فشرده‌سازی Gzip یا Brotli را فعال کنید. مقاله افزایش سرعت سایت را هم می‌توانید مطالعه کنید.

گام چهارم: ارزیابی و ارتقای پلن هاستینگ

اگر بعد از بهینه‌سازی‌های فوق همچنان خطای Hostload نمایش داده می‌شود، ممکن است منابع سرور ذاتاً کافی نباشند. علائم اینکه نیاز به ارتقا دارید:

• سرور در ساعات پیک به‌کندی پاسخ می‌دهد
• CPU Usage در بازه‌های پرترافیک به ۸۰٪ و بالاتر می‌رسد
• روی هاستینگ اشتراکی (Shared Hosting) هستید

مسیر ارتقای پیشنهادی: Shared Hosting به VPS، و سپس به سرور ابری یا اختصاصی. افزودن CDN مثل Cloudflare هم یک لایه کشینگ اضافه ایجاد می‌کند که بار روی سرور اصلی را به‌شدت کاهش می‌دهد. می‌توانید در صفحه خرید سایت درباره راهکارهای بهینه‌سازی زیرساخت بیشتر بدانید.

چطور بفهمیم خطای Hostload رفع شده؟

بعد از اعمال تغییرات، گوگل نیاز دارد دوباره سایت را بخزد و ظرفیت سرور را ارزیابی کند. این فرایند معمولاً ۲ تا ۴ هفته طول می‌کشد. برای تأیید رفع خطا:

1. در سرچ کنسول، از ابزار URL Inspection یک URL مهم را تست کنید و روی Test Live URL کلیک کنید
2. به بخش Crawl Stats برگردید و ببینید نرخ خطاهای سرور کاهش یافته یا نه
3. نرخ خزش روزانه را رصد کنید — اگر افزایش پیدا کرد، یعنی گوگل ظرفیت سرور را بالاتر تخمین زده

سوالات متداول

آیا خطای Failed: Hostload باعث کاهش رتبه سایت می‌شود؟

بله، به‌صورت غیرمستقیم. وقتی Crawl Budget کاهش پیدا می‌کند، صفحات جدید دیرتر ایندکس می‌شوند و گوگل ممکن است بخش‌هایی از سایت را به‌روز نگه ندارد که این روی رتبه‌بندی تأثیر منفی دارد.

این خطا فقط در سرچ کنسول دیده می‌شود؟

بله. خطای Failed: Hostload یک خطای داخلی Google Search Console مربوط به خزش سایت است و ربطی به محصولات دیگر گوگل ندارد.

اگر سرور در تست زنده خوب است، چرا این خطا می‌آید؟

ممکن است در گذشته یا در ساعات پیک مشکلی وجود داشته که گوگل ثبت کرده است. بررسی لاگ‌های سرور در تاریخ‌هایی که Crawl Stats خطا نشان می‌دهد، کمک می‌کند علت واقعی را پیدا کنید.

چقدر طول می‌کشد خطا برطرف شود؟

پس از رفع مشکل سرور، معمولاً ۲ تا ۶ هفته طول می‌کشد تا گوگل نرخ خزش را افزایش دهد و خطا از سرچ کنسول ناپدید شود.