رفع خطای واکشی صفحه

اگر هنگام بررسی URL خود در Google Search Console با خطای Failed: Hostload  مواجه شدید، به این معنی است که Google سرعت خزیدن کرولرهای خود را در سایت شما کاهش داده یا نمی تواند افزایش دهد. همانطور که در دوره سئو تاکید شده است افزایش نرخ کرول سایت یکی از دغدغه های کارشناسان سئو سایت های می باشد.

هر دو موقعیت احتمالاً به دلیل ناتوانی سرور شما در اجرای درخواست‌های خزش Google است. گاهی اوقات، ممکن است گوگل نرخ ارسال آن درخواست ها را کاهش داده باشد، زیرا به ظرفیت تخمینی سرور شما رسیده است. یعنی به این نتیجه رسیده است که ظرفیت خزش و پاسخ به درخواست ها از طرف سرور شما کم است و بودجه کمتری را برای خزش سایت شما در نظر می گیرد.

در این مقاله، ما به شما نشان خواهیم داد که چگونه خطای Failed: Hostload را شناسایی و رفع کنید و به Google این سیگنال را ارسال کنید که سرور شما می‌تواند درخواست‌های بیشتری را انجام دهد.

چگونه گوگل ظرفیت سرور شما را تخمین می زند

سوال اصلی این است که گوگل با توجه به چه مواردی ظرفیت سرور را برای پاسخگویی به درخواست های خزش تخمین می زند. فرآیند خزیدن از منابع سایت استفاده می کند. وقتی سایتی فاقد منابع کافی برای پشتیبانی از خزیدن باشد، بیش از حد بارگذاری شده و کند می شود یا از کار می افتد. برای جلوگیری از این امر، Google ظرفیت سرور شما را تخمین می زند و درخواست های خزیدن خود را زیر این ظرفیت نگه می دارد تا درخواست اضافه تر از ظرفیت سرور به سمت سرور ارسال نشود.

توجه به این نکته ضروری است که ظرفیت سرور تخمینی شما بر اساس ظرفیت واقعی سرور شما نیست. Google نمی تواند ظرفیت واقعی سرور شما را تعیین کند. در عوض، آن را بر اساس چندین معیار تخمین می زند. بسته به این معیارها، گوگل می تواند تصمیم بگیرد که نرخ خزیدن در سایت شما را افزایش یا کاهش دهد.

رفع خطای واکشی صفحه ناموفق ( خطای بیش از حد بارگذاری میزبان )

برای رفع خطای Fetch Page Failed: Hostload بیش از حد، باید معیارهایی را که Google برای تخمین ظرفیت سرور شما استفاده می‌کند، بهبود ببخشید. وقتی این کار را انجام می‌دهید، به Google اعلام کرده‌اید که سرور شما می‌تواند بار اضافی را تحمل کند.

به Google اجازه دهید محدودیت سرعت خزیدن شما را تعیین کند

قبل از اینکه معیارهای خود را بهبود بخشید، می‌خواهید مطمئن شوید که به گوگل دستور نداده‌اید که سرعت خزیدن در سایت شما را کاهش دهد.

برای انجام این کار، به Search Console Site Settings جستجو بروید و تأیید کنید که گزینه Let Google optimize for my site انتخاب شده است. اگر نه، آن را انتخاب کنید و مانند تصویر زیر روی Save کلیک کنید.

خطاهای سرور خود را برطرف کنید

برای شناسایی خطاها در سرور خود، به گوگل سرچ کنسول بروید. در نوار کناری سمت چپ، به پایین بروید و روی تنظیمات کلیک کنید. پس از اتمام، به گزینه Crawl stats بروید و روی OPEN REPORT کلیک کنید، همانطور که در زیر نشان داده شده است.

در صفحه گزارش Crawl stats، مانند شکل زیر، روی فلش متصل به گزینه Host status کلیک کنید.

سپس مطابق شکل زیر، روی فلش متصل به گزینه Server connectivity کلیک کنید.

یک نمای کلی از نحوه پاسخ سرور شما به درخواست‌های خزیدن Google در 90 روز گذشته به شما ارائه می‌شود. کرست ها نشان دهنده خطاهای سروری است که گوگل در سایت شما با آن مواجه شده است.

اگر درخواست های ناموفق زیادی دارید، باید برای پشتیبانی با میزبان خود تماس بگیرید.

توجه: خطاهای سرور ممکن است برای مدت کوتاهی ادامه داشته باشد. در حالی که ممکن است در طول آزمایش زنده با هیچ خطای سرور مواجه نشوید، ممکن است Google هنگام بازدید از سایت شما آن را تجربه کرده باشد. اگر گزارش آمار Crawl مقادیر غیرعادی خطاهای سرور را نشان می‌دهد، باید برای راه‌حل با میزبان خود تماس بگیرید، حتی اگر آزمایش زنده خلاف آن را نشان دهد.

تعداد درخواست های صفحه خود را کاهش دهید

شما می توانید بارگذاری صفحه خود را با یک افزونه کاهش دهید. اگر یکی را نصب کرده‌اید، باید تنظیمات را بررسی کنید تا مطمئن شوید تنظیمات minify و cache فعال هستند.

اگر افزونه ای را نصب نکرده‌اید، می‌توانید WP Rocket یا W3 Total Cache را نصب کنید.

سرعت صفحه خود را بهبود بخشید

یک سایت سریع نشان دهنده یک سرور سالم است. اگر سرعت وب‌سایت شما پایین است، میزبان وب خود را ارزیابی کنید و تغییر یا به‌روزرسانی به سرور بهتری را در نظر بگیرید. مقاله روش های افزایش سرعت سایت را می توانید مطالعه کنید.

برای تأیید سرعت صفحه فعلی خود، به PageSpeed Insights بروید و URL خود را در جعبه متن قرار دهید. پس از اتمام، مطابق شکل زیر، روی Analyze کلیک کنید.

اطلاعاتی در مورد سرعت صفحه به شما ارائه می شود. برای دریافت اطلاعات بیشتر در مورد سرعت صفحه خود می توانید روی Expand view کلیک کنید.

می توانید به بخش OPPORTUNITIES بروید و به دنبال پیشنهادهایی برای بهبود سرعت صفحه خود باشید.

خطای واکشی صفحه ناموفق بود: خطای بیش از حد بار میزبان باید پس از انجام مراحل بالا ناپدید شود. اگر این وضعیت ادامه داشت، بسته میزبانی فعلی شما باید بهبود یابد. شما باید به یک بسته میزبانی بالاتر ارتقا دهید یا هاست خود را تغییر دهید.