وقتی صفحات محصولِ واقعیِ یک فروشگاه به‌کندی خزش می‌شوند و در همان حال سرچ کنسول پر می‌شود از URLهایی که هیچ‌کس نمی‌شناسد، این نشانه‌ی کلاسیکِ هدررفت بودجه‌ی خزش در جای اشتباه است. در یک پروژه‌ی ووکامرس که تحویل گرفتم، ریشه‌ی ماجرا به یک آلودگی بدافزاری قدیمی برمی‌گشت که هزاران URL بی‌ارزشِ قابل‌ایندکس ساخته بود.
تشخیص علت
با کمک گزارش Pages در سرچ کنسول و یک خزش کامل، الگوی URLهایی را که بدافزار ساخته بود شناسایی کردم و مطمئن شدم همه بن‌بست‌اند — بدون محتوای واقعی، اما کاملاً قابل‌خزش.
بودجه‌ی خزش محدود است: هر URL بی‌ارزشی که ربات می‌خزد، یعنی یک صفحه‌ی واقعی که خزش نمی‌شود. در یک فروشگاه بزرگ، این تفاوت مستقیماً در سرعت ایندکس‌شدن محصولات جدید و به‌روزشده دیده می‌شود.
پاک‌سازی
الگوهای URL مخرب را حذف و مسدود کردم، کدهای وضعیت درست را برگرداندم (۴۱۰ برای حذف‌شده‌ها و ۳۰۱ در جایی که مقصد واقعی وجود داشت)، قوانین robots را سخت‌گیرانه‌تر کردم و نقشه‌های XML تمیزی ساختم که فقط صفحات ارزشمند برای ایندکس را فهرست می‌کردند.
سپس پیکربندی سرچ کنسول را اصلاح کردم و با ابزار حذف، کنارگذاشتنِ بدترین موارد از ایندکس را سرعت بخشیدم.
محافظت از بودجه‌ی خزش در ادامه
گام آخر پیشگیرانه بود: مقاوم‌سازی سایت، پایش پوشش ایندکس و راه‌اندازی هشدارها تا جهش ناگهانی در تعداد URLهای ایندکس‌شده زود شناسایی شود، نه ماه‌ها بعد.
نتیجه، خزشی تمیز و کارآمد بود که روی صفحات واقعاً مهم متمرکز شد — و پایه‌ای فنی و پایدار برای رشد آینده‌ی سئو.