[wd_asp id=1]
فرض کنید مشتری برای خرید یک محصول به آدرسی میرود که روی کارت تبلیغاتی نوشته شده است. ساختمان وجود دارد، در ورودی باز است و حتی نگهبان نیز حضور دارد؛ اما فروشگاه موردنظر در آن نشانی نیست. اگر نگهبان صادقانه بگوید این فروشگاه اینجا نیست، مشتری با وجود ناراحتی، وضعیت را درک میکند و برای انتخاب فروشگاه بعدی تصمیم میگیرد. این وضعیت در وب شبیه پاسخ ۴۰۴ از سمت سایت شما در نتیجه یک صفحه حذف شده است: سرور به کاربر و رباتهای گوگل اعلام میکند که محتوای درخواستی در این URL وجود ندارد.
حالا شرایط دیگری را تصور کنید. نگهبان میگوید: جای درستی آمدهاید، مشتری را وارد ساختمان میکند و او را به اتاقی خالی میفرستد؛ اتاقی که نه محصولی در آن قرار دارد، نه فروشندهای و نه پاسخی برای نیاز مشتری. در ظاهر، آدرس معتبر بوده و در باز شده است؛ اما آنچه تحویل مشتری میشود با انتظار او ارتباطی ندارد. این همان Soft 404 است: سرور پاسخ موفق، مانند `200 OK`، ارسال میکند، درحالیکه محتوای واقعی صفحه وجود ندارد یا ارزش کافی برای پاسخدادن به درخواست کاربر ندارد.
گوگل در راهنمای رسمی خود توضیح میدهد که URLهای ناموجود باید پاسخ 404 یا 410 بدهند و انتقال آنها به مقصدهای نامرتبط میتواند بهعنوان Soft ۴۰۴ پردازش شود.[۲]
«اگر صفحهای حذف شده است و دیگر وجود ندارد و جایگزین مشابهی هم ندارد، پاسخ ۴۰۴ یا ۴۱۰ مناسب است.»
در این مقاله تفاوت ۴۰۴ و Soft ۴۰۴، اثر آنها بر سئو و فروش، روش شناسایی، تصمیم درست برای مدیریت ارور ۴۰۴ هر URL و رفع این خطا در وردپرس بررسی میشود.
خطای 404 Not Found یک کد وضعیت HTTP است. سرور با این پاسخ اعلام میکند منبع درخواستشده در URL موردنظر پیدا نشده است. ممکن است صفحه حذف شده باشد، آدرس اشتباه نوشته شده باشد یا لینک داخلی به مسیری قدیمی اشاره کند که ریدایرکت هم نشده است.
ظاهر صفحه ۴۰۴ میتواند کاملاً سفارشی باشد، اما معیار اصلی پاسخ Header است. صفحهای که پیام یافت نشد نمایش میدهد ولی پاسخ 200 OK ارسال میکند، ۴۰۴ واقعی نیست.
۴۰۴ میتواند نتیجه طبیعی تغییر و حذف محتواهای سایت باشد، اما باید منشأ ایجاد آن در URL بررسی شود.
پاسخ ۴۰۴ از نظر فنی درست است، اما صفحه خطای بدون مسیر جایگزین میتواند کاربر را از قیف فروش یا قیف محتوایی شما خارج کند. صفحه سفارشی ایجاد شده برای کدها ۴۰۴ باید وضعیت را روشن توضیح دهد و مسیرهایی مانند جستجو، دستههای مهم یا صفحه اصلی را در دسترس یا انتخاب کاربر قرار دهد.
Soft ۴۰۴ کد خاصی در نتیجه پاسخ سرور نیست؛ تشخیصی است که گوگل براساس پاسخ سرور، محتوا و مقصد URL انجام میدهد. این وضعیت معمولاً زمانی رخ میدهد که صفحه ظاهراً ناموجود یا بیارزش است، اما سرور پاسخ 200 میدهد یا URL به مقصدی نامرتبط منتقل میشود.[۳]
برای نمونه، اگر تمام محصولات حذفشده به صفحه اصلی منتقل شوند، پاسخ نهایی ممکن است ۲۰۰ باشد؛ اما صفحه اصلی معادل آن محصولات نیست. گوگل میتواند چنین انتقالی را Soft ۴۰۴ در نظر بگیرد.
گاهی صفحه واقعاً وجود دارد، اما گوگل آن را Soft 404 تشخیص میدهد. علت میتواند محتوای بسیار کم، بارگذاری ناقص یا ناتوانی رباتهای گوگل در مشاهده محتوای اصلی باشد.
گوگل توصیه میکند در این وضعیت، نسخه رندرشده صفحه با URL Inspection بررسی شود. اگر صفحه باید در نتایج باقی بماند، باید محتوای اصلی، دسترسی منابع، رندر و پاسخ ۲۰۰ آن اصلاح شود؛ نه اینکه URL سالم را به صفحه دیگری ریدایرکت کنیم.[۴]
تفاوت اصلی این دو وضعیت در هماهنگی میان موجودیت صفحه و پاسخ سرور به آن است. در ۴۰۴ واقعی، سرور اعلام میکند منبع وجود ندارد. در Soft 404، پاسخ فنی یا مقصد ریدایرکت با واقعیت محتوا هماهنگ نیست.
| معیار | ۴۰۴ واقعی | Soft 404 |
|---|---|---|
| پاسخ سرور | ۴۰۴ یا ۴۱۰ | معمولاً ۲۰۰ یا ریدایرکت نامرتبط |
| محتوای صفحه | منبع درخواستشده وجود ندارد | خالی، بسیار کم یا شبیه صفحه خطا |
| ماهیت | کد رسمی HTTP | تشخیص الگوریتمی گوگل |
| وضعیت ایندکس | URL از نتایج کنار گذاشته میشود | معمولاً از نتایج کنار گذاشته میشود |
| اقدام درست | نگهداری ۴۰۴، استفاده از ۴۱۰ یا ۳۰۱ مرتبط | اصلاح پاسخ، محتوا، رندر یا مقصد |
| اشتباه رایج | ریدایرکت تمام URLها | توجه به ظاهر و نادیدهگرفتن Header |
| ریسک تجاری | قطع مسیر کاربر و از دست رفتن لینک | ارائه صفحه بیارزش و ارسال سیگنال متناقض |
ظاهر صفحه معیار کافی برای تصمیمگیری نیست. ابتدا باید پاسخ HTTP، محتوای رندرشده و سرنوشت واقعی URL را همزمان بررسی کنید.
وجود چند یا حتی تعداد زیادی URL دارای پاسخ ۴۰۴، بهخودیخود به معنای پنالتیشدن سایت نیست. گوگل ۴۰۴ را بخشی طبیعی از پاسخهای سرور میداند و اعلام کرده است که وجود URLهای ناموجود، عملکرد سایر URLهای سالم سایت را در نتایج جستجو خراب نمیکند.[۵]
مسئله زمانی اهمیت پیدا میکند که URL اشتباهی ۴۰۴ شده باشد یا هنوز در مسیر کاربر و رباتهای گوگل قرار داشته باشد. یک محصول حذفشده بدون بکلینک و ورودی با یک صفحه خدمات دارای رتبه، ترافیک و لید ارزش یکسانی ندارد.
گوگل URL دارای پاسخ ۴۰۴ یا ۴۱۰ را برای نمایش در نتایج مناسب نمیداند. ممکن است URL برای مدتی در گزارشهای سرچ کنسول باقی بماند یا دوباره بررسی شود، اما با تکرار پاسخ ناموجود، دفعات مراجعه به آن کاهش پیدا میکند.[۴]
در نتیجه چنین مشکل در ایندکس و کراول صفحات سایت، دو اقدام زیر از سمت وبمستران انتظار میرود، تشخیص درست یا غلط بودن این اقدام کاملاً روشن است:
❌ تلاش برای صفرکردن تعداد 404های سرچ کنسول
✅ بررسی اینکه کدام URLهای مهم ناخواسته ۴۰۴ شدهاند
اگر صفحه ۴۰۴ بکلینک معتبر، لینک داخلی یا ورودی مستقیم داشته باشد، رهاکردن آن بدون اقدام خاصی میتواند بخشی از ارزش صفحه، سایت و برند را از بین ببرد. اگر مقصد کاملاً مرتبطی وجود دارد، ریدایرکت ۳۰۱ قابل انجام است؛ در غیر این صورت ریدایرکت نامرتبط تصمیم درستی نیست. ( یا بگذارید ۴۰۴ بماند یا ۴۱۰ شود)
پس از تغییر URL، لینکهای داخلی نیز باید مستقیماً به مقصد جدید اشاره کنند. لینکسازی داخلی صحیح، وابستگی دائمی سایت به ریدایرکت را کاهش میدهد. اگر پس از ریدایرکت صفحه، لینکهای ورودی به آن را تغییر ندهید، درگیر مشکل زنجیره ریدایرکت یا Redirect Chain خواهید شد.
هیچ ابزاری به تنهایی تمام ابعاد خطای ۴۰۴ را نمایش نمیدهد. سرچ کنسول برداشت گوگل را نشان میدهد، ابزارهای تکنیکال مسیر لینکهای داخلی را پیدا میکند و بررسی پاسخ واقعی سرور را مشخص خواهد کرد.
در Google Search Console وارد بخش Indexing → Pages شوید و وضعیتهای Not found (404) و Soft 404 را بررسی کنید.
این بررسی زمانی مهم است که صفحه سالم Soft ۴۰۴ گزارش شده باشد. ممکن است کاربر محتوا را ببیند، اما رباتهای گوگل به فایل لازم، API یا محتوای JavaScript دسترسی نداشته باشند.[۴]
برای پیدا کردن 404های داخلی، سایت را Crawl کنید و در تب Response Codes فیلتر Client Error (4XX) را انتخاب کنید. تب Inlinks نیز صفحه مبدأ هر لینک خراب را نشان میدهد.[۶]
برای Soft ۴۰۴ از مسیر Content → Soft 404 Pages استفاده کنید. این گزارش براساس الگوهای محتوایی ساخته میشود و یک شاخص است، نه تشخصی دقیق؛ هر URL باید جداگانه بررسی شود.[۷]
برای یک URL مشخص میتوانید از HTTP Status Checker یا دستور زیر استفاده کنید:
curl -I https://example.com/missing-page/نتیجه مطلوب برای محتوای ناموجود باید شامل وضعیت زیر باشد:
HTTP/2 404اگر نتیجه 200 OK باشد، پاسخ فنی صفحه اصلاح نشده است. اگر نتیجه 301 یا 302 باشد، مقصد ریدایرکت را نیز از نظر ارتباط موضوعی بررسی کنید.
پیداکردن URL خراب فقط نیمی از کار است. باید منبع ایجاد آن نیز اصلاح شود.
اگر URL اشتباه از یک لینک داخلی آمده است، همان لینک را اصلاح کنید. ساخت ریدایرکت برای هر اشتباه تایپی داخلی، ساختار سایت را به مجموعهای از قوانین غیرضروری تبدیل میکند.
پیش از هر اصلاح، مشخص کنید که آیا هنوز محتوا وجود دارد، URL آن تغییر کرده، جایگزینی کاملاً مرتبط دارد و از نظر ترافیک، بکلینک یا ارزشی نیز دارد؟ پاسخ این پرسشها انتخاب میان ۲۰۰، ۳۰۱، ۴۰۴ و ۴۱۰ را روشن میکند.
اگر محتوا با همان هدف و موضوع در URL دیگری قرار دارد، URL قدیمی را با ۳۰۱ مستقیماً به مقصد جدید منتقل کنید. برای مرج و ادغام محتواها نیز این روش بسیار کارآمد است.
Old URL → 301 → New URL → 200مقصد هدف ریدایرکت باید معادل واقعی صفحه قبلی باشد. انتقال یک مقاله به نسخه کاملتر همان مقاله منطقی است، اما انتقال آن به صفحه اصلی ارتباط معنایی لازم را ندارد.( اشتباهی که بین وب مسترات رایج است)
اگر محتوا برای همیشه حذف شده و جایگزین مرتبطی ندارد، پاسخ ۴۰۴ یا ۴۱۰ انتخاب درستی است. گوگل هر دو پاسخ را برای اعلام نبود محتوا میپذیرد.[۲]
404 Not Found: منبع در این نشانی پیدا نشد.410 Gone: منبع عمداً و بهصورت دائمی حذف شده است.لازم نیست تمام صفحات حذفشده را به ۴۱۰ تبدیل کنید. مهمتر از انتخاب میان این دو، جلوگیری از پاسخ ۲۰۰ یا ریدایرکت نامرتبط است.
اگر صفحه باید ایندکس شود، ۴۰۴ یا ریدایرکت راهحل نیست. باید علت تشخیص Soft ۴۰۴ برطرف شود.
صفحهای که فقط عنوان و چند جمله عمومی دارد ممکن است در گروه محتوای ضعیف قرار گیرد. افزودن متن صرفاً برای افزایش تعداد کلمات کافی نیست؛ صفحه باید پاسخ مستقلی برای نیاز کاربر داشته باشد.
اگر URL بر اثر اشتباه تایپی ایجاد شده، لینک مبدأ را اصلاح کنید و پاسخ ۴۰۴ را نگه دارید. فقط وقتی ریدایرکت ارزش بررسی دارد که آدرس اشتباه، بکلینک، ورودی یا الگوی مشخصی داشته باشد.
اقدامات زیر را به دفعات بین سئوکارها دیدهایم، تشخیص درست یا غلط بودن آن اصلاً سخت نیست.
❌ ساخت صدها ریدایرکت برای رشتههای تصادفی
✅ اصلاح لینک داخلی و نگهداری پاسخ ۴۰۴ برای URL بیمعنا
مدیریت نادرست URLها میتواند یک ۴۰۴ سالم را به Soft ۴۰۴، حلقه ریدایرکت یا صفحهای بیارزش تبدیل کند.
❌ انتقال تمام صفحات حذفشده به صفحه اصلی
✅ ریدایرکت فقط به جایگزین کاملاً مرتبط
❌ ارسال پاسخ ۲۰۰ برای صفحه «یافت نشد»
✅ ارسال پاسخ ۴۰۴ همراه با طراحی مفید برای کاربر
❌ حذف URL از Sitemap بدون اصلاح لینکهای داخلی
✅ هماهنگکردن Sitemap، Canonical، لینک داخلی و پاسخ سرور
❌ قراردادن noindex روی صفحه خطا بهجای اصلاح Header
✅ استفاده از پاسخ واقعی ۴۰۴ یا ۴۱۰
❌ اعتماد کامل به گزارش یک افزونه
✅ بررسی همزمان Header، رندر گوگل و Crawl سایت
❌ ریدایرکت محصول حذفشده به یک دستهبندی عمومی
✅ بررسی ارتباط مقصد و نیت واقعی کاربر
گوگل هشدار میدهد انتقال تعداد زیادی URL قدیمی به مقصد نامرتبط، مانند صفحه اصلی، میتواند برای کاربران گیجکننده باشد و بهعنوان Soft ۴۰۴ پردازش شود.[۲]
در وردپرس ابتدا مشخص کنید مشکل فقط یک URL را درگیر کرده یا تمام نوشتهها و برگهها را تحتتأثیر قرار داده است. اگر تمام صفحات بهجز صفحه اصلی ۴۰۴ هستند، احتمال اختلال در قوانین پیوند یکتا بیشتر است.
از مسیر تنظیمات → پیوندهای یکتا وارد شوید، ساختار فعلی را بررسی و تنظیمات را دوباره ذخیره کنید. این اقدام قوانین Rewrite وردپرس را بازسازی میکند.[۸]
اگر مشکل ادامه داشت، تداخل افزونهها، نوع نوشته سفارشی، نامکهای تکراری و تنظیمات سرور را بررسی کنید. ذخیره مجدد پیوندهای یکتا برای یک صفحه حذفشده راهحل نیست.
اگر نامک مقاله از /old-slug/ به /new-slug/ تغییر کرده است، این مراحل را اجرا کنید:
افزونههایی مانند Redirection یا Rank Math میتوانند قانون را اجرا کنند، اما مرتبطبودن مقصد را بهجای مدیر سایت تشخیص نمیدهند.
یک صفحه ۴۰۴ سفارشی حتما برای سایت خود داشته باشید، باید به کاربر بگوید چه اتفاقی افتاده که در حال حاضر صفحه ۴۰۴ را میبیند و چه مسیرهایی پیش رو دارد.
با Microsoft Clarity میتوان مشاهده کرد کاربران روی چه گزینههایی کلیک میکنند و چند نفر بدون ادامه مسیر خارج میشوند. این اطلاعات در کنار آنالیتیکس نشان میدهد طراحی صفحه تا چه اندازه از هدررفت کاربر جلوگیری کرده است.
صفحات محصول را نباید صرفاً براساس وضعیت موجودی حذف کرد. تصمیم درست به دائمی یا موقتبودن توقف فروش، تقاضای جستجو، بکلینکها و وجود محصول جایگزین بستگی دارد.
اگر محصول دوباره موجود میشود، صفحه را با پاسخ ۲۰۰ نگه دارید. وضعیت موجودی، زمان تقریبی بازگشت، امکان اطلاعرسانی و محصولات مرتبط را نمایش دهید.
اگر محصول برای همیشه حذف شده، در صورت وجود جایگزین بسیار نزدیک ریدایرکت ۳۰۱ را بررسی کنید؛ اگر جایگزین مرتبط وجود ندارد، پاسخ ۴۰۴ یا ۴۱۰ ارسال شود. انتقال محصول به یک دسته کلی معمولاً پاسخ دقیقی به انتظار کاربر نمیدهد.
صفحات دستهبندی، فیلتر یا جستجوی داخلی بدون نتیجه میتوانند Soft ۴۰۴ ایجاد کنند. اگر صفحه باید ایندکس شود، لازم است محتوای اصلی و محصولات کافی داشته باشد. اگر ارزش مستقلی ندارد، وضعیت ایندکس، لینکهای داخلی و پاسخ فنی آن را براساس نقش واقعی صفحه تعیین کنید.
بعد از اعمال تغییرات، فقط کاهش تعداد خطاهای سرچ کنسول را اندازه نگیرید. شاخصهای فنی و ارزیابی هایی تخصص سئو باید در کنار هم بررسی شوند.
گزارشهای سرچ کنسول ممکن است بلافاصله تغییر نکنند. پس از اصلاح، Live Test برای کنترل پاسخ مناسب است؛ اما تغییر گزارش Page Indexing به Crawl و پردازش دوباره URL وابسته خواهد بود.[۴]
چندی پیش سایتی برای بهوبد سئو از مدیروب کمک خواست. این سایت یکی از فروشگاههای اینترنتی لوازم خانگی معروف بود. مشکل اینجا شروع شده بود که در یک بازه ۶ ماهه، روند ایمپرشن، کلیک و پوزیشن همگی برای سایت نزولی شده بودند و تعداد بسیار زیادی کلمه و صفحه از نتایج جستجو حذف شده بودند.
اقداماتی که انجام شد:
مشکل از جایی شروع شده بود که محصولات ناموجود (به تعداد بسیار زیادی) به صفحه اصلی ریدایرکت شده بودند و از آنجایی برای این محصولات لینکسازی داخلی انجام شده بود، زنجیره ریدایرکت طولانی ایجاد شده بود. در یک فرآیند اطلاح یک ماهه، همزمان با بهوبد محتوای صفحات دستهبندی و ادامه روند لینک سازی طبیعی سایت در مدت زمان ۳ ماه شروع به حضور مجدد در نیجه سرپ برای کلمات کلیدی سختی مقل “خرید لباسشویی” شد. نکته جالب اینجاست که با حذف ریدایرکتها، تعداد صفحات ۴۰۴ در گزارشات سرچ کنسول بیشتر شد اما نتایج هم به دنبال آن آمد.
این موضوع به خودی خود نشان میدهد داشتن تعداد زیادی ۴۰۴ به تنهایی نمیتواند مشکلساز باشد.
فهرست URLهای ۴۰۴ و Soft ۴۰۴ را استخراج کنید، اما هیچکدام را بدون بررسی ریدایرکت نکنید. ابتدا ارزش تجاری، بکلینک، ورودی، لینکهای داخلی و سرنوشت واقعی هر صفحه را مشخص کنید.
اگر قصد ریدایرکت دایرد، URL منتقلشده باید به نزدیکترین صفحه از نظر معنا و محتوا برسد، صفحه حذفشده بدون جایگزین باید پاسخ ۴۰۴ یا ۴۱۰ بدهد و صفحه سالمی که Soft ۴۰۴ تشخیص داده شده است باید از نظر محتوا و رندر اصلاح شود. انتخاب پاسخ درست، هم معماری سایت را سالم نگه میدارد و هم مانع هدررفت زمان کاربر، اعتبار لینک و سئو سایت شما میشود.
پرسشهای زیر مهمترین ابهامهای اجرایی درباره ۴۰۴ و Soft ۴۰۴ را پوشش میدهند.
خیر. فقط URLهایی را ریدایرکت کنید که جایگزین کاملاً مرتبط دارند. اگر محتوا حذف شده و جایگزین مناسبی وجود ندارد، پاسخ ۴۰۴ یا ۴۱۰ تصمیم درستی است.
خیر. گوگل وجود صفحات ۴۰۴ را بخشی طبیعی از رفتار سایت میداند. مشکل زمانی ایجاد میشود که صفحه مهمی ناخواسته ۴۰۴ شده باشد یا لینکهای داخلی کاربران را به URL خراب هدایت کنند.[۵]
۴۰۴ میگوید منبع در URL موردنظر پیدا نشد؛ ۴۱۰ اعلام میکند منبع عمداً و بهصورت دائمی حذف شده است. گوگل هر دو را برای صفحات حذفشده میپذیرد.
راهحل اصلی، ارسال پاسخ واقعی ۴۰۴ است. قراردادن Noindex جایگزین اصلاح کد وضعیت نیست.
محتوای کم، خطای JavaScript، منابع مسدودشده، پاسخ ناقص پایگاه داده یا نمایش پیامهای شبیه خطا میتوانند باعث این تشخیص شوند. نسخه رندرشده را در URL Inspection بررسی کنید.
اگر محصول دوباره موجود میشود، صفحه را با پاسخ ۲۰۰ نگه دارید. اگر برای همیشه حذف شده، براساس وجود جایگزین مرتبط میان ۳۰۱، ۴۰۴ و ۴۱۰ تصمیم بگیرید.
گزارش سرچ کنسول بر پایه آخرین بررسی ثبتشده گوگل است. بعد از اصلاح، Live Test را اجرا کنید و برای Crawl و پردازش دوباره URL زمان در نظر بگیرید.
این محتوا با روش گردآوری، تطبیق و بازنویسی منابع معتبر انگلیسیزبان تدوین شده است. ابتدا مستندات رسمی Google Search Central، راهنمای Google Search Console، منابع WordPress و مستندات Screaming Frog بررسی شدند. سپس اطلاعات مشترک منابع با یکدیگر تطبیق داده شد و نکات کاربردی مرتبط با تشخیص، اولویتبندی و رفع خطاهای ۴۰۴ و Soft ۴۰۴ در قالبی آموزشی بازنویسی شدند. مثالها و سناریوهای مقاله نیز برای سادهسازی مفاهیم فنی و نمایش اثر آنها بر تجربه کاربر، فروش و هدایت لید طراحی شدهاند؛ بنابراین این مقاله حاصل ترجمه مستقیم یک منبع یا بیان نظر شخصی نیست و ادعاهای فنی آن با ارجاع عددی به منابع انتهای محتوا قابلبررسی هستند.