[wd_asp id=1]
فرض کنید چند ماه پیش، کاتالوگ محصولات یک فروشگاه لوازم خانگی را دریافت کردهاید. اکنون برای خرید یکی از محصولات به فروشگاه مراجعه میکنید و مدل آن را به فروشنده میدهید. فروشنده کاتالوگ را بررسی میکند و متوجه میشود آن مدل دیگر تولید نمیشود.
در این شرایط، فروشنده دو انتخاب دارد. اگر مدل جدیدی با همان کاربرد و مشخصات عرضه شده باشد، باید آن محصول جایگزین را به شما معرفی کند؛ اما اگر کالا برای همیشه از خط تولید خارج شده و هیچ جایگزین مشابهی ندارد، باید صریح بگوید: «این محصول دیگر عرضه نخواهد شد.»
مشکل زمانی آغاز میشود که فروشنده برای ازدستندادن شما، محصولی کاملاً نامرتبط را پیشنهاد دهد. شما برای خرید ماشین لباسشویی مراجعه کردهاید، اما او شما را به بخش یخچالها هدایت میکند. شاید فروشنده تصور کند مشتری را در فروشگاه نگه داشته است، اما در عمل زمان او را هدر داده و اعتمادش را از بین برده است.
در وب نیز همین سه وضعیت وجود دارد. اگر محتوا به URL دیگری منتقل شده باشد، معمولاً باید از ریدایرکت دائمی ۳۰۱ استفاده شود. اگر سرنوشت صفحه مشخص نیست، پاسخ ۴۰۴ قابلاستفاده است؛ اما وقتی یک صفحه عمداً و برای همیشه حذف شده و جایگزین مرتبطی ندارد، کد وضعیت 410 Gone معنای دقیقتری را منتقل میکند.
گوگل در مستندات خود نیز مرز این تصمیم را به شکل روشنی توضیح میدهد:
«اگر صفحه حذف شده و جایگزین مشابهی ندارد، پاسخ ۴۰۴ یا ۴۱۰ را برگردانید.»
در این مقاله بررسی میکنیم اصطلاح ریدایرکت ۴۱۰ دقیقاً به چه معناست، چه تفاوتی با ۳۰۱ و ۴۰۴ دارد، چه صفحاتی باید پاسخ ۴۱۰ بدهند و چگونه میتوان این کد را در وردپرس، Apache و Nginx اجرا و آزمایش کرد.
عبارت «ریدایرکت ۴۱۰» میان مدیران سایت و بعضی افزونههای وردپرس رایج شده است؛ اما از نظر فنی نام دقیقی نیست. 410 Gone یک کد وضعیت HTTP از گروه پاسخهای 4XX است و کاربر را به URL دیگری منتقل نمیکند.
سرور با ارسال این پاسخ اعلام میکند دسترسی به منبع موردنظر دیگر امکانپذیر نیست و این وضعیت احتمالاً دائمی خواهد بود. استاندارد HTTP همچنین توضیح میدهد اگر سرور از دائمیبودن این وضعیت مطمئن نیست، بهتر است از پاسخ ۴۰۴ استفاده کند.[۱]
پاسخ فنی یک URL حذفشده میتواند به شکل زیر باشد:
HTTP/2 410 Goneدر این وضعیت، مرورگر یا رباتهای گوگل URL را درخواست میکنند و سرور پاسخ میدهد که منبع برای همیشه از دسترس خارج شده است. برخلاف ریدایرکت ۳۰۱، هدر Location و URL مقصدی وجود ندارد.
ریدایرکت زمانی اتفاق میافتد که سرور، مرورگر یا ربات گوگل را از URL مبدأ به یک URL مقصد هدایت کند. برای نمونه، پاسخ ۳۰۱ آدرس جدید منبع را در هدر Location قرار میدهد و گوگل نیز آن را یک سیگنال قوی برای پردازش URL مقصد میداند.[۳]
مسیر ۳۰۱ به این شکل است:
URL قدیمی → 301 → URL جدید → 200اما پاسخ ۴۱۰ مقصدی ندارد:
URL حذفشده → 410 Goneبنابراین ۴۱۰ نه کاربر را منتقل میکند و نه اعتبار صفحه را به URL دیگری میفرستد. عبارت ریدایرکت ۴۱۰ را میتوان برای هماهنگی با ادبیات رایج کاربران به کار برد، اما مفهوم فنی صحیح آن کد وضعیت ۴۱۰ Gone است.
کد ۴۱۰ زمانی کاربرد دارد که مدیر سایت از حذف دائمی یک صفحه، محصول یا مقاله مطمئن باشد و صفحه مرتبط دیگری برای ادامه همان هدف وجود نداشته باشد. استاندارد HTTP نیز این پاسخ را برای اعلام حذف خودخواسته منبع و کمک به نگهداری وب با صفحات سالم و در دسترس تعریف کرده است.[۱]
مهمترین شرط استفاده از ۴۱۰، حذف قطعی بدون جایگزین است. صِرف قدیمیبودن، کمبودن ترافیک یا ناموجودشدن موقت یک محصول برای ارسال چنین پاسخی کافی نیست.
اگر مقاله، فایل، لندینگ پیج یا صفحه خدماتی حذف شده، دیگر بازنشر نمیشود و معادل واقعی آن نیز در سایت وجود ندارد، پاسخ ۴۱۰ قابلاستفاده است.
پیش از حذف باید بررسی کنید آیا محتوای صفحه را میتوان اصلاح، ادغام یا بهروزرسانی کرد. گاهی صفحهای که در حال حاضر ترافیک کمی دارد، با بازنویسی و هماهنگی با سرچ اینتنت دوباره به یک دارایی کارآمد تبدیل میشود. به همین دلیل، پاسخ ۴۱۰ نباید جایگزین تحلیل محتوای قدیمی شود.
در بعضی سایتها، هک، افزونه معیوب یا تولید خودکار پارامترهایی باعث ساختهشدن تعداد زیادی URL بیمعنا میشود. اگر این URLها واقعاً ایجاد یا ایندکس شدهاند و سپس حذف شدهاند و نباید دوباره در دسترس قرار بگیرند، میتوان پاسخ ۴۰۴ یا ۴۱۰ را برای آنها در نظر گرفت.
لازم نیست هر رشته تصادفی و هر URL اشتباه تایپی را بهصورت دستی ۴۱۰ کنید. پاسخ ۴۰۴ برای آدرسهایی که سرور درباره سابقه یا دائمیبودن وضعیت آنها اطلاعاتی ندارد، پاسخ قابلقبولی است. خود RFC نیز در چنین شرایطی استفاده از ۴۰۴ را پیشنهاد میکند.[۱]
صفحه یک کمپین یا پیشنهاد محدود ممکن است بعد از پایان زمان اجرا همچنان ارزش اطلاعاتی، بکلینک یا ورودی مستقیم داشته باشد. در این حالت میتوان صفحه را با پاسخ ۲۰۰ نگه داشت و پایان کمپین را به کاربر اعلام کرد.
اما اگر صفحه فقط برای یک بازه زمانی محدود ساخته شده، دیگر هیچ کاربردی ندارد و جایگزینی هم برای آن تعریف نشده است، پاسخ ۴۱۰ میتواند تصمیم بهتری باشد. استاندارد HTTP نیز منابع و خدمات تبلیغاتی محدود را از نمونههای رایج استفاده از ۴۱۰ معرفی کرده است.[۱]
وضعیت محصولات فروشگاه اینترنتی باید پیش از انتخاب کد پاسخ به سه گروه تقسیم شود:
در وضعیت اول، صفحه باید با پاسخ ۲۰۰ باقی بماند و اطلاعات موجودی، زمان احتمالی بازگشت یا امکان اطلاعرسانی را نمایش دهد. در وضعیت دوم، ریدایرکت ۳۰۱ به محصول جایگزین قابلبررسی است. در وضعیت سوم، میتوان از ۴۰۴ یا ۴۱۰ استفاده کرد.
انتقال تمام محصولات حذفشده به صفحه اصلی یا یک دستهبندی عمومی تصمیم مناسبی نیست. گوگل توصیه میکند فقط زمانی از ریدایرکت ۳۰۱ استفاده شود که صفحه منتقل شده یا جایگزین مشخصی برای آن وجود داشته باشد.[۲]
اشتباه اصلی زمانی اتفاق میافتد که مدیر سایت ۴۱۰ را یک ابزار سریع برای کاهش تعداد صفحات ایندکسشده بداند. این کد باید نتیجه بررسی ماهیت صفحه باشد، نه اولین واکنش به هر URL کمترافیک، ناموجود یا قدیمی.
پاسخ ۴۱۰ به گوگل میگوید محتوایی برای پردازش در این URL وجود ندارد. اگر صفحه هنوز برای کاربر، برند یا فروش ارزش دارد، باید گزینه دیگری انتخاب شود.
اگر محتوای قدیمی در URL دیگری منتشر شده یا با یک صفحه کاملتر ادغام شده است، ۴۱۰ انتخاب مناسبی نیست. در این وضعیت، URL قبلی باید با ریدایرکت ۳۰۱ مستقیم به مقصد جدید و کاملاً مرتبط متصل شود.[۲]
برای مثال، اگر مقاله زیر:
example.com/old-seo-guide/به نسخه کاملتر زیر منتقل شده باشد:
example.com/technical-seo-guide/مسیر مناسب چنین است:
/old-seo-guide/ → 301 → /technical-seo-guide/ → 200انتخاب ۴۱۰ در این شرایط، مسیر دسترسی کاربر به نسخه جدید را مخدوش میکند. ساخت چند مقصد واسطه نیز میتواند سایت را درگیر زنجیره ریدایرکت کند.
برای صفحهای که در مدت کوتاه بازمیگردد، نباید پاسخ ۴۱۰ ارسال شود. محصولی که دوباره موجود میشود، صفحهای که در حال بازنویسی است یا خدمتی که موقتاً متوقف شده، شرایط حذف دائمی را ندارد.
اگر کل سایت یا بخشی از خدمات موقتاً در دسترس نیست، پاسخهایی مانند ۵۰۳ برای اختلال موقت سرور معنای مناسبتری دارند. گوگل نیز هشدار میدهد استفاده از ۴۰۴ یا ۴۱۰ برای توقف موقت سایت میتواند URLها را از نتایج جستجو خارج کند.[۱۴]
پیش از ارسال ۴۱۰ باید ترافیک ارگانیک، Impression، بکلینکها، ورودی مستقیم، لینکهای داخلی و نقش صفحه در مسیر خرید بررسی شوند. صفحهای که فروش مستقیم ندارد، ممکن است کاربران را به صفحه محصول یا فرم ثبت لید هدایت کند.
همچنین نباید هر صفحه دارای محتوای ضعیف را حذف کرد. اگر موضوع صفحه با کسبوکار شما مرتبط است و نیاز مشخصی را پاسخ میدهد، بازنویسی، ادغام یا گسترش هدفمند محتوا میتواند تصمیم بهتری باشد.
گاهی صفحه باید برای کاربران قابلدسترسی بماند، اما نباید در نتایج گوگل نمایش داده شود. در این حالت noindex بهترین راهکار است.
noindex روی صفحهای اعمال میشود که همچنان برای کاربران در دسترس است و معمولاً پاسخ ۲۰۰ میدهد؛ اما ۴۱۰ اعلام میکند خود صفحه دیگر وجود ندارد. گوگل برای مشاهده دستور noindex باید بتواند صفحه را Crawl کند، بنابراین مسدودکردن همان URL در robots.txt میتواند مانع مشاهده این دستور شود.[۵]
اگر دسترسی به محتوا در نتیجه یک درخواست یا محدودیت قانونی مسدود شده است، کد 451 Unavailable For Legal Reasons میتواند معنای دقیقتری نسبت به ۴۱۰ داشته باشد.
RFC ۷۷۲۵ پاسخ ۴۵۱ را برای شرایطی تعریف میکند که سرور بهدلیل یک مطالبه قانونی از ارائه منبع خودداری میکند.[۱۵] بنابراین حذف عادی یک مقاله قدیمی با مسدودشدن قانونی محتوا وضعیت یکسانی ندارد.
برای انتخاب پاسخ مناسب، ابتدا باید وضعیت واقعی محتوا و هدف شما از نگهداری، انتقال یا حذف آن روشن شود. جدول زیر مرز میان پاسخهای پرکاربرد را نشان میدهد.
| وضعیت | معنای فنی | کاربرد مناسب | نتیجه مورد انتظار |
|---|---|---|---|
200 OK |
درخواست موفق بوده است | صفحه فعال یا محصول موقتاً ناموجود | محتوا میتواند برای ایندکس بررسی شود |
301 Moved Permanently |
منبع دائماً منتقل شده است | مقصد جدید و کاملاً مرتبط وجود دارد | گوگل مقصد را یک سیگنال قوی در نظر میگیرد |
404 Not Found |
منبع فعلی پیدا نشد | دائمیبودن وضعیت مشخص نیست یا URL بیمعناست | URL در نتایج استفاده نمیشود |
410 Gone |
منبع حذف شده و وضعیت احتمالاً دائمی است | حذف عمدی و قطعی بدون جایگزین | URL بهمرور از ایندکس کنار گذاشته میشود |
451 Unavailable For Legal Reasons |
دسترسی بهدلیل مطالبه قانونی ممکن نیست | محدودیت یا دستور قانونی | دلیل عدم دسترسی دقیقتر اعلام میشود |
503 Service Unavailable |
سرور موقتاً قادر به پاسخگویی نیست | تعمیرات یا اختلال کوتاهمدت | رباتها بعداً دوباره تلاش میکنند |
noindex |
صفحه نباید ایندکس شود | صفحه برای کاربر باز میماند | پس از Crawl از نتایج حذف میشود |
| Removals | پنهانسازی موقت نتیجه | حذف فوری اطلاعات حساس از گوگل | نتیجه حدود شش ماه پنهان میماند |
پاسخهای 2XX، 3XX، 4XX و 5XX معنای یکسانی ندارند. گوگل محتوای دریافتشده از URLهای 4XX را برای ایندکس استفاده نمیکند؛ درحالیکه پاسخ ۳۰۱ را دنبال کرده و URL مقصد را پردازش میکند.[۳]
تفاوت اصلی ۴۰۴ و ۴۱۰ در میزان اطمینان سرور از دائمیبودن حذف است. پاسخ ۴۰۴ میگوید منبع فعلی در این نشانی پیدا نشد، اما مشخص نمیکند این وضعیت موقت است یا دائمی. پاسخ ۴۱۰ میگوید دسترسی به منبع از بین رفته و این وضعیت احتمالاً دائمی خواهد بود.[۱]
از نظر گوگل، نباید تفاوت این دو را بیش از اندازه بزرگ کرد. مستندات جدید گوگل اعلام میکنند تمام پاسخهای 4XX بهجز ۴۲۹، برای فرایند ایندکس به این معنا هستند که محتوا وجود ندارد. URLهای ایندکسشدهای که چنین پاسخی بدهند از ایندکس حذف میشوند و دفعات Crawl آنها بهتدریج کاهش پیدا میکند.[۳]
بنابراین نمیتوان وعده داد که ۴۱۰ همیشه و در یک زمان مشخص، صفحه را سریعتر از ۴۰۴ حذف میکند. گوگل ابتدا باید URL را دوباره Crawl و پاسخ جدید را دریافت کند. تفاوت مهمتر این است که شما با ۴۱۰ درباره حذف دائمی مطمئن هستید، اما در ۴۰۴ چنین اطمینانی اعلام نشده است.
پاسخ ۳۰۱ برای منبعی استفاده میشود که به نشانی دیگری منتقل شده است. مرورگر و رباتهای گوگل مقصد را دریافت میکنند و به URL جدید میروند. گوگل نیز ۳۰۱ را یک سیگنال قوی برای پردازش مقصد میداند.[۳] در مقابل، ۴۱۰ مقصدی ندارد. صفحه حذف شده است و قرار نیست کاربر بهصورت خودکار به URL دیگری هدایت شود.
301: صفحه قبلی اینجا نیست؛ نسخه جدید آن در این URL قرار دارد.
410: صفحه قبلی حذف شده است و نسخه جایگزینی برای آن معرفی نمیشود.اگر جایگزین مرتبط وجود دارد، ۳۰۱ میتواند مسیر کاربر و سیگنالهای URL را به صفحه جدید متصل کند. اگر جایگزینی وجود ندارد، ساخت ریدایرکت نامرتبط فقط برای نگهداری کاربر در سایت، تجربه کاربری ضعیفی ایجاد میکند و ممکن است از طرف گوگل بهعنوان Soft ۴۰۴ پردازش شود.[۲]
تأثیر اصلی ۴۱۰ این است که گوگل محتوای URL را موجود و قابلایندکس در نظر نمیگیرد. اگر URL قبلاً ایندکس شده باشد، پس از Crawl و پردازش پاسخ 4XX (منظور هرپاسخی است که با کد ۴ شروع شود) از ایندکس کنار گذاشته میشود.[۳]
داشتن URLهای ۴۱۰ بهخودیخود تایید بر روند درست یا فلط سئو نیست، ریسک واقعی زمانی ایجاد میشود که صفحه مهمی اشتباهی حذف شود، بکلینکهای آن بدون مقصد باقی بمانند یا لینکهای داخلی همچنان کاربر را به منبع حذفشده هدایت کنند.
ارسال ۴۱۰ بهمعنای ناپدیدشدن همان لحظه URL از نتایج نیست. ابتدا رباتهای گوگل باید URL را دوباره بررسی کنند و پاسخ سرور را دریافت کنند. زمان این فرایند به زمانبندی Crawl همان URL وابسته است و عدد ثابتی برای تمام سایتها ندارد.
اگر یک URL حاوی اطلاعات مهمی است و باید در مدت کوتاه از نتایج پنهان شود، میتوان در کنار اقدام حذف دائمی از ابزار Removals سرچ کنسول استفاده کرد. این ابزار نتیجه را حدود شش ماه پنهان میکند، اما بهتنهایی حذف دائمی از ایندکس محسوب نمیشود.[۴]
برای حذف پایدار باید صفحه حذف یا اصلاح شود و سرور پاسخ مناسبی مانند ۴۰۴ یا ۴۱۰ بدهد ضمنا در نظر داشته باشید که گوگل نیز تأکید میکند robots.txt نباید بهعنوان روش حذف دائمی URL از نتایج استفاده شود.[۴]
گوگل پس از مشاهده پاسخهای 4XX، دفعات مراجعه به آن URLها را بهتدریج کاهش میدهد؛ اما ۴۱۰ را نباید یک ابزار جادویی برای آزادکردن بودجه خزش در نظر گرفت.[۳]
مستندات گوگل توضیح میدهند که جلوگیری از Crawl مجدد بعضی URLها لزوماً بودجه خزش سایت را به بخش دیگری منتقل نمیکند؛ مگر اینکه ربات گوگل در حال برخورد با محدودیت پاسخگویی سرور باشد.[۲]
در سایتهای بزرگ، مسئله مهمتر جلوگیری از تولید دوباره URLهای بیارزش است. اگر فیلترها، پارامترها یا یک افزونه همچنان هزاران آدرس جدید ایجاد کنند، تعریف چند قانون ۴۱۰ علت اصلی مشکل را برطرف نخواهد کرد.
پاسخ ۴۱۰ هیچ URL مقصدی معرفی نمیکند؛ بنابراین نباید انتظار داشت اعتبار بکلینک صفحه حذفشده به صفحه دیگری منتقل شود. اگر URL دارای بکلینک معتبر است، ابتدا باید امکان بازیابی محتوا، ادغام یا ریدایرکت به یک مقصد کاملاً مرتبط بررسی شود.
انتقال URL دارای بکلینک به صفحه اصلی یا دستهبندی نامرتبط نیز راهحل مطمئنی نیست. ارتباط معنایی مقصد و انتظار کاربر باید حفظ شود؛ در غیر این صورت، حفظ ۴۰۴ یا ریدایرکت ۴۱۰ از ساخت ریدایرکت گمراهکننده منطقیتر است.
پیش از ایجاد قانون ۴۱۰، لازم است یک مسیر مشخصی برای تصمیم گیری برای سرنوشت هر URL در نظر بگیرید. انتخاب کد براساس حدس یا گزارش یک افزونه میتواند باعث حذف صفحهای شود که هنوز برای سئو یا فروش ارزش دارد.
این موارد را برای هر URL بررسی کنید:
براساس نتیجه این بررسی، URL را در یکی از گروههای ۲۰۰، ۳۰۱، ۴۰۴، ۴۱۰ یا ۴۵۱ قرار دهید. این فرایند به عنوان یکی از اصول سئو تکنیکال و سئو داخلی مدیروب شناخته میشود: ابتدا سرنوشت هر URL مشخص میشود و سپس ابزار فنی متناسب با آن انتخاب خواهد شد.
در وردپرس میتوان پاسخ ۴۱۰ را با افزونه مدیریت ریدایرکت یا از سطح تنظیمات سرور ایجاد کرد. روش اجرا باید با زیرساخت سایت و ابزارهای فعال آن هماهنگ باشد تا دو قانون متناقض برای یک URL ساخته نشود.
افزونه درباره ارزش صفحه تصمیم نمیگیرد. Rank Math یا Redirection فقط قانون انتخابشده را اجرا میکنند؛ بنابراین سبزشدن یک گزینه یا ثبت موفق قانون بهمعنای درستبودن تصمیم سئو نیست.
Rank Math گزینه 410 Content Deleted را برای محتوایی در نظر گرفته است که حذف شده، قرار نیست بازگردد و جایگزین مناسبی ندارد.[۷]
فرایند کلی به این شکل است:
Rank Math SEO → Dashboard ماژول Redirections را فعال کنید.Rank Math SEO → Redirections شوید.410 Content Deleted قرار دهید.برای کد ۴۱۰ نباید URL مقصد وارد شود؛ زیرا این پاسخ تغییر مسیر نیست. Rank Math برای تعداد زیادی URL امکان تنظیم گروهی ۴۱۰ را نیز توضیح داده است، اما پیش از عملیات گروهی باید فهرست URLها جداگانه ارزیابی شود.[۷]
افزونه Redirection نیز میتواند برای یک Source URL پاسخ ۴۱۰ ایجاد کند. مستندات این افزونه، اکشن ۴۱۰ را برای صفحهای تعریف میکند که دیگر در دسترس نیست و در آینده نیز بازنمیگردد.[۸]
پس از ایجاد این قانون، بررسی کنید URL موردنظر تحتتأثیر یک Regex عمومی، ریدایرکت قدیمی یا قانون افزونه دیگری قرار نگرفته باشد. اگر یک قانون ۳۰۱ قبل از پاسخ ۴۱۰ اجرا شود، نتیجه واقعی با تنظیمی که در پنل میبینید متفاوت خواهد بود.
اجرای پاسخ در سطح سرور کنترل مستقیمی روی Header ایجاد میکند، اما خطای کوچک در فایل پیکربندی میتواند بخشهای دیگری از سایت را تحتتأثیر قرار دهد. پیش از تغییر باید نسخه پشتیبان و امکان بازگردانی تنظیمات فراهم باشد.
نوع وبسرور نیز مهم است. کدی که برای Apache و .htaccess نوشته شده است، در Nginx کاربرد ندارد.
در Apache میتوان از دستور Redirect برای ارسال پاسخ ۴۱۰ استفاده کرد. مستندات رسمی Apache تأکید میکنند هنگام استفاده از وضعیت gone یا کد ۴۱۰، آرگومان URL مقصد باید حذف شود.[۹]
نمونه مناسب:
Redirect gone "/old-page/"نمونه عددی:
Redirect 410 "/old-page/"نمونه اشتباه:
Redirect 410 "/old-page/" "https://example.com/new-page/"در نمونه اشتباه، برای پاسخی که ریدایرکت نیست مقصد تعریف شده است. Apache اعلام میکند فقط برای کدهای ۳۰۰ تا ۳۹۹ باید URL مقصد وجود داشته باشد و در پاسخهای خارج از این گروه، URL مقصد باید حذف شود.[۹]
با mod_rewrite نیز میتوان از فلگ G به معنای Gone استفاده کرد:
RewriteRule ^old-page/?$ - [G,L]مستندات Apache فلگ G را برای ارسال پاسخ 410 Gone تعریف میکنند.[۱۰]
در Nginx میتوان برای یک مسیر مشخص از دستور return 410; استفاده کرد:
location = /old-page/ {
return 410;
}دستور return پردازش درخواست را متوقف و کد مشخصشده را برای کاربر ارسال میکند.[۱۱] پس از تغییر فایل پیکربندی، ساختار تنظیمات باید بررسی و سرویس مطابق فرایند مدیریت سرور Reload شود.
ارسال پاسخ ۴۱۰ مانع طراحی یک صفحه قابلفهم برای کاربر نمیشود. Header میتواند ۴۱۰ باقی بماند، اما بدنه پاسخ توضیح دهد که محتوا برای همیشه حذف شده است و چند مسیر مرتبط را در اختیار کاربر قرار دهد.
صفحه سفارشی میتواند شامل این عناصر باشد:
محتوای این صفحه برای کمک به کاربر طراحی میشود، نه برای ایندکسشدن. گوگل محتوای دریافتشده از URLهای دارای پاسخ 4XX را برای ایندکس استفاده نمیکند.[۳]
ثبت قانون در افزونه یا سرور پایان کار نیست. باید پاسخ به URL، وجود ریدایرکتهای ناخواسته و لینکهای داخلی منتهی به آن بررسی شوند.
هیچ ابزاری به تنهایی تمام ابعاد مسئله را نشان نمیدهد. مرورگر پاسخ سرور را مشخص میکند، Screaming Frog ارتباط URL با صفحات داخلی را نمایش میدهد و Search Console آخرین برداشت ثبتشده گوگل را در اختیار شما قرار میدهد.
برای مشاهده دقیق پاسخ سرور نیازی به ابزارهای خاضی نیست؛ شما میتوانید این بررسی را در مدت کوتاه و بهصورت کاملاً مستقیم از طریق مرورگر خود (مانند کروم یا فایرفاکس) انجام دهید:
برای تست وضعیت کد ۴۱۰، این مراحل را طی کنید:
۱. در یک صفحه خالی مرورگر راستکلیک کرده و گزینه Inspect را انتخاب کنید (یا کلید F12 را فشار دهید).
۲. از پنل بازشده، وارد تب Network شوید.
۳. آدرس صفحه حذفشده (URL مورد نظر) را در نوار آدرس مرورگر وارد کرده و کلید Enter را بزنید.
۴. در لیست فایلهای بارگذاریشده، روی اولین درخواست در ستون Name (که معمولاً نام خود آدرس است) کلیک کنید.
نتیجه مورد انتظار در بخش Status Code باید دقیقاً شامل پاسخ زیر باشد:
اگر در این بخش کدهای ۳۰۱ یا ۳۰۲ را مشاهده کردید، به این معناست که یک قانون ریدایرکت پیش از ۴۱۰ در حال اجراست و رباتهای گوگل را وارد یک چرخه انتقال اضافه میکند. اگر پاسخ ۲۰۰ دریافت میکنید، ممکن است فقط ظاهر صفحه (Front-end) پیغام حذفشدن را نمایش دهد، اما Header واقعی سرور اصلاح نشده باشد.
بعد از Crawl سایت، وارد تب Response Codes شوید و فیلتر Client Error (4XX) را بررسی کنید. Screaming Frog پاسخهایی مانند ۴۰۴ و ۴۱۰ را در این گروه نمایش میدهد.[۱۲]
برای هر URL فقط کد وضعیت را نبینید. بخش Inlinks نشان میدهد کدام صفحه داخلی به URL حذفشده لینک داده است. برای خروجی گروهی نیز گزارش Bulk Export → Response Codes → Error (4XX) Inlinks قابلاستفاده است.[۱۲]
URL مورد نظر را در ابزار URL Inspection وارد کنید و آخرین وضعیت ثبتشده گوگل را ببینید. سپس Live Test را اجرا کنید تا پاسخ فعلی سرور بررسی شود.
ممکن است Live Test پاسخ ۴۱۰ را نشان دهد، اما گزارش Page Indexing هنوز اطلاعات Crawl قبلی را نمایش دهد. این اختلاف تا زمان مراجعه و پردازش دوباره URL طبیعی است.
برای حذف اضطراری اطلاعات حساس میتوان از Indexing → Removals استفاده کرد؛ اما این ابزار فقط نتیجه را بهصورت موقت پنهان میکند و جایگزین حذف محتوا یا پاسخ دائمی سرور نیست.[۴]
پس از ارسال پاسخ ۴۱۰، تمام سیگنالهای داخلی سایت باید با حذف صفحه هماهنگ شوند. باقیماندن URL در منو، مقاله، Sitemap یا دادههای ساختاریافته باعث میشود کاربران و رباتهای گوگل همچنان آن را پیدا کنند.
این بخشها را بررسی کنید:
گوگل توصیه میکند در Sitemap آدرسهایی را قرار دهید که میخواهید در نتایج جستجو دیده شوند. بنابراین URL دارای پاسخ ۴۱۰ نباید بهعنوان صفحه قابلایندکس در Sitemap باقی بماند.[۱۳]
همچنین لینکسازی داخلی باید اصلاح شود. پاسخ ۴۱۰ برای درخواستهای قدیمی و لینکهای خارج از کنترل شما باقی میماند، اما سایت نباید بهصورت فعال کاربران را به منبع حذفشده هدایت کند.
در پروژه یکی از کاربران مدیروب، فروشگاه اینترنتی لوازم دیجیتال، ۶۰۰ صفحه محصول قدیمی داشت. تیم مدیروب تصمیم گرفته برای کاهش تعداد URLهای ناموجود و با هدف افزایش بودجه خزش و اختصاص این بودجه به صفحات مهمتر، تمام محصولات را حذف و در صورت نیاز پاسخ ۴۱۰ را برای کاربر ارسال کند.
پیش از اجرا، URLها براساس دادههای سرچ کنسول، آنالیتیکس، بکلینک و موجودی بررسی شدند و با کارفرما درباره محصولاتی که موجود نبودند، مشورت شد، نتیجه این اقدام به گزارش زیر رسید:
برای گروه اول، صفحه با پاسخ ۲۰۰ نگه داشته شد و امکان اطلاع از موجودی در اختیار کاربر قرار گرفت. گروه دوم با ۳۰۱ به مدل جایگزین کاملاً مرتبط منتقل شد. صفحات گروه سوم بهروزرسانی یا با صفحات ارزشمندتر ادغام شدند.
گروه چهارم، پس از حذف لینکهای داخلی و خروج از Sitemap، ریدایرکت ۴۱۰ شدند. برای URLهای پارامتری گروه پنجم نیز ابتدا علت تولید آدرسها اصلاح شد و سپس براساس سابقه URL میان ۴۰۴ و ۴۱۰ تصمیم گرفته شد.
پس از اجرای این برنامه، بعد از یک ماه یک Crawl کامل انجام شد. تیم سئو مدیروب بررسی کرد هیچ لینک داخلی به URLهای ۴۱۰ باقی نمانده، ریدایرکتهای گروه دوم مستقیم هستند و صفحات فعال در Sitemap پاسخ ۲۰۰ را میدهند.
در این مثال، ارزش کار در ساخت ۲۴۰ قانون ۴۱۰ نیست؛ بلکه در جلوگیری از حذف اشتباه ۲۶۰ صفحهای است که هنوز میتوانند ترافیک، فروش یا اعتبار برای سایت ایجاد کنند.
پیش از انتخاب ۴۱۰، فهرست URLهای کاندید آن را استخراج و هر صفحه را براساس محتوا، جایگزین مرتبط، بکلینک، ورودی و نقش و ماهیت آن بررسی کنید. صفحهای که منتقل شده است باید به مقصد جدید برسد، صفحهای که بازمیگردد باید فعال بماند و صفحهای که عمداً و برای همیشه حذف شده است میتواند پاسخ ۴۱۰ دریافت کند.
بعد از اجرا، پاسخ سرور را اجرا کنید، لینکهای داخلی را اصلاح کنید، URL را از Sitemap خارج کنید و گزارشهای سرچ کنسول را در بازههای بعدی زیر نظر بگیرید.
پرسشهای زیر ابهامهای اصلی درباره ریدایرکت ۴۱۰ است که در پشتیبانی دوره سئوپلاس از ما بیشتر پرسیده میشوند.
خیر. ۴۱۰ یک کد وضعیت از گروه 4XX است و کاربر را به URL دیگری منتقل نمیکند. این پاسخ اعلام میکند منبع دیگر در دسترس نیست و وضعیت احتمالاً دائمی است.[۱]
۴۰۴ دائمی یا موقتبودن وضعیت حذف صفحه را مشخص نمیکند؛ اما ۴۱۰ برای شرایطی استفاده میشود که سرور از حذف دائمی صفحات اطمینان دارد. گوگل هر دو را در گروه پاسخهای 4XX مدیریت میکند.[۱][۳]
ممکن است حذف کند یا نکند؛ زیرا گوگل ابتدا باید URL را دوباره Crawl و پاسخ جدید را پردازش کند. برای حذف سریع یک نتیجه میتوان از Removals استفاده کرد، اما اقدام دائمی همچنان باید روی خود URL انجام شود.[۴]
۴۱۰ مقصدی معرفی نمیکند؛ بنابراین مانند ۳۰۱ سیگنال انتقال به یک URL جدید ندارد. صفحه دارای بکلینک باید پیش از حذف از نظر بازیابی، ادغام یا ریدایرکت مرتبط بررسی شود.
بله. مدیر سرور میتواند قانون ۴۱۰ را حذف و همان URL را دوباره با پاسخ ۲۰۰ فعال کند. بااینحال بازگشت صفحه به نتایج به Crawl و پردازش دوباره گوگل وابسته خواهد بود.
خیر. محصول موقتاً ناموجود باید با پاسخ ۲۰۰ باقی بماند. محصول دارای جایگزین نزدیک میتواند به آن ریدایرکت شود و فقط محصول حذفشده دائمی و بدون جایگزین برای ۴۰۴ یا ۴۱۰ مناسب است.
بله. Sitemap باید URLهایی را معرفی کند که میخواهید در نتایج دیده شوند. نگهداری URL دارای ۴۱۰ در Sitemap سیگنال هماهنگی ایجاد نمیکند.[۱۳]
اگر URL در robots.txt مسدود شود، رباتهای گوگل نمیتواند پاسخ ۴۱۰ آن را مشاهده کنند. برای پردازش پاسخ حذف، دسترسی Crawl به URL باید امکانپذیر باشد.
۴۱۰ میگوید منبع دیگر وجود ندارد. noindex میگوید صفحه وجود دارد و برای کاربر قابلدسترسی است، اما نباید در نتایج جستجو نمایش داده شود.[۵]
Removals یک نتیجه را حدود شش ماه از گوگل پنهان میکند و حذف دائمی محتوا محسوب نمیشود. پاسخ ۴۱۰ از سمت سرور ارسال میشود و سرنوشت واقعی منبع را اعلام میکند.[۴]
این محتوا با روش گردآوری، تطبیق و بازنویسی منابع معتبر انگلیسیزبان تدوین شده است. ابتدا استاندارد رسمی HTTP، مستندات Google Search Central، راهنمای Search Console و مستندات رسمی Apache، Nginx، Rank Math، Redirection و Screaming Frog بررسی شدند. سپس ادعاهای مشترک منابع با یکدیگر تطبیق داده شدند و بخشهایی که میان منابع فارسی بهاشتباه تکرار شده بودند، براساس مستندات اصلی اصلاح شدند.
سناریوهای فروشگاه اینترنتی و مثالهای مقاله برای سادهسازی تصمیم میان ۲۰۰، ۳۰۱، ۴۰۴ و ۴۱۰ طراحی شدهاند. بنابراین مقاله ترجمه مستقیم یک منبع یا بیان نظر شخصی نیست و ادعاهای فنی آن با ارجاعهای عددی زیر قابلبررسی هستند.