Index Coverage گوگل سرچ کنسول به طور خلاصه: بازخوردی درباره جزئیات فنی تر فرآیند کراولینگ و ایندکس وب سایت شما ارائه می دهد.
مسائل گزارش شده به چهار وضعیت تقسیم می شوند:
- Valid (معتبر)
- Valid with warnings (معتبر همراه با هشدارها)
- Error (خطا)
- Excluded (حذف شده)
هر وضعیت شامل موضوعاتی است که گوگل در وب سایت شما پیدا کرده و روی آنها حساس است.
گزارش ایندکس گوگل سرچ کنسول چیست؟
هنگامی که گوگل وب سایت شما را کراول و ایندکس می کند، نتایج را پیگیری کرده و آنها را در صفحه اول ایندکس جستجو کنسول گوگل گزارش می کند .
این امر اساساً در مورد جزئیات فنی فرآیند کراولینگ و ایندکس وب سایت شما بازخورد دارد. در صورت مشاهده مشکل فوری، اعلانهایی را ارسال می کنند.
بازخورد آنها در چهار وضعیت طبقه بندی می شود:
- Valid (معتبر)
- Valid with warnings (معتبر همراه با هشدارها)
- Error (خطا)
- Excluded (حذف شده)
چه زمانی باید از گزارش ایندکس کاوریج استفاده کنید؟
گوگل می گوید اگر وب سایت شما کمتر از 500 صفحه دارد، احتمالاً نیازی به استفاده از گزارش ایندکس ندارید.
ما کاملاً با این موضوع مخالفیم.
اگر ترافیک طبیعی از گوگل برای تجارت شما ضروری است، لازم است که از گزارش ایندکس آنها استفاده کنید، زیرا این اطلاعات جزئیات را ارائه می دهند و بسیار قابل اعتماد تر از سایر سایت ها برای اشکال زدایی است.
تمام ارور های سرچ کنسول
تصویر بالا مربوط به وب سایتی نسبتاً بزرگ است که حاوی بسیاری از چالش های جالب فنی است.
با دنبال کردن این مراحل، گزارش Index Coverage وب سایت خود را پیدا کنید:
- وارد گوگل سرچ کنسول شوید.
- از قسمت Property سایت خود را انتخاب کنید.
- در قسمت نویگیشن سمت چپ، روی Coverage در تب ایندکس کلیک کنید.
گزارش Index Coverage به چهار دسته وضعیت مختلف تفکیک شده است:
- معتبر: صفحاتی که ایندکس شده اند.
- معتبر همراه با هشدار: صفحاتی که ایندکس شده اند، اما حاوی برخی موضوعاتی هستند که ممکن است بخواهید آنها را مشاهده کنید.
- حذف شده: صفحاتی که ایندکس نشده اند؛ زیرا موتورهای جستجو سیگنال های واضحی را دریافت کرده اند که نباید آنها را ایندکس کنند.
- خطا: صفحاتی که به دلایلی نمی توانند ایندکس شوند.
هر وضعیت از یک یا چند نوع مختلف تشکیل شده است. در زیر، معنی هر نوع را توضیح خواهیم داد، اینکه آیا اقدام لازم است یا خیر، و اگر لازم است، چه کار باید کرد.
گزارش Index Coverageبه شما نمای کلی و درکی روشن از نحوه مشاهده وب سایت شما از سوی گوگل را نشان می دهد. یکی از کارهای مدیریت و نظارت که اغلب از قلم می افتد، مرور صفحات معتبر در کنسول جستجو است. با انجام این کار می توانید مشخص کنید که آیا در حال حاضر صفحاتی ایندکس شده اند که نباید ایندکس می شدند. اغلب می بینیم که بسیاری از صفحات مبتنی بر پارامترها در کنار نسخه های متعارف این صفحات ایندکس می شوند، که می تواند منجر به ایجاد موارد تکراری و استفاده غیر بهینه از کراولر شود. هنگام شناسایی این صفحات، می توانید از ابزار Parameter URL در کنسول جستجو استفاده کنید تا به گوگل بگویید چگونه با این صفحات برخوردکند و در صورت لزوم، از کراولینگ آنها جلوگیری کند؛ نمای بسیار بهتری از وب سایت خود و رفتار کراولر به گوگل ارائه دهید.
یو آر ال های معتبر Valid URLs
همانطور که در بالا اشاره کردیم، URL های معتبر، صفحاتی هستند که ایندکس شده اند. دو نوع زیر وضعیت “معتبر” را نشان می دهند:
- Submitted and indexed ارسال و ایندکس شد.
- Indexed, not submitted in sitemap مورد ایندکس شده، به نقشه وب سایت ارسال نشده است.
ارسال و ایندکس شد
این URL ها از طریق نقشه وب سایت XML ارسال شده و سپس ایندکس می شوند.
اقدام مورد نیاز: هیچ اقدامی لازم نیست.
مورد ایندکس شده، به نقشه وب سایت ارسال نشده است.
این URL ها از طریق نقشه وب سایت XML ارسال نشده اند، اما گوگل به هر حال آنها را پیدا کرده و آنها را ایندکس کرده است.
اقدام مورد نیاز: بررسی کنید که آیا این URL ها نیاز به ایندکس شدن دارند یا خیر؛ آنها را به نقشه وب سایت XML خود اضافه کنید. در غیر اینصورت، حتماً دستورالعمل noindex روبات را پیاده سازی کرده و در صورت داشتن مشکلات کراولر، آنها را در robots.txt خود حذف کنید.
نکته حرفه‌ای
اگر نقشه وب سایت XML دارید، اما واقعا آن را به گوگل سرچ کنسول ثبت نکرده اید، همه نشانی های اینترنتی با این نوع گزارش می شوند: "Indexed, not submitted in sitemap" که این مورد کمی گیج کننده است.
منطقی است که نقشه وب سایت XML را برای وب سایت های بزرگ (مثلاً بیش از 10 هزار صفحه)، به قسمت های کوچکتر تقسیم کنید، زیرا این امر به شما کمک می کند تا به سرعت در مورد هرگونه مسئله ایندکس در هر بخش یا نوع محتوا اطلاعاتی کسب کنید.
افزودن نقشه های XML وب سایت در هر پوشه یا زیرمجموعه جزئی، اطلاعات بیشتری را برای شما فراهم می کند.
به خاطر داشته باشید که بیشتر گزارش های گوگل سرچ کنسول در تعداد خطاها / پیشنهادهایی که گوگل ارائه می دهد محدود است؛ بنابراین داشتن نقشه XML بیشتر، گزینه های بیشتری در به دست آوردن اطلاعات دقیق به شما می دهد.
گزارش ایندکس کاوریج یکی از بهترین قسمت های گوگل سرچ کنسول جدید است. برای مشتریانی که دارای نقشه وب سایت XML به روز هستند، مسئله ایندکس شده و ارسال نشده در گزارش نقشه وب سایت می تواند دیدگاه های جالب توجهی را حاصل کند.
گوگل کدام URL ها را ایندکس می کند که نباید باشند و الگوهای موجود چه هستند؟ با استفاده از فیلتر داخل گزارش، می توانید الگوهای رایج URL را تقسیم بندی کنید و حجم URL های تحت تأثیر را در پایین گزارش بررسی کنید.
برای قسمت هایی که تاثیرات زیادی در آنها دیده می شود، می توانید گزارش را Excluded کنید تا دلیل اصلی ایندکس شدن URL ها را پیدا کنید. به عنوان مثال، آیا گوگل کنونیکال دیگری را انتخاب کرده است یا ریدایرکت ها باعث ایجاد مشکلات در ایندکس می شوند؟
یو آر ال های معتبر همراه با هشدار Valid URLs with warnings
وضعیت “معتبر همراه با هشدارها” فقط شامل دو نوع است:
- “ایندکس شده، اگرچه توسط robots.txt مسدود شده است”
- “ایندکس بدون محتوا”
ایندکس شده، اگرچه توسط robots.txt مسدود شده است
گوگل این URL ها را ایندکس کرده است، اما توسط پرونده robots.txt شما مسدود شده است. به طور معمول، گوگل این URL ها را ایندکس نمی کرد، اما ظاهراً لینک هایی به این URL ها را پیدا کرده و به هر حال آنها را ایندکس کرده است. احتمالاً تکه هایی که نشان داده می شوند، بهینه نیستند.
لطفاً توجه داشته باشید که این مورد همچنین حاوی URL هایی است که از طریق نقشه وب سایت XML ارسال شده اند. Index Coverage Data Improvements
اقدام مورد نیاز: این URL ها را مرور کنید، robots.txt خود را به روز کنید و احتمالاً دستورالعمل های noindex روبات را اعمال کنید.
بدون محتوا ایندکس شده
گوگل این URL ها را ایندکس کرده، اما هیچ محتوایی در آنها پیدا نکرده است. دلایل احتمالی این امر می تواند این موارد باشد
- پنهان کردن
- گوگل نمی تواند صفحه را رندر کند، زیرا مسدود شده اند و به عنوان مثال کد وضعیت HTTP 403 را دریافت کرده اند.
- محتوا به شکلی است که گوگل آن را ایندکس نمی کند.
- صفحه ای خالی منتشر شد.
اقدام مورد نیاز: این URL ها را دوباره مرور کنید تا مطمئن شوید که آیا واقعاً محتوا ناموجود است یا خیر. برای تعیین اینکه گوگل هنگام درخواست این URL ها چه می بیند، هم از مرورگر خود و هم از ابزار بازرسی URL گوگل سرچ کنسول استفاده کنید. اگر همه چیز خوب به نظر می رسد، فقط درخواست reindexing بدهید.
یو آر ال های حذف شده Excluded URLs
وضعیت “Excluded” شامل انواع زیر است:- Alternative page with proper canonical tag
- Blocked by page removal tool
- Blocked by robots.txt
- Blocked due to access forbidden (403)
- Blocked due to other 4xx issue
- Blocked due to unauthorized request (401)
- Crawl anomaly
- Crawled – currently not indexed
- Discovered – currently not indexed
- Duplicate without user-selected canonical
- Duplicate, Google chose different canonical than user
- Duplicate, submitted URL not selected as canonical
- Excluded by ‘noindex’ tag
- Not found (404)
- Page removed because of legal complaint
- Page with redirect
- Soft 404
بخش "حذف" گزارش کاوریج، هنگام انجام حسابرسی سئو برای شناسایی و اولویت بندی صفحات با مشکلات پیکربندی فنی و محتوا، به سرعت به منبع اصلی تبدیل شده است. در اینجا چند نمونه آورده شده:
برای شناسایی URL هایی که دارای مشکلات کراولینگ و ایندکس هستند و همیشه در شبیه سازی های کراولر خودتان پیدا نمی شوند، این موارد به ویژه هنگامی که به اعتبار سنجی وب دسترسی ندارید بسیار مفید است.
کمک به اولویت بندی بهینه سازی فنی و محتوایی خود، قرار دادن مواردی که بر روی صفحات بیشتری تأثیر می گذارد که توسط گوگل مستقیماً مشاهده می شود، درصد صفحاتی که بودجه کراولینگ وب سایت شما را هدر می دهند، محتوای ضعیفی که مناسب برای ایندکس شدن نیست، آن خطاهایی که باعث آسیب رساندن به تجربه کاربر می شوند و غیره.
برای تأیید اینکه کدام سناریوهای تکثیر محتوا که فکر می کنید با استفاده از برچسب های متعارف آنها را برطرف کرده اید و گوگل از پیکربندی آنها غافل شده است؛ زیرا این صفحات هنوز توسط دیگران با سیگنال ها و پیکربندی های ترکیبی که ممکن است نادیده گرفته باشید ارجاع داده می شوند و اکنون می توانید آنها را برطرف کنید.
برای شناسایی اینکه آیا صفحات شما مشکل Soft 404 دارند یا نه.
صفحه جایگزین با برچسب کنونیکال مناسب Alternative page with proper canonical tag
این URL ها کپی از URL های دیگر هستند، و به درستی در نسخه مطلوب URL کنونیکال می شوند.
اقدام مورد نیاز: هیچ اقدامی لازم نیست.
مسدود شدن توسط ابزار حذف صفحه Blocked by page removal tool
این URL ها به دلیل درخواست حذف URL در حال حاضر در نتایج جستجوی گوگل نشان داده نمی شوند. وقتی URL ها به این روش پنهان می شوند، به مدت 90 روز از نتایج جستجوی گوگل پنهان می مانند. پس از آن دوره، گوگل ممکن است این URL ها را دوباره بالا بیاورد.
از درخواست حذف URL فقط باید به عنوان اقدامی سریع و موقت برای پنهان کردن URL ها استفاده کرد. ما همیشه توصیه می کنیم اقدامات دیگری انجام دهید تا واقعاً از بروز مجدد این URL ها جلوگیری شود.
اقدام مورد نیاز: با استفاده از robots noindex به گوگل سیگنال روشنی ارسال کنید که نباید این URL ها را ایندکس کند و مطمئن شوید که این URL ها قبل از انقضای 90 روزه دوباره بازیابی شوند.
مسدود شدن توسط robots.txt
این URL ها به دلیل فایل robots.txt وب سایت مسدود شده اند و توسط گوگل ایندکس نمی شوند. این بدان معناست که گوگل سیگنال هایی به اندازه کافی قوی را برای تضمین ایندکس این URL ها پیدا نکرده است. اگر این آدرس ها وجود داشته باشند، URL ها در زیر
“Indexed though blocked by robots.txt” فهرست می شوند.
اقدام مورد نیاز: اطمینان حاصل کنید که هیچ آدرس اینترنتی مهمی در میان آدرس های ذکر شده در این فایل وجود ندارد.
بسیار مهم است که به یاد داشته باشید مسدود کردن زیرمجموعه ای از URL ها از طریق پرونده robots.txt به معنای ایندکس نشدن صفحه نیست.
برای اطمینان از ایندکس نشدن صفحه یا زیرمجموعه خاص از صفحات، از دستورالعمل noindex متا روبات استفاده کنید.
مسدود شدن به دلیل ممنوعیت دسترسی (403)
گوگل مجاز به دسترسی به این URL ها نبود و کد پاسخ 403 HTTP را دریافت کرد.
اقدام مورد نیاز: اطمینان حاصل کنید که گوگل (و سایر موتورهای جستجو) به URL هایی که می خواهید با آنها رتبه کسب کنید، بدون محدودیت دسترسی دارد. اگر URL هایی که نمی خواهید با آنها رتبه بگیرید در این نوع مسئله ذکر شده اند، بهتر است فقط دستورالعمل noindex را اعمال کنید (یا در منبع HTML یا در هِدِر HTTP)
مسدود شدن به دلیل مشکل 4XX
گوگل نمی تواند به این URL ها دسترسی پیدا کند؛ زیرا آنها کدهای پاسخ 4XX غیر از 401 ، 403 و 404 دریافت کرده اند. این مسئله می تواند در URL های نامناسب رخ دهد، به عنوان مثال، آنها گاهی کد پاسخ 400 را برمی گردانند.
اقدام لازم: در قسمت URL inspection tool مجددا درخواست کرال این URL ها را ثبت کنید تا ببینید آیا می توانید این عمل را تکرار کنید. اگر این URL ها برای شما مهم هستند، بررسی کنید که موضوع از چه قرار است، این مشکل را برطرف کنید و URL ها را به نقشه وب سایت XML خود اضافه کنید. اگر نمی خواهید با این URL ها رتبه بگیرید، فقط مطمئن شوید که هرگونه ارجاع به آنها را حذف می کنید.
مسدود شدن به دلیل درخواست غیر مجاز (401)
این URL ها برای گوگل غیرقابل دسترسی هستند؛ زیرا با درخواست آنها، گوگل پاسخ 401 HTTP دریافت میکند؛ به این معنا که مجاز به دسترسی به URL ها نیست. به طور معمول این مورد را برای صفحات تستی می بینید که با استفاده از احراز هویت HTTP برای همه غیرقابل دسترسی است.
اقدام مورد نیاز: اطمینان حاصل کنید که هیچ لینک مهمی در این قسمت وجود ندارد. اگر این موارد وجود دارد، باید دلیل آن را بررسی کنید؛ زیرا این مسئله ای جدی در مورد SEO است. اگر صفحات تستی شما ایندکس شده، نحوه پیدا کردن آن توسط گوگل را بررسی کنید و هرگونه لینک به آن را حذف کنید. به یاد داشته باشید، هر دو لینک داخلی و خارجی می توانند دلیل این امر باشند. اگر موتورهای جستجو بتوانند این موارد را پیدا کنند، احتمالاً بازدیدکنندگان نیز می توانند این موارد را پیدا کنند.
ناهنجاری کراولینگ
انواع ناهنجاری کراولینگ منسوخ شده است.
با به روز رسانی ایندکس ژانویه 2021، نوع مسئله ناهنجاری کراولر متوقف شده است. درعوض، اکنون انواع خاص تری را پیدا خواهید کرد:
این URL ها ایندکس نشده اند زیرا گوگل هنگام درخواست آنها با “crawl anomaly” مواجه شده است. ناهنجاری های کراولینگ می تواند به این معنی باشد که آنها کدهای پاسخ را در محدوده 4xx و 5xx دریافت کرده اند که با انواع خاص آنها در گزارش پوشش صفحه، ایندکس نشده است.
اقدام مورد نیاز: سعی کنید بعضی از URL ها را با استفاده از ابزار بازرسی URL واکشی کنید تا ببینید آیا می توانید موضوع را تکرار کنید. اگر می توانید، بررسی کنید که چه خبر است. اگر هیچ مشکلی پیدا نکردید و همه چیز خوب کار می کند، آن را زیر نظر داشته باشید، زیرا می تواند فقط مسئله ای موقتی باشد.
کراول شده در حال حاضر ایندکس نشده است
این URL ها توسط گوگل کراول شده، اما هنوز ایندکس نشده اند. دلایل احتمالی اینکه یک URL ممکن است از این نوع باشد:
- URL اخیراً کراول شده و قرار است ایندکس شود.
- گوگل از URL اطلاع دارد، اما برای ایندکس آن اهمیت کافی پیدا نکرده است. به عنوان مثال به این دلیل که لینک های داخلی آن کم و یا محتوا، تکراری یا کم است.
اقدام مورد نیاز: اطمینان حاصل کنید که URL های مهمی در این ایندکس کلی وجود ندارند. اگر URL های مهمی پیدا کردید، بررسی کنید که چه موقع URL ها کراول شده اند. اگر خیلی جدید باشند و می دانید این URL لینک های داخلی کافی برای ایندکس دارد، احتمالاً به زودی ایندکس می شوند.
"کراول شده در حال حاضر ایندکس نشده است" گزارشی در کنسول جستجو است که بالاترین آمار را دارد.
متأسفانه، شما را مجبور به کارآگاه بازی می کند؛ زیرا گوگل در واقع به شما نمی گوید که چرا URL ایندکس نشده است. دلایل می تواند شامل موارد زیر باشد: محتوای کم، کیفیت پایین، داپلیکیت، صفحه بندی، ریدایرکت، یا گوگل اخیراً صفحه را کشف کرده و به زودی آن را ایندکس می کند.
اگر متوجه شدید که صفحه واقعاً مهم است و باید ایندکس شود، این فرصتی برای اقدام است.
کشف شده در حال حاضر ایندکس نشده است
این URL ها توسط گوگل پیدا شده اما هنوز کرال نشده است و بنابراین ایندکس نشده است. گوگل از آنها اطلاع دارد و برای کراولینگ در صف هستند. این امر می تواند به این دلیل باشد که گوگل این URL ها را درخواست کرده و به دلیل بارگذاری زیاد وب سایت موفقیت نبوده و یا آنها هنوز فرصت کراولینگ پیش نیامده است.
اقدام لازم: این موضوع را زیر نظر داشته باشید. اگر تعداد این ارور ها افزایش یابد، احتمالا مشکل بودجه کراولینگ داشته باشید: وب سایت شما خواستار توجه بیشتر از آنچه گوگل می خواهد برای آن خرج کند است. دلیل این امر این است که وب سایت شما از فدرت کافی برخوردار نیست یا بسیار کند است و یا اغلب در دسترس نیست.
این حالت URL تا حدی بخشی از روند طبیعی است و به خاطر داشته باشید که این گزارش می تواند کمی از حالت واقعی عقب تر باشد.
همیشه ابتدا با ابزار URL inspection وضعیت واقعی را تأیید کنید و در صورت وجود تعداد زیادی صفحه مهم در اینجا: نگاهی دقیق به آنچه که گوگل درحال کراولینگ آن است داشته باشید.
بررسی کنید که آیا گوگل در دامهای کراولر کم ارزش مانند ترکیب فیلترها یا مواردی مانند تقویم رویدادها که تقریبا در تعداد بیشماری گروه URL ایجاد می کنند، گیر افتاده است.
کپی فاقد کنونیکال متعارف انتخاب شده توسط کاربر
این URL ها از نظر گوگل کپی هستند. آنها نسخه مطلوب URL متعارف نیستند و گوگل فکر می کند این URL ها نسخه های برگزیده نیستند. بنابراین، تصمیم گرفته اند این URL ها را از ایندکس خود حذف کنند.
اغلب اوقات، فایل های PDF را پیدا می کنید که 100٪ تکرار PDF های دیگر در میان این URL ها هستند.
اقدام مورد نیاز: URL های متعارف را به نسخه های دلخواه URL، برای مثال، صفحه جزئیات محصول اضافه کنید. اگر این URL ها اصلاً نباید ایندکس شوند، اطمینان حاصل کنید که دستورالعمل noindex را از طریق برچسب روبات های متا یا X-Robots-Tag HTTP Header اعمال کنید. هنگامی که از ابزار بازرسی URL استفاده می کنید، گوگل حتی ممکن است نسخه متعارف URL را به شما نشان دهد.
اگر می بینید که تعداد قابل توجهی از URL ها در دسته "تکراری بدون انتخاب متعارف توسط کاربر" قرار می گیرند، این امر اغلب می تواند مسئله ای را در سطح وب سایت روشن کند، مانند برچسب متنی نامناسب،
شکسته، یا مورد معمول توسط جاوا اسکریپت غیر عمدی حذف یا اصلاح شده است.
کپی، گوگل نسخه معمولی متفاوت از کاربر را انتخاب کرده است
گوگل این URL ها را به تنهایی پیدا کرده و آنها را کپی می داند. حتی اگر آنها را در URL دلخواه خود عادی سازی کنید، گوگل تصمیم دارد آن را نادیده بگیرد و نسخه عادی متفاوتی را اعمال کند.
معمولاً متوجه می شوید که گوگل مورد عادی متفاوتی را در وب سایت های چند زبانه با صفحات کاملاً مشابه و محتوای کم انتخاب می کند.
اقدام مورد نیاز: با استفاده از ابزار بازرسی URL، آدرس اینترنتی که گوگل آنرا را به عنوان URL برگزیده انتخاب کرده، پیدا کنید و ببینید که آیا عملکرد آن منطقی تر است. به عنوان مثال، ممکن است گوگل مورد متعارف دیگری را انتخاب کرده باشد زیرا دارای لینک های بیشتر و / یا محتوای بیشتری باشد.
انتخاب نسخه ای از صفحه و صرفه جویی در ایندکس، انتخاب گوگل است، اما در حکم SEO اینکه گوگل انتخاب شما را نادیده بگیرد، اصلا خوب نیست.
این موضوع می تواند زمانی اتفاق بیفتد که وب سایتی دارای محتوای مشابه با محلی سازی کوچک در بازارهای مختلف باشد و یا صفحاتی باشد که در وب سایت کپی شده اند. به یاد داشته باشید، ویژگی hreflang نیز یک پیشنهاد است؛ بنابراین لزوما مشکل شما را حل نمی کند. ممکن است گوگل همچنان آدرس اینترنتی صحیحی را ارائه دهد، با این حال، عنوان و شرح نسخه منتخب خود را نشان می دهد.
متأسفانه ، GSC به ما نمی گوید که چگونه آن را برطرف کنیم، اما حداقل شما می دانید که مشکلی وجود دارد و می توانید ببینید که مشکل تا چه اندازه بزرگ است. بعضی از راه حل های ممکن ایجاد محتوای منحصر به فرد (اگر hreflang شما کافی نیست) یا noindex کپی این صفحات است.
کپی، URL ارسالی به عنوان متعارف انتخاب نشده است
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید، اما آنها یک مجموعه URL متعارف ندارند. گوگل این URL ها را کپی از URL های دیگر می شناسد؛ بنابراین تصمیم گرفته است که این URL ها را با URL های متعارف متداول گوگل انتخاب کند.
لطفاً توجه داشته باشید که این نوع بسیار شبیه به نوع تکراری است، گوگل مورد متعارفی غیر از کاربر را انتخاب کرده است، اما از دو جهت متفاوت است:
شما صریحاً از گوگل خواسته اید که این صفحات را ایندکس کند.
شما URL های متعارف را تعریف نکرده اید.
اقدام لازم: URL های متعارف مناسب را که به نسخه مطلوب URL اشاره دارند، اضافه کنید.
نکته حرفه‌ای
هنگام انجام مهاجرت های وب سایت، نگه داشتن نقشه وب سایت XML حاوی URL های قدیمی برای سرعت بخشیدن به روند انتقال، بهترین روش معمول است. URL های هدایت مجددی که در نقشه وب سایت XML ذکر شده اند، در ایندکس موارد تکراری لیست می شوند، URL ارسالی در طول زمانی که در نقشه وب سایت XML ذکر شده است، به عنوان متعارف انتخاب نشده است. پس از حذف نقشه وب سایت XML ، URL ها به صفحه دارای تغییر مسیر منتقل می شوند.
با تگ “noindex” حذف شده است
این URL ها توسط گوگل به خاطر دستورالعمل noindex، ایندکس نشده اند (یا در کد HTML یا سرصفحه HTTP)
اقدام مورد نیاز: اطمینان حاصل کنید که URL های مهمی در میان آدرس های ذکر شده در این ایندکس کلی وجود ندارد. اگر URL های مهمی پیدا کردید، دستورالعمل noindex را حذف کرده و از ابزار بازرسی URL برای درخواست ایندکس استفاده کنید. آیا لینک های داخلی وجود دارد که به این صفحات اشاره دارد؟ دوباره بررسی کنید؛ زیرا نمی خواهید این صفحات بدون نسخه در دسترس عموم قرار گیرند.
لطفاً توجه داشته باشید که اگر می خواهید صفحات را غیرقابل دسترسی کنید، بهترین راه برای پیاده سازی احراز هویت HTTP است.
هنگام بررسی قسمت "با تگ noindex حذف شده است"، نه تنها اطمینان از درج نشدن صفحات مهم است بلکه همچنین شامل کردن صفحات با کیفیت پایین نیز مهم است. اگر می دانید وب سایت شما محتوای زیادی تولید می کند که باید دارای برچسب "noindex" باشد، اطمینان حاصل کنید که در این گزارش گنجانده شده است.
پیدا نشد 404
این URL ها در نقشه وب سایت XML گنجانده نشده اند؛ اما گوگل آنها را به نوعی پیدا کرده و نمی تواند آنها را ایندکس کند؛ زیرا کد وضعیت HTTP 404 را بازگردانده اند. ممکن است گوگل این URL ها را از طریق وب سایت های دیگر پیدا کرده باشد یا این URL ها در گذشته وجود داشته باشند.
اقدام مورد نیاز: اطمینان حاصل کنید که URL های مهمی در میان آدرس های ذکر شده در این ایندکس کلی وجود ندارد. اگر URL های مهمی پیدا کردید، محتوای این URL ها را بازیابی کنید یا آنرا با ریدایرکت 301 به مهمترین صفحه مشابه هدایت کنید. اگر به گزینه ای بسیار مرتبط هدایت نکنید، احتمالاً این URL تحت عنوان سافت 404 دیده می شود.
صفحه به دلیل شکایت قانونی حذف شد
این URL ها به دلیل شکایت قانونی از ایندکس گوگل حذف شدند.
اقدام مورد نیاز: اطمینان حاصل کنید که از هر نشانی اینترنتی که در این ایندکس کلی ذکر شده مطلع هستید؛ زیرا ممکن است فردی با سوء نیت درخواست کرده باشد URL های شما از ایندکس گوگل حذف شود.
صفحه با تغییر مسیر
این URL ها تغییر مسیر داده اند؛ بنابراین توسط گوگل ایندکس نمی شوند.
اقدام مورد نیاز: هیچ اقدامی لازم نیست.
Soft 404
این URL ها پاسخ 404 Soft تلقی می شوند، بدین معنی که URL ها کد وضعیت HTTP 404 را بر نمی گردانند؛ اما این محتوا این احساس را ایجاد می کند که در واقع صفحه 404 است؛ به عنوان مثال با نشان دادن پیام “صفحه یافت نمی شود”. متناوباً، این خطاها می توانند نتیجه هدایت به صفحاتی باشند که از نظر گوگل به اندازه کافی مرتبط نیستند. به عنوان مثال یک صفحه جزئیات محصول را که به صفحات گروه خود یا حتی به صفحه اصلی هدایت شده است، در نظر بگیرید.
اقدام لازم: اگر این URL ها 404 واقعی هستند، مطمئن شوید که کد وضعیت 404 HTTP مناسب را بر می گردانند. اگر آنها اصلاً 404 نیستند، مطمئن شوید که محتوا به درستی نمایش داده می شوند.
در فروشگاه های اینترنتی، اغلب خطاهای 404 Soft را مشاهده می کنم. بیشتر اوقات مسئله مهمی نیست، اما این مسئله همچنین می تواند به مسئله ای در مورد ارزیابی گوگل از صفحات شما اشاره کند. همیشه نگاهی بیندازید و ببینید آیا محتوای شما منطقی است یا این URL را هدایت کرده اید که یک URL مربوط محسوب می شود یا خیر.
Error URLs
وضعیت “error” شامل انواع زیر است:
- Redirect error
- Server error (5xx)
- Submitted URL blocked by robots.txt
- Submitted URL blocked due to other 4xx issue
- Submitted URL has crawl issue
- Submitted URL marked noindex
- Submitted URL not found (404)
- Submitted URL seems to be a Soft 404
- Submitted URL returned 403
- Submitted URL returns unauthorized request (401)
خطای تغییر مسیر
این URL های ریدایرکت شده نمی توانند کراول شوند؛ زیرا گوگل با خطاهای هدایت مواجه شده است. در اینجا چند نمونه از مشکلات احتمالی گوگل وجود دارد:
- حلقه های تغییر مسیر (Redirect loops)
- زنجیره های تغییر مسیر خیلی طولانی. گوگل پنج بار تلاش برای هدایت مجدد را در هر بار کراولینگ دنبال می کند. (Redirect chains)
- هدایت به URL بسیار طولانی است.
اقدام لازم: آنچه در این ریدایرکت ها انجام می شود را بررسی و آنها را برطرف کنید. از این سایت خیلی راحت میتوانید وضعیت HTTP بررسی کنید تا اشکال زدایی را شروع کنید.
خطای سرور (5xx)
این URL ها خطای 5xx را به گوگل بازگرداندند و گوگل را از کراولینگ این صفحه بازداشتند.
اقدام لازم: بررسی کنید که چرا URL خطای 5xx را بازگردانده و آن را برطرف کنید. اغلب اوقات، می بینید که این خطاهای 5xx فقط به دلیل شلوغ بودن سرور، موقتی هستند. به خاطر داشته باشید که عامل کاربر که درخواست ها را ارائه می دهد، می تواند بر روی بازگرداندن کد وضعیت HTTP تأثیر بگذارد؛ بنابراین حتماً از عامل کاربر Googlebot استفاده کنید.
اطمینان حاصل کنید که لاگ های ورود به سیستم خود را بررسی کرده اید و تنظیمات محدود کننده نرخ را انجام داده اید. استفاده از نرم افزار برای مسدود کردن اسکرابرها یا کاربران مخرب می تواند منجر به مسدود شدن ربات های موتور جستجو نیز بشود. معمولاً درخواست ها قبل از رسیدن درخواست به سرور که در آن logfiles جمع آوری می شود مسدود می شوند؛ بنابراین برای شناسایی مشکلات احتمالی فراموش نکنید که هر دو منبع را بررسی کنید.
آدرس ارسالی توسط robots.txt مسدود شده است
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید؛ اما ایندکس نشده اند زیرا گوگل از طریق پرونده robots.txt مسدود شده است. این نوع بسیار شبیه به دو نوع دیگر است که قبلاً در بالا به آنها پرداختیم.
تفاوت این مورد بدین صورت است:
- اگر URL ها ایندکس شده باشند، در “ایندکس شده، اگرچه توسط robots.txt مسدود شده اند” لیست شده اند.
- اگر URL ها ایندکس شوند و از طریق نقشه وب سایت XML ارسال نشوند، در فهرست “مسدود شده توسط robots.txt” لیست می شوند.
این از جمله تفاوت های ظریف است؛ اما کمک بزرگی به رفع اشکالاتی از این نوع می کند.
اقدام لازم:
- اگر URL های مهمی در این فهرست وجود دارند، اطمینان حاصل کنید که از مسدود شدن آنها از طریق پرونده robots.txt جلوگیری شود. با انتخاب URL، و سپس کلیک کردن روی دکمه TEST ROBOTS.TXT BLOCKINGدر سمت راست، دستورالعمل robots.txt را پیدا کنید.
- URL هایی که نباید برای گوگل قابل دسترسی باشند، باید از نقشه وب سایت XML حذف شوند.
ویژگی "URL ارسالی توسط robots.txt مسدود شده است". برای فهمیدن اینکه کجای کار با مشکل روبروییم، بسیار مفید است (و به ما فرصتی می دهد تا سریع تر آن را برطرف کنیم!) این یکی از اولین مواردی است که پس از راه اندازی مجدد وب سایت یا مهاجرت از آن بررسی می شود. وب سایت های بزرگ تجمع یا تجارت الکترونیکی تمایل دارند که ایندکس های مهم را در راه اندازی پس از تولید پرونده robots.txt ممنوع کنند. این بخش همچنین برای اشاره به نقشه های وب سایت XML منسوخ شده، که به دفعات لازم به روز نمی شوند نیز مفید است.
URL ارسال شده به دلیل مشکل 4xx مسدود شده است
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید؛ اما گوگل کدهای پاسخ 4xx را دریافت کرده که با 401، 403 و 404 مغایر است. اقدام لازم: سعی کنید این یو آر ال ها را با استفاده از ابزار URL inspection tool بررسی کنید تا ببینید آیا می توانید آن را به وضعیت اول بازگردانید. اگر توانستید، ببنید مشکل چیست و آن را رفع کنید. اگر این URL ها به درستی کار نمی کنند، و نباید ایندکس شوند، آنها را از نقشه سایت XML خارج کنید.URL ارسال شده مشکل کراول دارد
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید؛ اما گوگل با مشکلات مربوط به کراول روبرو شده است. این مشکل در حوزه مشکلاتی از کراولینگ “فراگیر” است که در دسته بندی دیگر انواع موجود نمی گنجد.
خیلی از اوقات این مشکلات کراولینگ موقتی بوده و در دسته “عادی” قرار می گیرد (مثلا در دسته “یافت نشد 404”) و در صورت چک کردن دوباره شان این موضوع روشن می شود.
اقدام لازم: سعی کنید این URL ها را با استفاده از ابزار URL inspection tool چک کنید تا ببینید آیا می توانید آن را به وضعیت اول بازگردانید. اگر توانستید، ببنید مشکل چیست و آن را رفع کنید. اگر مشکلی نمیبینید و همه چیز به خوبی کار می کند، حواستان به آن باشد، چرا که امکان دارد مشکلی موقتی باشد.
URL ارسال شده با علامت “noindex”
شما این URL ها را از طریق یک نقشه وب سایت XML ارسال کرده اید؛ اما آنها دستورالعمل noindex را دریافت کرده اند.
اقدام لازم:
- اگر نشانی های اینترنتی مهم وجود دارند، اطمینان حاصل کنید که دستورالعمل noindex را حذف کرده اید.
- URL هایی که نباید ایندکس شوند، باید از نقشه وب سایت XML حذف شوند.
دستورالعمل ربات noindex یک سیگنال است که نشان می دهد آیا یک URL باید ایندکس شود یا نه. کنونیکال ها، لینک های داخلی، تغییر مسیرها، hreflang، نقشه های وب سایت و غیره همه در تفسیر به شما کمک می کنند. گوگل برای سرگرمی از دستورالعمل ها چشم پوشی نمی کند، بلکه در نهایت سعی دارد به شما کمک کند!
در مواردی که سیگنال های متناقضی وجود دارد، مانند وجود کنونیکال و نوایندکس در یک صفحه، گوگل باید انتخاب کند که کدام مورد را برگزیند. به طور کلی، گوگل تمایل دارد که کنونیکال را جای نوایندکس انتخاب کند.
آدرس ارسالی یافت نشد (404)
شما این URL ها را از طریق یک نقشه وب سایت XML ارسال کرده اید؛ اما به نظر می رسد URL ها وجود ندارند.
این نوع بسیار شبیه به نوع “پیدا نشد (404)” است که قبلاً به آن پرداختیم، تنها تفاوت در این است که در این حالت، شما URL ها را از طریق نقشه وب سایت XML ارسال می کنید.
اقدام لازم:
- اگر URL های مهم را در فهرست یافتید، محتوای آنها را بازیابی کنید یا با ریدایرکت 301 آنرا به مرتبط ترین صفحه هدایت کنید.
- در غیر این صورت، این URL ها را از نقشه وب سایت XML حذف کنید.
به نظر می رسد URL ارسالی Soft 404 است
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید؛ اما گوگل آنها را “404 Soft” می شناسد. این URL ها ممکن است کد وضعیت HTTP 200 را بازگردانند؛ در حالیکه در واقع صفحه 404 را نشان می دهند یا محتوای صفحه تصویر 404 را حاصل می کنند.
این نوع بسیار شبیه نوع Soft 404 است که قبلاً به آن پرداختیم؛ تنها تفاوت در این است که در این حالت این URL ها را از طریق نقشه وب سایت XML ارسال می کنید.
اقدام لازم:
- اگر این URL ها 404 واقعی هستند، اطمینان حاصل کنید که آنها کد وضعیت 404 HTTP مناسب را بر می گردانند و از نقشه وب سایت XML حذف می شوند.
- اگر آنها اصلاً 404 نیستند، مطمئن شوید که محتوا آن نمایش داده می شود.
آدرس ارسالی 403 نمایش می دهد
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید، اما گوگل اجازه دسترسی به این URL ها را نداشته و پاسخ 403HTTP دریافت کرده است.
این نوع بسیار شبیه به شکل زیر است، تنها تفاوت در این است که انتظار می رود در صورت ورود 401 شناسه به سیستم پاسخ HTTP وارد شود.
اقدام لازم: اگر این URL ها باید در دسترس عموم قرار گیرند، دسترسی بدون محدودیت را فراهم کنید. در غیر این صورت، این URL ها را از نقشه وب سایت XML حذف کنید.
URL ارسالی درخواست غیر مجاز را برمی گرداند (401)
شما این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید؛ اما گوگل پاسخ HTTP 401 دریافت کرده است، به این معنی که آنها مجاز به دسترسی به URL ها نیستند.
این امر به طور معمول برای محیط های آزمایشی که با استفاده از احراز هویت HTTP برای عموم غیرقابل دسترسی است، دیده می شود.
این نوع بسیار شبیه به نوع “مسدود شده به دلیل درخواست غیرمجاز (401)” است که قبلاً به آن پرداختیم؛ تنها تفاوت در این است که در این حالت این URL ها را از طریق نقشه وب سایت XML ارسال کرده اید.
اقدام لازم: بررسی اینکه آیا کد وضعیت 401 HTTP به درستی برگردانده شده است یا خیر. در این صورت، این URL ها را از نقشه وب سایت XML حذف کنید. در غیر اینصورت، به Google اجازه دسترسی به این URL ها را بدهید.
سوالات متداول درباره گزارش Index Coverage
گزارش Index Coverage بازخورد گوگل را از نحوه عملکرد آن هنگام کراولینگ و ایندکس وب سایت شما ارائه می دهد. این مورد شامل اطلاعات ارزشمندی است که به شما در بهبود عملکرد سئو کمک می کند.
در حالیکه گوگل می گوید گزارش فقط برای وب سایت هایی با بیش از 500 صفحه مفید است، اما ما به همه کسانی که به شدت به ترافیک طبیعی اعتماد دارند توصیه می کنیم از آن استفاده کنند و اطلاعات بسیار دقیقی را فراهم می کند و بسیار قابل اعتماد تر از استفاده از وب سایت آنها است.
این امر به آنچه در وب سایت خود انجام می دهید، بستگی دارد. اگر وب سایتی ساده با چند صد صفحه است، ممکن است بخواهید هر ماه یک بار آن را بررسی کنید. اگر میلیون ها صفحه دارید و به صورت هفتگی هزاران صفحه اضافه می کنید، توصیه می کنیم مهمترین ها را یک بار در هفته بررسی کنید.
دلایل مختلفی برای این مورد وجود دارد؛ اما ما اغلب می بینیم که اکثر این URL ها، کنونیکال هستند و آدرس های ریدایرکت شده و همچنین آدرس هایی را که از طریق robots.txt وب سایت مسدود شده اند، هدایت می کنند؛ بویژه برای وب سایت های بزرگ.
ارسال لینک این مطلب در شبکه های اجتماعی
این مطالب نیز برای شما مفید هستند:
