همه چیز درباره noindex disallow nofollow
این سه کلمه بالا ممکن است در مبحث سئو بی معنی به نظر برسند، اما کلمات ارزش دانستن دارند؛ زیرا دانستن نحوه استفاده از آنها به این معنی است که می توانید گوگل بات را کنترل کنید که در نوع خود امری جالب توجه و سرگرم کننده است. پس اجازه دهید تا با بررسی اصول اولیه شروع کنیم: سه روش برای کنترل بخش هایی از موتورهای جستجوی سایت شما وجود دارد:
- noindex: به موتورهای جستجو می گوید که صفحه (های) شما را در نتایج جستجو قرار ندهد.
- disallow: به موتورهای جستجو می گوید به صفحه (های) شما نروند.
- nofollow: به موتورهای جستجو می گوید که پیوندهای صفحه شما را دنبال نکنند.
متاتگ نوایندکس چیست؟
تگ noindex به موتورهای جستجو می گوید که صفحه را در نتایج جستجو قرار ندهد.
متداول ترین روش نوایندکس یک صفحه، افزودن کد در بخش اصلی از HTML یا سرصفحه های سایت است. برای اینکه موتورهای جستجو بتوانند این اطلاعات را ببینند، صفحه نباید قبلاً در فایل robots.txt مسدود شده باشد (دیس الو شده باشد). اگر صفحه از طریق فایل robots.txt شما مسدود شود، گوگل هرگز تگ نوایندکس را نمی بیند و ممکن است صفحه همچنان در نتایج جستجو ظاهر شود. برای اینکه به موتورهای جستجو بگویید صفحه را ایندکس نکنند، کافیست موارد زیر را به بخش head اضافه کنید:
<!--
<meta name=”robots” content=”noindex, follow”>
-->
قسمت دوم کد بالا نشان می دهد که تمام پیوندهای این صفحه باید دنبال شوند، که در ادامه به آنها خواهیم پرداخت.
همچنین، نوایندکس را می توان در برچسب X Robots در هدر HTTP استفاده کرد:
X-Robots-Tag: noindex
برای اطلاعات بیشتر به پست گوگل Developers در مورد متا تگ Robots و مشخصات هِدِر HTTP Tag X Robots مراجعه کنید.
چگونه می توانم از نوایندکس در Robots.txt استفاده کنم؟
یک تگ noindex در فایل robots.txt شما، به موتورهای جستجو می گوید که این صفحه را در نتایج جستجو قرار ندهد، اما یک روش سریع تر و آسان تر برای ایجاد همزمان تعداد زیادی صفحه است، خصوصاً اگر به فایل robots.txt خود دسترسی دارید. به عنوان مثال، شما می توانید URL های موجود در یک پوشه خاص را نوایندکس کنید. در اینجا مثالی از دستورالعمل نوایندکس وجود دارد که می تواند در پرونده robots.txt قرار گیرد:
Noindex: /example-page/
با این حال، گوگل توصیه می کند که از این روش استفاده نکنید. جان مولر اظهار داشته است که نباید به آن اعتماد کنید.
دستور دیس الو چیست؟
disallow به این معنی است که شما به خزنده های موتورهای جستجو می گویید که آن را نادیده بگیرند. این کار باید در فایل robots.txt سایت شما انجام شود.
اگر صفحات زیادی دارید که هیچ فایده ای برای خوانندگان یا موتور جستجو ندارند، این کار مفید است؛ زیرا به این معنی است که موتورهای جستجو وقت را برای رفتن به سوی آن صفحات تلف نمی کنند.
برای اضافه کردن دیس الو ، کافی است موارد زیر را در فایل robots.txt خود اضافه کنید:
Disallow: /your-page-url/
اگر صفحه دارای لینک های خارجی یا تگ کنونیکال باشد که به آن اشاره می کنند، هنوز میتواند ایندکس شود و در رتبه بندی قرار گیرد. بنابراین مهم است که دیس الو با برچسب نوایندکس ترکیب شود.
احتیاط: با دیس الو کردن یک صفحه در واقع آن را از سایت خود حذف می کنید.
صفحات دیس الو شده نمی توانند اعتبار صفحه (پیج رنک) را انتقال دهند. بنابراین هر لینکی در آن صفحات از نظر سئو بی فایده است. بنابراین هنگام نوشتن دستورالعمل های دیس الو مراقب باشید.
ترکیب دیس الو و نوایندکس
نوایندکس (صفحه) + دیس الو : دیس الو را نمی توان با نوایندکس در صفحه ترکیب کرد، زیرا صفحه مسدود شده است و بنابراین موتورهای جستجو به سمت آن نمی روند تا بدانند که قرار نیست صفحه را از فهرست خارج کنند.
نوایندکس (robots.txt) + دیس الو: این کار از ایندکس شدن صفحات و همچنین از خزیدن موتورهای جستجوگر جلوگیری می کند. با این حال، یاداوری می کنیم که پیج رنک نمی تواند از این صفحه منتقل شود.
برای ترکیب دیس الو با نوایندکس در robots.txt خود، به سادگی هر دو دستورالعمل را به فایل robots.txt خود اضافه کنید:
Disallow: /example-page/
Noindex: /example-page/
تگ نوفالو چیست؟
تگ nofollow روی یک لینک به موتورهای جستجو می گوید که برای تصمیم گیری در مورد پیج رنک یا کشف لینک های بیشتر این لینک را دنبال نکنند. موارد معمول استفاده از نوفالو شامل لینک های نظرات کاربران و سایر محتوایی است که کنترلی روی آن ندارید. لینک های فروشی، لینک در پست های مهمان یا هر موضوعی که می خواهید افراد را به آنها لینک دهید.
تگ های نوفالو را می توان در یکی از حالت های زیر استفاده کرد:
- سر صفحه (برای نوفالو کردن تمام لینک‌های موجود در آن صفحه)
<meta name=”robots” content=”nofollow”/>
- کد لینک (برای نوفالو کردن لینک خاص)
<a href=”example.html” rel=”nofollow”>example page</a>
نوفالو از خزنده های موتورهای جستجو جلوگیری نمی‌کند
استفاده از تگ نوفالو مانع خزیدن موتور جستجوگر، فقط از یک لینک خاص می شود. تست های ما و دیگران نشان داده اند که گوگل، URL هایی را که در قالب لینک های “نوفالو” می یابد، کرال نخواهد کرد.
گوگل اظهار داشته که اگر سایت دیگری بدون استفاده از تگ نوفالو به همان صفحه لینک شود یا صفحه در یک نقشه سایت ظاهر شود، این صفحه همچنان ممکن است در نتایج جستجو ظاهر شود. بنابراین، اگر یک url داشته باشیم که موتورهای جستجو قبلاً از آن مطلع بودند، با افزودن لینک نوفالو آن را از نتایج حذف نمی کنند.
در سپتامبر 2019، گوگل در آپدیت دستورالعمل نوفالو خود دو ویژگی جدید را معرفی کرد که عبارتند از:
- rel=“sponsored”
از ویژگی sponsored برای شناسایی پیوندهایی که برای اهداف تبلیغاتی هستند، جایی که توافق نامه های حمایت مالی و جبران خسارت وجود دارد استفاده شود.
- rel=“ugc”
به عنوان ویژگی محتوای تولید شده توسط کاربر، این مقدار برای پیوندهای سایت های محتوای تولید شده توسط کاربر، به عنوان مثال پست های انجمن و نظرات وبلاگ، توصیه می شود.
علاوه بر این، تمام لینکهایی که با نوفالو، sponsored یا ugc مشخص شده اند اکنون به عنوان نکاتی درمورد اینکه کدام لینکها را باید در جستجو و هنگام خزیدن در نظر بگیریم، فقط یک سیگنال تلقی می شوند، همانطور که قبلا برای نوفالو گفته شده است.
نوایندکس نوفالو
همانطور که در بالا ذکر شد، افزودن تگ نوفالو به یک صفحه مانع از خزیدن کامل موتور جستجو در آن نمی شود. بنابراین، برای جلوگیری از ایندکس شدن آن، باید صفحه را نوایندکس کنید. این عمل به شما این امکان را می دهد که گوگل همچنان بتواند صفحه را بخزد اما در نتایج جستجو نمایش داده نمی شود. صفحاتی که احتمالاً می خواهید نوایندکس داشته باشد؛ صفحه مدیریت / ورود، نتایج جستجوی داخلی و صفحه ثبت نام. برای جلوگیری از خزیدن کامل صفحه توسط گوگل، باید آن را نیز دیس الو کنید (بالاتر توضیح دادیم).
تگ های Canonical، Pagination و Hreflang
روش های دیگری هم وجود دارند که به گوگل و سایر موتورهای جستجو می گوید چگونه باید با url ها رفتار کنند:
تگ کنونیکال (Canonical) به موتورهای جستجو می گوید کدام صفحه از گروه از صفحات مشابه باید نمایش داده شود. اگر سایت شما ورژن تلفن همراه و دسک تاپ جداگانه دارد، باید استفاده از تگ کنونیکال را مدنظر قرار دهید.
Pagination چندین صفحه را با هم گروه بندی می کند تا موتورهای جستجو بدانند که آنها بخشی از یک مجموعه هستند. هنگام رتبه بندی صفحات، موتورهای جستجو باید صفحه اول هر مجموعه را در اولویت قرار دهند، اما همه صفحات موجود مجموعه در ایندکس باقی خواهند ماند.
Hreflang به موتورهای جستجو می گوید کدام نسخه محتوای مشابه برای کدام منطقه مناسب است، به طوری که آنها می توانند نسخه صحیح هر مخاطب را در اولویت قرار دهند. همه این نسخه ها در نتایج جستجو باقی می مانند. (برای سایت های چند زبانه مناسب است)
چقدر باید به کاهش زمان نرخ خزنده ها اهمیت دهید؟
ممکن است صحبت های زیادی در انجمن های SEO در مورد اهمیت کارایی خزیدن و نرخ خزیدن برای سئو سایت بشنوید، در حالی که این یک روش معمول برای دیس الو و نوایندکس در گروه های زیادی از صفحات است که هیچ فایده ای برای موتورهای جستجو یا خوانندگان ندارند، تصمیم گیری در مورد پنهان کردن بسیاری از صفحات جداگانه احتمالاً بهترین استفاده از وقت و تلاش نیست.
گوگل دوست دارد تا جای ممکن URL ها را ایندکس کند، مگر اینکه دلیل خاصی برای پنهان کردن یک صفحه از موتورهای جستجو وجود داشته باشد، معمولاً تصمیم گیری به عهده گوگل بگذارید. در هر صورت، حتی اگر صفحات را از موتورهای جستجو پنهان کنید، گوگل همچنان بررسی می کند که آیا این URL ها تغییر کرده اند یا خیر. این خصوصاً در صورت وجود لینکهایی که به آن صفحه اشاره می کنند، بسیار حائز اهمیت است. حتی اگر گوگل URL را فراموش کرده باشد، ممکن است دفعه بعد که لینکی به آن اشاره کند، آن را دوباره کشف کند.
آزمایش robots.txt با گوگل سرچ کنسول
ابزار تستر robots.txt در سرچ کنسول گوگل در بخش کرال روشی محبوب و تا حد زیادی موثر برای بررسی نسخه جدید فایل رباتس شما از نظر وجود هرگونه خطا قبل از فعال شدن یا آزمایش یک URL خاص برای دیدن مسدود بودن آن است.
با این حال، این ابزار دقیقاً به همان روش گوگل کار نمی کند، ممکن است دارای مغایرت کوچکی با قوانین الو / دیس الو در گوگل باشد. به همین دلیل، توصیه نمی شود کاملا تمام نتایج آن اعتماد کنید.
یک فایل robots.txt خوب برای سایت های وردپرسی
از کد زیر میتوانید استفاده کنید این کدی است که خود ما برای سایت های وردپرس از آن استفاده می کنیم:
User-agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /readme.html Disallow: /wp-admin/ Sitemap: https://your-url/sitemap.xml
تشکر میکنم. مطلب جامع و خوبی بود. الان تفاوت noindex و nofollow و disallow رو متوجه شدم.
درود بر شما خوشحالم مفید بوده براتون