Noindex - برچسبی برای مسدود کردن محتوا از نمایه سازی و ویژگی های برنامه. نحوه استفاده صحیح از یک ویژگی - اسرار SEO

بیایید با تشریح روش‌های مختلف استفاده از noindex و nofollow شروع کنیم:

• برچسب بزنید و صفت
• برچسب های متا و

برچسب بزنید و صفت

برچسب بزنید یک تگ HTML است که از ایندکس یاندکس ناحیه خاصی از صفحه سایت جلوگیری می کند. این برچسب برای موتور جستجوی گوگل کار نمی کند، علاوه بر این، گوگل به هیچ وجه امکان حذف بخشی از متن یک صفحه از فهرست را فراهم نمی کند.

تصور اشتباه شماره 1اشتباه اصلی مردم هنگام استفاده از این تگ این است که معتقدند اگر متنی بین تگ های باز و بسته قرار گیرد ، سپس ربات Yandex این متن را نمی خواند و تجزیه و تحلیل نمی کند.

تنها چیزی که این برچسب ممنوع می کند قرار دادن محتوا در پایگاه داده ایندکس است، اما در هر صورت این محتوا توسط ربات خوانده و تجزیه و تحلیل خواهد شد.

مثال: متنی در صفحه ای در سایت شما وجود دارد که از جملات مستقیم از منابع شخص ثالث استفاده می کند. بنابراین این جملات از منحصر به فرد بودن متن شما می کاهد و شما به 100% منحصر به فرد بودن نیاز دارید. شما تصمیم می گیرید این جملات را با تگ ببندید به طوری که Yandex متن شما را منحصر به فرد می داند. این یک توهم است.

کاملاً تمام متن های صفحه شما توسط ربات خوانده و پردازش می شود و می داند که متن صفحه شما منحصر به فرد نیست.

ماهیت تگ – «فهرست نکنید» به این معنی است که خواندن منعی ندارد.

بیایید فرض کنیم که یک ربات جستجوگر از صفحه شما بازدید کرده و شروع به خزیدن در محتوا کرده است. در نقطه ای ربات دهانه تگ را پیدا می کند ، که سیگنالی برای ربات است که متن را بیشتر نمایه نکند. اما برای پیدا کردن مکان در کد که در آن برچسب بسته می شود، ربات باید مطالبی را که پس از باز شدن این تگ می آید را بخواند. بنابراین، حتی از نظر تئوری، جلوگیری از خواندن محتوا توسط ربات ها با استفاده از برچسب غیرممکن است .

پس چرا به یک برچسب نیاز دارید؟ ?

این به طور مستقیم مورد نیاز است تا ربات را از ارائه هرگونه اطلاعات در نتایج موتور جستجوی خود منع کند. اینها می توانند برای مثال مخاطبینی باشند که به دلایلی نباید در نتایج جستجو نمایش داده شوند.

تصور غلط شماره 2.یکی دیگر از تصورات اشتباهی که اغلب در بین صاحبان وب سایت یافت می شود، این عقیده است که یک پیوند در یک برچسب قرار می گیرد ، توسط ربات جستجوگر در نظر گرفته نخواهد شد. همانطور که قبلاً گفتم، هر چیزی که در داخل تگ است ، توسط ربات Yandex خوانده و تحلیل خواهد شد. و لینک ها نیز از این قاعده مستثنی نیستند. تنها تفاوت بین پیوندهایی که به روش معمول قرار می گیرند و پیوندهایی که در یک برچسب قرار می گیرند این است – این به این معنی است که متن (انکر) پیوند ایندکس نخواهد شد.

برای کمک به مدیران وب‌سایت‌هایی که به این ربات نیاز دارند تا هنوز پیوندهای صفحات را در نظر نگیرد، این ویژگی به کمک می‌آید که هم برای Yandex و هم برای Google کار می‌کند. هنگام استفاده از این ویژگی، لینک همچنان توسط ربات مطالعه می شود و روی آن کلیک می شود، اما بدون nofollow وزن به گیرنده منتقل می شود و با nofollow وزن می سوزد.

مثال 1:
ایجاد و ارتقاء وب سایت

Yandex لنگر را ایندکس نمی کند، اما پیوند به سایت را در نظر می گیرد و وزن را به آن منتقل می کند

مثال 2:
ایجاد و ارتقاء وب سایت

Yandex لنگر را ایندکس نمی کند و وزن را از طریق پیوند به سایت منتقل نمی کند

دو راه برای نوشتن یک برچسب وجود دارد در کد:

1.

2. متن ممنوعه از نمایه سازی

گزینه دوم صحیح تر است. از آنجا که برچسب در مشخصات زبان نشانه گذاری رسمی HTML گنجانده نشده است، وجود آن در کد ممکن است باعث سوء تفاهم در سایر موتورهای جستجو شود که وجود آن را یک خطا در نظر می گیرد. برای معتبر بودن کد صفحه، به همه ربات‌های جستجوگر توصیه می‌شود که از نسخه نظر داده شده املا استفاده کنند. Yandex این املا را تشخیص می دهد و سایر روبات های جستجوگر به حضور آن توجه نمی کنند.

برچسب های متا و

استفاده از متا تگ noindex در کد صفحه، Yandex (گوگل، دوباره در این مورد دخالتی ندارد) را از فهرست کردن تمام محتوای متنی صفحه منع می کند، در حالی که پیوندها به طور کامل تجزیه و تحلیل خواهند شد. یعنی وجود این متا تگ در کد صفحه معادل بستن صفحه از فهرست در robots.txt نیست.

وجود متا تگ nofollow در کد صفحه باعث می شود موتورهای جستجو نتوانند لینک های موجود در صفحات را ایندکس کنند. در صورت وجود این متا تگ، ربات‌ها پیوندهای صفحه را دنبال نمی‌کنند. اما آنچه در کمک Yandex نوشته شده است:
اگر اسنادی از صفحه‌ای حاوی متا تگ با مقدار nofollow پیوند داده شده باشند، ربات از آنها بازدید نمی‌کند، اما اگر پیوندهایی به آنها در منابع دیگر بدون nofollow وجود داشته باشد، می‌توانند ایندکس شوند.

بیایید آن را جمع بندی کنیم

برچسب بزنید ما از آن فقط برای جلوگیری از ارائه اطلاعات توسط روبات های Yandex در نتایج جستجو استفاده می کنیم.

اگر بخواهیم وزن لینک به گیرنده منتقل نشود، از ویژگی nofollow استفاده می کنیم. در عین حال، فراموش نکنید که ربات همچنان می تواند پیوند را دنبال کند (اگر اطلاعات مربوط به آن از منابع دیگر به دست آمده باشد: نقشه سایت، پیوندها) و صفحه ای را که به آن پیوند دارد تجزیه و تحلیل کند. این روش برای Yandex و Google کار می کند.

برای جلوگیری از نمایش یک صفحه در نتایج جستجوی گوگل، یک ویژگی noindex را در کد HTML صفحه یا یک سرصفحه noindex در درخواست HTTP وارد کنید. در حین خزیدن، Googlebot آن را شناسایی کرده و صفحه را نادیده می‌گیرد، حتی اگر سایت‌های دیگر به آن پیوند داشته باشند.

توجه! خزنده دستورالعمل noindex را در صورت وجود صفحه تشخیص نمی دهد مسدوددر فایل robots.txt. چنین صفحه ای ممکن است در نتایج جستجو ظاهر شود (مثلاً اگر به صفحه دیگری پیوند داده شده باشد).

دستورالعمل noindex به شما امکان می دهد دسترسی به صفحات جداگانه سایت را کنترل کنید، بنابراین توصیه می شود اگر به دایرکتوری ریشه در سرور دسترسی ندارید از آن استفاده کنید.

نحوه اضافه کردن ویژگی noindex

دو راه برای اضافه کردن دستورالعمل noindex وجود دارد. نتایج آنها معادل هستند و انتخاب بستگی به میزان کنترل سرور و نحوه انتشار محتوا دارد.

برچسب بزنید

برای مسدود کردن اکثر ربات های جستجوگر، متا تگ زیر را به بخش اضافه کنید صفحات وب:

اگر شما می خواهید دسترسی به صفحه را فقط به روبات های گوگل محدود کنید، از این کد استفاده کنید:

موتورهای جستجوی دیگر ممکن است ویژگی noindex در یک صفحه را متفاوت تفسیر کنند و آن را در نتایج جستجو نشان دهند.

به ما در کشف متا تگ ها کمک کنید

برای شناسایی متا تگ ها، باید صفحه شما را بخزیم. اگر صفحه همچنان در نتایج جستجو ظاهر می‌شود، احتمالاً پس از افزودن برچسب، هنوز سایت شما را خزیده‌ایم. می توانید با استفاده از ابزار از گوگل درخواست کنید که دوباره صفحه را بخزد. دلیل دیگر این است که فایل robots.txt این URL را از Googlebot مسدود می کند و متا تگ شناسایی نمی شود. برای رفع انسداد صفحه خود برای Google، باید فایل robots.txt خود را ویرایش کنید. این را می توان با استفاده از ابزار بررسی فایل Robots.txt .

هدر پاسخ HTTP

به جای متا تگ، می توانید هدر X-Robots-Tag را برگردانید. پاسخ باید noindex یا هیچ باشد. نمونه ای از پاسخ HTTP که در آن X-Robots-Tag از ایندکس کردن صفحه توسط روبات ها جلوگیری می کند.

اول از همه، بیایید با این واقعیت شروع کنیم که چندین مفهوم اساساً متفاوت وجود دارد: برچسب rel=”nofollow” ویژگی و متا تگ . در این مقاله نگاهی دقیق تر به تعاریف و اهداف آنها خواهیم داشت.

تگ چیست

... - برچسبی که پیشنهاد شده بود توسط موتورهای جستجو برای جلوگیری از نمایه سازی محتوای موجود در آن استفاده شود. این تگ در مشخصات رسمی نشانه گذاری فرامتنی صفحات وب HTML گنجانده نشده است.

مهم: فقط توسط موتورهای جستجو Yandex و Rambler شناسایی می شود. گوگل یکی از موتورهای جستجویی نیست که این تگ HTML را درک کند.

ویژگی rel=”nofollow” چیست؟

rel=”nofollow”- مقداری که موتورهای جستجو را از دنبال کردن پیوندی که از این ویژگی استفاده می کند منع می کند.

تمام نمونه های استفاده از تگ در زیر مورد بحث قرار خواهد گرفت. و ویژگی rel=”nofollow”.

تگ noindex و ویژگی rel=“nofollow”.

برچسب بزنید برای پیوندها

از این تگ می توان برای جلوگیری از فهرست بندی لینک ها استفاده کرد. این چیزی است که در کد صفحه به نظر می رسد:

برای پیوندها

متن پیوند

برچسب بزنید برای محتوا

این تگ همچنین می تواند برای جلوگیری از نمایه سازی محتوا استفاده شود. دو راه وجود دارد. در کد صفحه به شکل زیر خواهد بود:

برای محتوا - گزینه 1

برای محتوا - گزینه 2

متن ممنوعه از نمایه سازی

اما شایان ذکر است که این برچسب فقط توسط موتورهای جستجو Yandex و Rambler قابل درک است. ویژگی های آن برای گوگل اعمال نمی شود. بنابراین، اگر سایت شما دارای محتوای بی کیفیت است، می توانید آن را به این روش فقط از ربات های Yandex و Rambler ببندید.

rel=”nofollow” برای پیوندها

این ویژگی اغلب توسط بهینه‌سازها استفاده می‌شود اگر بخواهند موتورهای جستجو حضور یک لینک خروجی را به عنوان عامل انتقال وزن در نظر نگیرند، اما این پیوند همچنان توسط ربات مورد مطالعه قرار می‌گیرد. در اینجا به صورت کد به نظر می رسد:

rel=”nofollow”

متن پیوند

به طور معمول، زمانی که پیوندها به طور خودکار اضافه می شوند، به عنوان مثال، در نظرات، مناسب است. اگر نمی توانید یا نمی خواهید محتوای صفحاتی که از سایت خود به آنها پیوند داده شده اند را تضمین کنید، باید آن را وارد کنید. این ویژگی توسط ربات های گوگل و ربات های Yandex قابل درک است و موتورهای جستجوگر به کمک آنها موارد زیر را می نویسند:

اگر اطلاعات لینک های بالا را به دقت مطالعه کرده باشید، اکنون می دانید که وزن لینک بدون فالو منتقل نمی شود. اما از روی تمرین می توان به جرات گفت که وجود چنین لینک هایی در پروفایل لینک یک عامل بسیار مفید و کاملا طبیعی از دید موتورهای جستجوگر است. اما داشتن تعداد زیادی لینک خروجی در سایت شما می تواند یک عامل منفی باشد، حتی اگر از طریق این ویژگی بسته شوند.

آیا باید از rel=”nofollow” برای لینک های داخلی استفاده کنم؟

چگونه یک برچسب را به اشتراک بگذاریم و rel=”nofollow”

در اینجا یک مثال کد زمانی است که بهینه سازها از تگ استفاده می کنند و ویژگی rel=”nofollow” به طور همزمان:

"با یکدیگر

متن پیوند

اما این روش به طور کامل فقط برای روبات های Yandex کار می کند. گوگل فقط می فهمد >.

متا تگ

این متا تگ در قسمت نصب شده است در صفحه ای که نباید ایندکس شود و به صورت زیر است:

متا تگ

… ...

ماهیت مقادیر noindex و nofollow در متا تگ یکسان است:

Noindex– نمایه سازی در سطح صفحه (کلیه محتوایی که در آن وجود دارد) را ممنوع می کند، اما ربات های جستجوگر را از بازدید از آن و دنبال کردن پیوندهایی که در محتوا استفاده می شود منع نمی کند.

- روبات های جستجوگر را از دنبال کردن پیوندها در سطح صفحه (چه خارجی و چه داخلی) منع می کند.

ترکیبات

موارد متعددی وجود دارد که از این متا تگ در عمل استفاده می شود. راه حل های مختلفی برای این موارد وجود دارد:

1. اگر نمی خواهید صفحه توسط موتورهای جستجو نمایه شود، باید استفاده شود، اما ربات ها می توانند پیوندهای این صفحه را به سایرین دنبال کنند. به عنوان مثال، این می تواند دومین صفحه صفحه بندی در سایتی مانند site.com/category/?page=2 باشد که دارای پیوندهایی به محصولات زیر است و شما نمی خواهید این صفحه توسط یک موتور جستجو نمایه شود.
2. همین کار را می کند در این صورت از ایندکس شدن صفحه توسط موتور جستجو جلوگیری می کنید، اما ربات ها می توانند آن را مشاهده کرده و لینک ها را دنبال کنند.
3. - ایندکس کردن مطالب در صفحه مربوطه را ممنوع می کند و همچنین ربات ها را از دنبال کردن پیوندها منع می کند.
4. - به روبات ها اجازه می دهد تا صفحه را فهرست کرده و پیوندها را دنبال کنند. استفاده از چنین متا تگ منطقی نیست، زیرا به طور پیش فرض، حتی بدون آن، موتورهای جستجو مجاز به انجام همان اقدامات هستند. اما اگر روی سایت شما نصب شده باشد و قرار نیست کار ربات را محدود کنید، حذف عمدی آن فایده ای ندارد.
5. - اجازه می دهد تا صفحه ایندکس شود، اما ربات پیوندهای موجود در آن را دنبال نمی کند.
6. - همین کار را انجام می دهد - اجازه می دهد تا صفحه ایندکس شود، اما ربات پیوندهای موجود در آن را دنبال نمی کند.

این متا تگ می تواند برای گوگل و یاندکس به طور جداگانه استفاده شود

اگر نیاز به مسدود کردن صفحات از فهرست بندی فقط برای گوگل دارید، می توانید از آن استفاده کنید . کمک گوگل این را می گوید.

اگر نمایه سازی را فقط برای Yandex مسدود کنید - . این نیز با جزئیات بسیار در راهنمای Yandex نوشته شده است.

نحوه ترکیب meta name="robots" با robots.txt و تفاوت اساسی آن چیست

برخی از SEO ها تفاوت بین متا تگ را درک نمی کنند و صفحه مربوطه را در فایل ببندید robots.txt. هر دو روش مانع از ایندکس کردن صفحه سایت توسط روبات های جستجو می شود، اما هنوز یک تفاوت وجود دارد:

اولین مورد به ربات ها اجازه می دهد تا به این صفحه بروند، متا تگ را ببینند و آن را از فهرست حذف کنند یا آن را ایندکس نکنند.

مورد دوم شما را از بازدید از صفحه منع می کند و اگر به طور ناگهانی قبلاً ایندکس شده باشد، می تواند برای مدت طولانی در فهرست موتور جستجو باقی بماند، حتی اگر آن را در فایل robots.txt ببندید، بدون حق بازیابی مجدد -index، بعداً می توانید آن را در جستجوهایی مانند زیر مشاهده کنید:

بنابراین برای صفحات غیر ایندکس شده می توانید از هر یک از گزینه ها استفاده کنید.

اگر صفحه قبلاً ایندکس شده است، توصیه می شود آن را در بخش نصب کنید متا تگ . با این کار آن را از فهرست حذف کرده و از اضافه شدن مجدد آن به آن جلوگیری می کند.

اگر سایت شما بر روی وردپرس ساخته شده است، افزونه رایگان Yoast SEO به شما کمک می کند تا این متا تگ ها را به درستی تنظیم کنید. این تقریباً به نظر می رسد:

پسوند مرورگر نوار RDS می تواند به تجزیه و تحلیل وجود همه این عناصر (هم متا تگ ها و هم تگ ها و ویژگی ها) در کد صفحات سایت کمک کند:

با تنظیم صحیح آن، می توانید محتوای پیچیده شده در برچسب را مشاهده کنید (لایت خواهد شد):

و با استفاده از متا تگ :

اکنون می دانید که چگونه از این روش ها برای راه اندازی نمایه سازی مناسب سایت استفاده کنید که می تواند تأثیر مثبتی بر ارتقای کلی آن داشته باشد.

مقاله ای برای کسانی که برای خواندن راهنما در GoogleWebmaster و YandexWebmaster تنبل هستند

1. تگ متا روبات ها

تگ متا روبات ها

برای کنترل رفتار ربات های جستجوگر در یک صفحه وب، متا تگ robots و ویژگی آن وجود دارد محتوا.بستن یک صفحه وب از نمایه سازی جستجو،

1. تگ متا روبات ها
2. چرا متا تگ robots بهتر از فایل robots.txt است؟

متا تگ ها به شما این امکان را می دهند که متادیتا را در مورد یک صفحه سایت مشخص کنید. تعدادی متا تگ نیز توسط روبات های موتورهای جستجو استفاده می شود.

توجه داشته باشید. اغلب متا تگ های توضیحات و عنوان به صورت خودکار ایجاد می شوند. آنها خود را کپی می کنند و جستجو را برای کاربران آسان نمی کنند، متا تگ ها با محتوای کم کیفیت می توانند تأثیر منفی بر نمایش صفحات سایت در جستجو داشته باشند.

ربات Yandex به محتوای متا تگ های زیر نگاه می کند:

• - ممکن است هنگام تعیین ارتباط صفحه با عبارت های جستجو استفاده شود.
• - از محتوای این تگ می توان در اسنیپت ها (توضیحات سایت در نتایج جستجو) استفاده کرد.

- برای تطبیق سایت برای دستگاه های تلفن همراه استفاده می شود. این اجازه می دهد تا زوم نمای در مرورگر را کنترل کنید. مقدار width=device-width عرض درگاه دید را با صفحه دستگاه تطبیق می دهد. مقدار اولیه-scale=1 نسبت 1:1 پیکسل های CSS به پیکسل های دستگاه مستقل را ارائه می دهد.

اگر متا تگ حذف شود، مرورگرهای تلفن همراه به طور پیش فرض صفحه نمایش رایانه را نشان می دهند. از آنجایی که عرض صفحه در یک دستگاه تلفن همراه به طور قابل توجهی کمتر از صفحه نمایش رایانه است، مرورگرها سعی می کنند محتوا را با افزایش اندازه فونت، مقیاس بندی محتوا به اندازه صفحه نمایش یا نشان دادن تنها بخشی از محتوا که بر روی صفحه نمایش قرار می گیرد، بهینه کنند.

• - ربات ممکن است برای تعیین نوع سند و رمزگذاری آن به این برچسب نگاه کند.

- کاربر را پس از N ثانیه ماندن کاربران در صفحه فعلی به صفحه با URL مشخص شده هدایت می کند. برای مقادیر کوچک N، یک تغییر مسیر موقت در نظر گرفته می شود، شبیه به تغییر مسیرهای سرور با کد HTTP 302/303/307.

ربات Yandex همچنین به این متا تگ ها نگاه می کند:

- به شما امکان می دهد متن و پیوندهای موجود در صفحه را نمایه کنید، مشابه با .

- ایندکس کردن متن صفحه را ممنوع می کند.

- دنبال کردن لینک های موجود در صفحه را ممنوع می کند.

- ایندکس کردن متن و دنبال کردن لینک‌های موجود در صفحه را ممنوع می‌کند .

- نمایش پیوند به نسخه ذخیره شده در صفحه نتایج جستجو را ممنوع می کند.

- استفاده از توضیح Yandex.Catalog برای قطعه در نتایج جستجو را ممنوع می کند.

در ویژگی name، می‌توانید از yandex به جای ربات‌ها برای تعیین دستورالعمل‌ها فقط برای ربات Yandex استفاده کنید. مثلا: \n

اگر اسنادی از صفحات حاوی متا تگ nofollow به آنها پیوند داده شده باشد، ربات از آنها بازدید نمی کند. با این حال، اگر منابع دیگر بدون nofollow به آنها پیوند داده شوند، ممکن است ایندکس شوند.

اگر متا تگ ها مشخص نشده باشند، ربات فرض می کند که دارای مقادیر مثبت (شاخص، فالو، بایگانی) هستند.

\n \n

یک استثنا وجود دارد - ویژگی all روی noarchive:\n تأثیر نمی گذارد

\n \n

عنصر noindex

برای جلوگیری از نمایه سازی قطعات کمکی متن، از عبارت استفاده کنید برچسب زدن این تگ مانند متا تگ noindex عمل می کند، اما فقط برای متن محصور شده در داخل تگ در قالب اعمال می شود:

تگ noindex به تودرتو حساس نیست، به این معنی که می توان آن را در هر جایی از کد HTML یک صفحه قرار داد. در صورت لزوم می توانید برای معتبر ساختن کد سایت از تگ در قالب زیر استفاده کنید:

متنی که می خواهید از نمایه سازی منع کنید

ویژگی rel = \"nofollow\" عنصر a

ویژگی rel=\"nofollow\" در تگ در قالب زیر:

\n متن پیوند

این ویژگی مانند متا تگ با مقدار nofollow کار می کند، اما فقط برای پیوند مشخص شده اعمال می شود.

ویژگی rel=\"canonical\" عنصر پیوند

اگر سایتی دارای گروه‌هایی از صفحات با محتوای مشابه باشد، مدیر وب‌سایت می‌تواند آدرس ترجیحی (متعارف) را برای استفاده در نتایج جستجو برای هر گروه مشخص کند.\nبه عنوان مثال، یک صفحه با استفاده از دو آدرس قابل دسترسی است:

www.example.com/pages?id=2www.example.com/blog

اگر آدرس ترجیحی /blog باشد، باید در کد صفحه /pages?id=2 منعکس شود:

به همین ترتیب، اگر صفحه دارای ویژگی rel=\"canonical\" باشد که آدرس این صفحه را مشخص می کند، ربات آن را به عنوان متعارف در نظر می گیرد. این صفحه نمایه می شود و در نتایج جستجوی Yandex ظاهر می شود.

ربات پیوندی با ویژگی rel=\"canonical\" را به عنوان یک دستورالعمل سختگیرانه در نظر نمی گیرد، بلکه به عنوان گزینه ای است که در نظر گرفته شده و ممکن است نادیده گرفته شود.

به عنوان مثال، ربات ممکن است از آدرسی که شما مشخص کرده اید استفاده نکند اگر:

سند برای نمایه سازی در آدرس متعارف در دسترس نیست.

آدرس متعارف یک URL را در یک دامنه یا زیر دامنه متفاوت مشخص می کند.

شما چندین آدرس متعارف را مشخص کردید.

همچنین نباید زنجیره‌ای از آدرس‌های متعارف ایجاد کنید. برای مثال، برای آدرس example.ru/1، آدرس متعارف example.ru/2 است، اما در همان زمان، آدرس example.ru/2 دارای آدرس متعارف است. example.ru/3.