آموزش سئو

سایت از نتایج حذف شده: بررسی دلایل و راه حل برگرداندن سایت به ایندکس گوگل

ممکن است این اتفاق ناگوار برای هر وبسایتی بیفتد: سایت من از نتایج جستجوی گوگل پاک شده و دیگر ورودی ندارد. آموزش برگرداندن سایت به نتایج جستجو های موتور های جستجو را در ادامه بخوانید...

اولین کاری که باید بعد از حذف شدن سایت از گوگل انجام داد چیست؟

وقتی سایتی از نتایج Google search یا به عبارت صحیح تر، از SERP حذف می شود، اولین اتفاقی که می افتد هول کردن و یک شوک شدید به وبمستر و مسئول سئو سایت است. این استرس به زودی به سایر دست اندرکاران سایت نیز منتقل شده و وضعیت نابسامانی را ایجاد می کند.

گام اول: خونسردی خود را حفظ کنید و تمرکز کنید.

اولین قدم این است که شما به عنوان یک متخصص سئو یا وبمستر، اوضاع را تحت کنترل بگیرید. نباید اجازه دهید که استرس وارد شده به کمپانی، شما را از تمرکز کردن روی موضوع، دور کند. چرا که در گام بعدی، باید به بررسی دلایل محتمل بپردازید.

گام دوم: به بررسی دلایل ممکن بپردازید

هیچ اتفاقی در صفحات نتایج موتور های جستجو، بی دلیل نیست. دلایل این پیش آمد، می تواند ناشی از اشکالات سرور، اشتباهات انسانی، پنالتی شدن سایت، تغییرات در الگوریتم های جستجوی گوگل یا وجود ایراد در بخشی از ساختار موتور جستجوی گوگل باشد.
در ادامه این دلایل را به دقت و مرتب، از محتمل ترین و رایج ترین محتمل ترین بررسی می کنیم.

دلایل حذف شدن سایت از نتایج جستجوی گوگل

وجود ایراد در کد های سایت یا بخش هایی مربوط به سئو فنی Technical SEO

اشکال در فایل robots.txt

googlebot robots - ربات گوگل

وجود هر گونه اشکال یا ایراد در محتوای فایل رباتس robots.txt باید اولین چیزی باشد که به بررسی آن می پردازید. نمونه فایل رباتس به شکل زیر است:

domain.com/robots.txt
user-agent: *
Disallow: /example/
Disallow: /profile/*
Disallow: /my-analytics/*
Disallow: /plugins/
Allow: /plugins/*.css

sitemap: http://domain.com/sitemap.xml
sitemap: http://domain.com/image_sitemap.xml

توجه داشته باشید که وجود هر گونه ایراد در فایل رباتس، موجب می شود که ربات گوگل به بخش هایی از سایت، دسترسی نداشته باشد.
مشکل از جایی آغاز می شود که گاهی جهت جلوگیری از ایندکس شدن سایت در گوگل، تغییراتی در فایل رباتس ایجاد می شود که ممکن است اثرات مخربی داشته باشد.

فرض کنید شما یه فایل دارید در آدرس /articles/image-1.png و کد زیر در فایل رباتس شما وجود داره.

Disallow: /articles

گوگل این عکس رو هیچوقت نمیبینه ! و ایندکسش هم نمیکنه.
فرض کنید یه لینکی یه جای این کره خاکی به صفحه example.com/articles/seo.html وجود داره.

سوال: آیا این صفحه ایندکس میشه؟

جواب: بله ایندکس میشه !


چرا؟
چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !

جا داره به معنی لغوی Disallow بپردازیم
Disallow: اجازه ندادن، مخالف Allow به معنی اجازه دادن
پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی مثل فلجا !

هیچوقت سعی نکنید تا صفحاتی از سایت را با استفاده از تغییر فایل رباتس robots.txt از نتایج گوگل حذف کنید.

نمونه رباتس فایل مناسب برای وردپرس

User-agent: *

در واقع برای وردپرس هیچ نیازی به گرفتن جلوی ربات های موتور های جستجو از دسترسی به بخشی از سایت وجود ندارد. در صورت وجود وسواس در این زمینه، می توانید تنها جلوی دسترسی ربات ها به بخش مدیریت سایت را بگیرید (که هیچ الزامی به انجام این کار وجود ندارد.)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://domain.com/sitemap.xml

همچنین یک فایل رباتس مناسب برای سایت جوملا، به صورت زیر است.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

توجه داشته باشید که خطوط زیر را حتما از فایل رباتس سایت جوملا حذف کنید.

Disallow: /modules/
Disallow: /plugins/
Disallow: /components/

اشکال در متا تگ robots

راه منطقی و صحیحی که برای جلوگیری از ایندکس شدن صفحات خاصی از سایت در موتور های جستجو پیشنهاد می شود، اضافه کردن متا تگ زیر در صفحات مورد نظر است

<meta name="robots" content="noindex" />
<meta name="googlebot" content="noindex" />

مورد بالایی، تمامی ربات هایی که صفحات را ایندکس می کنند را خطاب قرار می دهد و درخواست می کند که صفحه مورد نظر را ایندکس نکند.
مورد پایینی تنها مختص گوگل است.

مقدار صحیح این متا تگ برای اینکه صفحات را ایندکس کند، به صورت زیر است:

<meta name="robots" content="index" />

همچنین در صورت عدم وجود این متا تگ در صفحات، مقدار پیش فرض آن یعنی index,follow برای آن در نظر گرفته می شود.

ممکن است به خاطر یک خطای انسانی، ایراد در کد نویسی یا افزونه هایی که در سایت خود نصب می کنید، در این متا تگ اشکالی ایجاد شود و صفحاتی از سایت شما از نتایج حذف شود.

وجود ایراد در دسترسی ربات های گوگل به سایت

اگر سرور سایت به دلایل فنی، برای ربات های گوگل قابل دسترسی نباشد، گوگل چندین بار برای بررسی مجدد دسترسی اش به سایت شما، به ان سر می زند.
اگر این عدم دسترسی برای مدتی (معمولا چند روز) ادامه داشته باشد، می تواند منجر به پاک شدن آن صفحات خاص از نتایج شود.

راه حل

برای بررسی این موضوع، ابتدا تمامی صفحات (یا حداقل تعدادی از صفحات که نماینده همه صفحات دیگر باشند) را به طور دستی بررسی کنید. این بررسی شامل بررسی این است که آیا این صفحات به درستی برای شما باز می شوند یا خیر.

سپس می توانید چند مورد از صفحات حذف شده را با استفاده از بخش Crawl > Fetch as Google در کنسول جستجوی گوگل (GSC: Google Search Console) بررسی کنید.

برای دیدن بهترین نتیجه، صفحات را Fetch and render کنید. سپس

این کار را در حالت Desktop و Mobile: Smartphone انجام دهید تا مطمئن شوید سایت شما از مشکل فنی خاصی که سایت تنها برای نسخه دسکتاپ ربات گوگل باز شود، پیش نیامده باشد. چرا که در این حالت هم سایت شما به طور موقت و تا حل مشکل، از نتایج حذف می شود.

fetch as google and request rendering

دلایل حذف شدن سایت از گوگل: پنالتی و سندباکس گوگل

حذف شدن سایت از نتایج گوگل به دلیل پنالتی

در صورتی که سایت، بر اثر پنالتی شدن یا ورود به حالت سندباکس گوگل، از نتایج حذف شده باشد، تنها راه برگشتن صفحات به نتایج، حل کردن دلیل پنالتی یا سندباکس سایت می باشد. در این صورت می توانید از موارد زیر برای حل مشکل خود استفاده نمایید:

بررسی پنالتی شدن سایت در گوگل و راه های حل مشکل پنالتی


5.0/5 از 2 نظر
امتیاز
5 ستاره
2
4 ستاره
0
3 ستاره
0
2 ستاره
0
1 ستاره
0
Reviews (2)
1 ماه پیش.
Review

سلام ممنون از مطلب خوب شما

محتوای robot من به این شکل هست:

Sitemap: https://www.***.com/sitemap.xml

Sitemap: https://www.***.com/news-sitemap.xml

User-agent: *

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /wp-content/plugins/

Disallow: /wp-includes/

Allow: /wp-admin/admin-ajax.php

Allow: /wp-content/uploads

 

اما مدتی هست که تصاویر سابمیت میشوند ولی ایندکس خیر و همچنین تعداد پیج های ایندکس شده داره میاد پایین. ممنون میشم راهنمایی کنید

Show more
0 از 0 نفر، این نظر را مفید دانسته اند.
  • شایان داودی 1 ماه پیش.
    سلام کامران عزیز.

    محتوای فایل robots.txt سایت شما، مشکلی ندارد و همونطور که در بالا گفته شده، این فایل در کل ارتباطی با ایندکس شدن یا ایندکس نشدن صفحات ندارد.

    این مورد باید به صورت خاص بررسی شود تا مشخص شود که به چه دلیلی صفحات شما در حال خارج شدن از ایندکس گوگل هستند.

    می توانید از خدمات مشاوره آنلاین ما استفاده کنید.

    https://www.sitestory.net/fa/%D8%B3%D8%A6%D9%88-%D8%A8%D9%87%DB%8C%D9%86%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA/%D9%85%D8%B4%D8%A7%D9%88%D8%B1%D9%87-%D8%A2%D9%86%D9%84%D8%A7%DB%8C%D9%86-%D8%B3%D8%A6%D9%88.html
2 ماه پیش.
Review

سلام ممنون بابت مقاله های خوبت ولی یه پرسشی داشتم چرا وقتی یه صفحرو تو گوگل سرچ میکنم با کلمه کیلیدیش میزنه بایگانی ها و بعد تایتل صفحرو مینویسه

ولی همون صفحرو با تایتلش سرچ میکنم بدون هیچ مشگلی میاره !؟واقعا ممنون میشم دلیلیشو بگی بهم

Show more
0 از 1 نفر، این نظر را مفید دانسته اند.
  • شایان داودی 2 ماه پیش.
    سلام حسین عزیز.
    این مشکل معمولا در سایت های وردپرسی است و به این دلیل که صفحه تگ یا دسته بندی به جای صفحه مطلب برای کلمات کلیدی ان ایندکس شده است.
    این مشکل به دلیل استفاده نا صحیح از تگ ایجاد می شود.
نظر بدهید

افزودن فایل

..%
No description
  • Size:
  • Type:
  • Preview:
سایت استوری
سرویس طراحی سایت و سئو به کمپانی های Enterprise

عضویت در خبرنامه