ممکن است این اتفاق ناگوار برای هر وبسایتی بیفتد: سایت من از نتایج جستجوی گوگل پاک شده و دیگر ورودی ندارد. آموزش برگرداندن سایت به نتایج جستجو های موتور های جستجو را در ادامه بخوانید...
اولین کاری که باید بعد از حذف شدن سایت از گوگل انجام داد چیست؟
وقتی سایتی از نتایج Google search یا به عبارت صحیح تر، از SERP حذف می شود، اولین اتفاقی که می افتد هول کردن و یک شوک شدید به وبمستر و مسئول سئو سایت است. این استرس به زودی به سایر دست اندرکاران سایت نیز منتقل شده و وضعیت نابسامانی را ایجاد می کند.
گام اول: خونسردی خود را حفظ کنید و تمرکز کنید.
اولین قدم این است که شما به عنوان یک متخصص سئو یا وبمستر، اوضاع را تحت کنترل بگیرید. نباید اجازه دهید که استرس وارد شده به کمپانی، شما را از تمرکز کردن روی موضوع، دور کند. چرا که در گام بعدی، باید به بررسی دلایل محتمل بپردازید.
گام دوم: به بررسی دلایل ممکن بپردازید
هیچ اتفاقی در صفحات نتایج موتور های جستجو، بی دلیل نیست. دلایل این پیش آمد، می تواند ناشی از اشکالات سرور، اشتباهات انسانی، پنالتی شدن سایت، تغییرات در الگوریتم های جستجوی گوگل یا وجود ایراد در بخشی از ساختار موتور جستجوی گوگل باشد.
در ادامه این دلایل را به دقت و مرتب، از محتمل ترین و رایج ترین محتمل ترین بررسی می کنیم.
دلایل حذف شدن سایت از نتایج جستجوی گوگل
وجود ایراد در کد های سایت یا بخش هایی مربوط به سئو فنی Technical SEO
اشکال در فایل robots.txt
وجود هر گونه اشکال یا ایراد در محتوای فایل رباتس robots.txt باید اولین چیزی باشد که به بررسی آن می پردازید. نمونه فایل رباتس به شکل زیر است:
domain.com/robots.txt
user-agent: *
Disallow: /example/
Disallow: /profile/*
Disallow: /my-analytics/*
Disallow: /plugins/
Allow: /plugins/*.css
sitemap: http://domain.com/sitemap.xml
sitemap: http://domain.com/image_sitemap.xml
توجه داشته باشید که وجود هر گونه ایراد در فایل رباتس، موجب می شود که ربات گوگل به بخش هایی از سایت، دسترسی نداشته باشد.
مشکل از جایی آغاز می شود که گاهی جهت جلوگیری از ایندکس شدن سایت در گوگل، تغییراتی در فایل رباتس ایجاد می شود که ممکن است اثرات مخربی داشته باشد.
فرض کنید شما یه فایل دارید در آدرس /articles/image-1.png و کد زیر در فایل رباتس شما وجود داره.
Disallow: /articlesگوگل این عکس رو هیچوقت نمیبینه ! و ایندکسش هم نمیکنه.
فرض کنید یه لینکی یه جای این کره خاکی به صفحه example.com/articles/seo.html وجود داره.سوال: آیا این صفحه ایندکس میشه؟
جواب: بله ایندکس میشه !
چرا؟
چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !جا داره به معنی لغوی Disallow بپردازیم
Disallow: اجازه ندادن، مخالف Allow به معنی اجازه دادن
پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی مثل فلجا !
هیچوقت سعی نکنید تا صفحاتی از سایت را با استفاده از تغییر فایل رباتس robots.txt از نتایج گوگل حذف کنید.
نمونه رباتس فایل مناسب برای وردپرس
User-agent: *
در واقع برای وردپرس هیچ نیازی به گرفتن جلوی ربات های موتور های جستجو از دسترسی به بخشی از سایت وجود ندارد. در صورت وجود وسواس در این زمینه، می توانید تنها جلوی دسترسی ربات ها به بخش مدیریت سایت را بگیرید (که هیچ الزامی به انجام این کار وجود ندارد.)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://domain.com/sitemap.xml
همچنین یک فایل رباتس مناسب برای سایت جوملا، به صورت زیر است.
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/توجه داشته باشید که خطوط زیر را حتما از فایل رباتس سایت جوملا حذف کنید.
Disallow: /modules/
Disallow: /plugins/
Disallow: /components/
اشکال در متا تگ robots
راه منطقی و صحیحی که برای جلوگیری از ایندکس شدن صفحات خاصی از سایت در موتور های جستجو پیشنهاد می شود، اضافه کردن متا تگ زیر در صفحات مورد نظر است
<meta name="robots" content="noindex" />
<meta name="googlebot" content="noindex" />مورد بالایی، تمامی ربات هایی که صفحات را ایندکس می کنند را خطاب قرار می دهد و درخواست می کند که صفحه مورد نظر را ایندکس نکند.
مورد پایینی تنها مختص گوگل است.
مقدار صحیح این متا تگ برای اینکه صفحات را ایندکس کند، به صورت زیر است:
<meta name="robots" content="index" />همچنین در صورت عدم وجود این متا تگ در صفحات، مقدار پیش فرض آن یعنی index,follow برای آن در نظر گرفته می شود.
ممکن است به خاطر یک خطای انسانی، ایراد در کد نویسی یا افزونه هایی که در سایت خود نصب می کنید، در این متا تگ اشکالی ایجاد شود و صفحاتی از سایت شما از نتایج حذف شود.
وجود ایراد در دسترسی ربات های گوگل به سایت
اگر سرور سایت به دلایل فنی، برای ربات های گوگل قابل دسترسی نباشد، گوگل چندین بار برای بررسی مجدد دسترسی اش به سایت شما، به ان سر می زند.
اگر این عدم دسترسی برای مدتی (معمولا چند روز) ادامه داشته باشد، می تواند منجر به پاک شدن آن صفحات خاص از نتایج شود.
راه حل
برای بررسی این موضوع، ابتدا تمامی صفحات (یا حداقل تعدادی از صفحات که نماینده همه صفحات دیگر باشند) را به طور دستی بررسی کنید. این بررسی شامل بررسی این است که آیا این صفحات به درستی برای شما باز می شوند یا خیر.
سپس می توانید چند مورد از صفحات حذف شده را با استفاده از بخش Crawl > Fetch as Google در کنسول جستجوی گوگل (GSC: Google Search Console) بررسی کنید.
برای دیدن بهترین نتیجه، صفحات را Fetch and render کنید. سپس
این کار را در حالت Desktop و Mobile: Smartphone انجام دهید تا مطمئن شوید سایت شما از مشکل فنی خاصی که سایت تنها برای نسخه دسکتاپ ربات گوگل باز شود، پیش نیامده باشد. چرا که در این حالت هم سایت شما به طور موقت و تا حل مشکل، از نتایج حذف می شود.
دلایل حذف شدن سایت از گوگل: پنالتی و سندباکس گوگل
در صورتی که سایت، بر اثر پنالتی شدن یا ورود به حالت سندباکس گوگل، از نتایج حذف شده باشد، تنها راه برگشتن صفحات به نتایج، حل کردن دلیل پنالتی یا سندباکس سایت می باشد. در این صورت می توانید از موارد زیر برای حل مشکل خود استفاده نمایید:
