گوگل چطور سایت ما را ایندکس می کند؟
گوگل چطور صفحات سایت رو ایندکس میکنه؟
فرآیند کلی این است:
Discover → Crawl → Render → Index → Rank
یعنی گوگل اول صفحه را پیدا میکند، بعد میخواند، در صورت نیاز رندر میکند، اگر مناسب باشد وارد ایندکس میکند، و بعد برای جستجوهای مختلف رتبه میدهد.
گوگل معمولاً اینطوری سایت شما را ایندکس میکند:
1) پیدا کردن صفحهها
گوگلبات لینکها را دنبال میکند و از این راه به صفحههای سایت شما میرسد.
راههای اصلی کشف صفحهها:
- لینک از سایتهای دیگر
- لینکهای داخلی خود سایت
- فایل sitemap.xml
- URLهایی که قبلاً دیده و دوباره سر میزند
2) خزش (Crawling)
بعد از پیدا کردن URL، ربات گوگل محتوای صفحه را میخواند. در این مرحله بررسی میکند:
- صفحه باز میشود یا نه
- با robots.txt مسدود نشده باشد
- متا تگ noindex نداشته باشد
- محتوای اصلی صفحه چیست
- نسخه موبایل و سرعت و دسترسی صفحه چطور است
3) رندر کردن
اگر صفحه با جاوااسکریپت ساخته میشود، گوگل سعی میکند آن را رندر کند تا محتوای نهایی را ببیند.
اگر محتوای مهم فقط بعد از اجرای سنگین JS ظاهر شود، ممکن است دیرتر یا ناقص دیده شود.
4) ایندکس شدن
اگر گوگل تشخیص بدهد صفحه ارزش نگهداشتن در فهرستش را دارد، آن را ایندکس میکند.
در این مرحله به چیزهایی مثل این نگاه میکند:
- یکتا بودن محتوا
- کیفیت و مفید بودن
- canonical
- تکراری نبودن با صفحات دیگر
- امکان دسترسی و خوانایی محتوا
5) رتبهبندی در نتایج
ایندکس شدن به معنی رتبه گرفتن نیست. بعد از ایندکس، گوگل تصمیم میگیرد برای هر جستجو صفحه شما کجا نمایش داده شود.
چه چیزهایی جلوی ایندکس را میگیرند؟
رایجترین علتها:
- noindex
- بلاک بودن در robots.txt
- خطاهای 4xx یا 5xx
- ریدایرکت اشتباه
- محتوای خیلی کم یا تکراری
- canonical به صفحه دیگر
- صفحه orphan بدون لینک داخلی
- لود نشدن محتوای اصلی با JS
- نیاز به لاگین برای دیدن محتوا
نکته : در شرایط بحرانی که اینترنت در ایران ملی می شود مثل جنگ 12 روزه یا جنگ 40 روزه یا … اینترنت برخی از هاست های داخل ایران هم ملی یا ایران اکسس می شود در این شرایط رباتهای گوگل نمی توانند صفحات سایت را ببینند و ایندکس کنند.
چطور صفحه ایندکس شده از ایندکس خارج می شود؟
ربات های گوگل بعد از ایندکس کردن صفحه ها، باز هم در باز های زمانی متفاوت به صفحات سر میزنند و آنها را مرور می کنند اگر در مراجعات بعدی به یکی از دلایل بالا یا هر دلیلی نتوانند صفحه را ببینند آن صفحه را از فهرست خود حذف می کنند و دی ایندکس می کنند.
این اتفاق در زمانی که اینترنت ملی می شود برای خیلی از سایت های ایرانی پیش آمد!
چطور کمک کنید سریعتر و بهتر ایندکس شود؟
اینها بیشترین اثر را دارند:
- ساخت و ثبت sitemap.xml
- اتصال سایت به Google Search Console
- لینکسازی داخلی درست
- استفاده از title و meta description مناسب
- محتوای یکتا و مفید
- تعیین canonical درست
- بهینه بودن نسخه موبایل
- سرعت مناسب سرور و صفحه
- نداشتن خطاهای Crawl
شاید این مطلب هم برای شما جذاب باشد : دیگه جستجو گوگل نیست
از کجا بفهمیم ایندکس شده یا نه؟
دو راه ساده:
در گوگل بزنید: site:yourdomain.com
در Google Search Console از URL Inspection استفاده کنید
اگر سوالی دارید در پایین همین صفحه بپرسید ، اگر پیشنهاد یا نظری هم دارید لطفا بنویسید!
