نحوه کار موتورهای جستجو نحوه کار موتورهای جستجو

نحوه کار موتورهای جستجو

سئو زمان مطالعه : ~ 8 دقیقه 20 مرداد 1399

موتورهای جستجو دستگاههای پاسخگو هستند. آنها برای کشف، درک و سازماندهی محتوای اینترنت به منظور ارائه نتایج مناسب به سؤالاتی که جستجوگرها از آنها درخواست می کنند، پاسخ می دهند. برای نشان داده شدن سایت شما در نتایج جستجو، ابتدا باید محتوای شما برای موتورهای جستجو قابل مشاهده باشد. احتمالاً مهمترین قطعه حل این معما سئو است: اگر سایت شما پیدا نشود، به هیچ وجه امکان حضور در SERPs (صفحه نتایج موتورهای جستجو) برای شما وجود نخواهد داشت.

موتورهای جستجو چگونه کار می کنند؟

موتورهای جستجو سه عملکرد اصلی دارند:

  1. خزنده ها (Crawl) : ربات هایی که به صورت روزانه اینترنت را به دنبال کد / محتوا برای هر نشانی اینترنتی دنبال می کنند.
  2. فهرست:  مطالب موجود در طی فرایند خزیدن را ذخیره و سازماندهی می کند. هنگامی که یک صفحه در فهرست، در حال اجرا باشد نتایج نمایش داده می شوند.
  3. رتبه: مطالب ارائه شده به بهترین وجه در پاسخ به سؤال جستجوگرها ارائه می شوند، به این معنی که نتایج مرتبط انتخاب می شوند.

خزنده گوگل

خزنده موتور جستجو چیست؟

خزیدن در موتورهای جستجو یک نوع  فرآیند کشف است که در آن موتورهای جستجو، تیمی از روبات ها (معروف به خزنده یا عنکبوت) را برای یافتن محتوای جدید و به روز ارسال می کنند. محتوا می تواند متفاوت باشد، یک صفحه وب ، یک تصویر، یک فیلم، یک PDF و...؛ این محتواها توسط لینک ها خوانده می شوند.
Googlebot با واکشی چند صفحه وب شروع به کار می کند و سپس لینک ها را در این صفحات وب دنبال می کند تا URL های جدید پیدا شوند. با جست و خیز در این مسیر از لینک ها، خزنده قادر خواهد بود تا محتوای جدید را پیدا کند و آن را به فهرست خود در  پایگاه داده گسترده ای از URL های کشف شده اضافه کند؛ با این عمل در هر زمان وقتی جستجوگر در جستجوی اطلاعاتی باشد که محتوا در آن URL قرار گیرد، می توان آن اطلاعات را بازیابی کرد.

فهرست موتور جستجو چیست؟

موتورهای جستجو اطلاعاتی را که خزنده ها در یک فهرست پیدا می کنند، پردازش و ذخیره می کنند. در نتیجه یک بانک اطلاعاتی عظیم و به اندازه کافی از تمام مطالبی که آنها کشف کرده اند برای ارائه خدمات به جستجوگرها ارائه می شود.

رتبه بندی موتور جستجو

هنگامی که شخصی یک جستجو را انجام می دهد، موتورهای جستجو، شاخص خود را برای مطالب بسیار مناسب پاک می کنند و سپس به امید حل جستجوی جستجوگر، آن مطالب را سفارش می دهند. ترتیب نتایج جستجو بر اساس اهمیت، به عنوان رتبه بندی شناخته می شود. به طور کلی، می توانید فرض کنید هرچه وب سایت رتبه بالاتری داشته باشد، موتورهای جستجو راحت تر معتقد می شوند که این سایت مناسب پرس و جو می باشد.
شاید جالب باشد بدانید امکان مسدود کردن خزنده های موتور جستجو از بخشی یا تمام سایت شما وجود دارد. همچنین می توانید به موتورهای جستجو دستور دهید تا از ذخیره صفحات خاصی که شما تعیین می کنید در فهرست آنها جلوگیری کنند. اما اگر می خواهید محتواهای متنی و تصویری شما توسط جستجوگرها پیدا شوند، ابتدا باید مطمئن شوید که در دسترس خزندگان و قابل نمایه بودن هست یا خیر؟ در غیر این صورت، صفحه ی شما دیده نمی شود.

همه موتورهای جستجو در سئو، برابر نیستند

بسیاری از مبتدیان از اهمیت نسبی موتورهای جستجوگر خاص تعجب می کنند. بیشتر مردم می دانند که گوگل بیشترین سهم بازار را دارد ، اما بهینه سازی بینگ ، یاهو و دیگر جستجوگرها چقدر مهم است؟ حقیقت این است که علی رغم وجود بیش از 30 موتور جستجوگر بزرگ وب ، انجمن سئو تنها به گوگل توجه می کند چرا؟ پاسخ کوتاه این است که گوگل جایی است که اکثریت قریب به اتفاق افراد، وب را جستجو می کنند.  بیش از 90٪ جستجوهای وب در Google اتفاق می افتد.

سرچ گوگل

آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

همانطور که تا اینجا بیان شد، اطمینان از اینکه سایت شما خزیده و نمایه می شود پیش شرط لازم برای نمایش در SERP ها است. اگر از قبل وب سایتی دارید آن را در سرچ گوگل بیابید، این کار بینشی جالب در مورد اینکه آیا Google در حال خزیدن است و می تواند تمام صفحاتی را که می خواهید پیدا کند، به شما می دهد.
یکی از راه های بررسی صفحات فهرست بندی شده شما "site: yourdomain.com" ، یک اپراتور جستجوی پیشرفته است . به Google بروید و site: yourdomain.com"" را در نوار جستجو تایپ کنید. با این کار نتایج گوگل در فهرست خود برای سایت مشخص شده نمایش داده می شود. تعداد نتایج نمایش داده شده در گوگل دقیق نیست، اما می تواند این اطمینان را به شما دهد که صفحات در سایت شما نمایه شده اند و چگونه در حال حاضر در نتایج جستجو نشان داده می شوند.
برای نتایج دقیق تر، گزارش Index Coverage را در کنسول جستجوی Google نظارت و استفاده کنید. اگر در حال حاضر آن را ندارید می توانید یک حساب کنسول جستجوی Google رایگان ثبت نام کنید. با استفاده از این ابزار، می توانید بر سایت خود نظارت داشته باشید و تعداد صفحات ارائه شده به فهرست Google و موارد دیگر را بررسی کنید.
اگر سایت شما در هیچ کجای نتایج جستجو نشان داده نشده است، چند دلیل وجود دارد:

  • سایت شما کاملاً جدید است و هنوز توسط خزنده های گوگل پیدا نشده است.
  • پیمایش سایت شما باعث می شود که یک ربات نتواند آنرا به راحتی خز کند.
  • سایت شما حاوی چند کد اساسی به نام بخشنامه خزنده است که موتورهای جستجو را مسدود می کند.
  • سایت شما توسط گوگل به دلیل تاکتیک های spam جریمه شده است.

به موتورهای جستجو بگویید چگونه با خزنده ها، سایت شما را بیابند

اگر از کنسول جستجوی گوگلGoogle) ) یا اپراتور جستجوی پیشرفته "site: domain.com" استفاده کرده اید و متوجه شدید که برخی از صفحات مهم شما از ایندکس حذف نشده اند و یا برخی از صفحات بی اهمیت شما به اشتباه ایندکس شده اند، در این شرایط بهینه سازی هایی برای شما وجود دارد. در این شرایط  Googlebot را پیاده سازی کنید تا شما را بهتر راهنمایی کند و به او بگویید که چگونه می خواهید محتوای وب شما خزیده شود. با انجام این عمل موتورهای جستجو در مورد خزیدن سایت شما می توانند کنترل بهتری را در فهرست خود به دست آورند.
اکثر مردم فکر می کنند که گوگل می تواند صفحات مهم را پیدا کند، اما فراموش می شود که صفحات محتمل نیز وجود دارند که نمی خواهید Googlebot آنها را پیدا کند. این موارد ممکن است شاملURL  های قدیمی باشد که دارای محتوای نادرست، نشانی اینترنتی های تکراری (مانند پارامترهای مرتب سازی و فیلتر برای تجارت الکترونیکی)، صفحات کد تبلیغی ویژه ، صفحات مرحله بندی یا تست و غیره هستند. برای هدایت Googlebot از صفحات و بخشهای خاص سایت خود، از robots.txt استفاده کنید.

Robots.txt چیست

پرونده های Robots.txt در فهرست اصلی وب سایت ها قرار دارند مانند( yourdomain.com/robots.txt)  و نشان می دهد کدام قسمت از موتورهای جستجوگر سایت شما باید و نباید crawl شوند و همچنین سرعتی که سایت شما را خزنده می کند ، از همین قسمت دیده می شود.

چگونه Googlebot با پرونده robots.txt رفتار می کند

  • اگر Googlebot نتواند یک پرونده robots.txt برای یک سایت را پیدا کند ، به دنبال خزیدن سایت می باشد.
  • اگر Googlebot یک پرونده robots.txt را برای یک سایت پیدا کند ، معمولاً پیشنهادات را پیروی می کند و به دنبال خزیدن سایت می باشد.
  • اگر Googlebot هنگام تلاش برای دسترسی به پرونده robots.txt یک سایت با خطایی روبرو شود و نتواند تعیین کند که وجود دارد یا خیر، آن سایت را crawl نمی کند.

بهینه سازی بودجه (budget)خزیدن

بودجه خزیدن میانگین تعداد URL هایی است که Googlebot قبل از ترک سایت شما در حال خزیدن است ، بنابراین بهینه سازی بودجه خزیدن تضمین می کند که Googlebot وقت خزیدن را از طریق صفحات بی اهمیت شما تلف نکند. بودجه خزیدن در سایتهای بسیار بزرگ با ده ها هزار URL مهم است، اما شما می توانید دسترسی خزندگان را به محتوائی که به آنها اهمیتی نمی دهید مسدود نمایید. فقط اطمینان حاصل کنید که دسترسی یک خزنده به صفحاتی که بخواهید بخشنامه های دیگری را به آن اضافه کنید، مانند برچسب های متعارف یا noindex نباشد.  زیرا اگر Googlebot از یک صفحه مسدود شود، نمی تواند دستورالعمل های موجود در آن صفحه را مشاهده کند.

توجه به تمام نکاتی که در این مقاله بیان شد به شما کمک می کند تا بتوانید با سئو مناسب به کمک ابزار هایی که گوگل معرفی کرده است به دنبال بهینه سازی سئو سایتتان باشید.

صفحات مشابه

ارسال نظر
توجه داشته باشید، درج اطلاعات "ایمیل" ، "وبسایت" و "شماره تماس" اختیاری بوده و به هیچ وجه منتشر نخواهد شد. این اطلاعات صرفا جهت پاسخگویی در موارد نیاز استفاده می شوند.