موتورهای جستجو چگونه کار می‌کنند؟

چکیده این مطلب : زمان مطالعه : 8 دقیقه 3 نظر 10,536 بازدید

موتورهای جستجو روش‌های خیلی پیچیده ای برای نمایش نتایج جستجو شده توسط کاربران دارند، اگر بخواهید در نتایج جستجو رتبه سایت خود را افزایش دهید ابتدا باید بدانید موتورهای جستجو چگونه کار می‌کنند.

ما به این مسئله پی برده‌ایم که، دلیل اصلی اینکه کسب و کار شما از بازاریابی دیجیتال بهره‌ای نمی‌برد این است که شما نمی‌دانید موتورهای جستجو چگونه کار می‌کنند. این موتورهای جستجو هستند که موفقیت وبسایت و کسب و کار اینترنتی شما را تضمین می‌کنند. اگر در صفحات نتایج رتبه بالایی ندارید و دیده نمی‌شوید، مسلما ترافیک وبسایت شما پایین است. و ترافیک پایین به معنی سود کمتر است. با فهمیدن نحوه عملکرد موتورهای جستجو، قادر خواهید بود تا وبسایت خود را بهبود بخشیده و در فضای اینترنت خود را مطرح کنید. به یاد داشته باشید که اصل اول موفقیت در هر کسب و کاری، شناخت بستری است که در آن فعالیت می‌کنید. پس مدیروب با درک اهمیت این موضوع، مقاله پیش رو را برای شما عزیزان تدارک دیده تا بعد از خواندن آن، متوجه فرصت‌هایی شوید که برای پیشرفت کسب و کارتان بسیار اثربخش خواهند بود.
 

موتور جستجو چیست؟

قبل از اینکه به چگونگی عملکرد موتورهای جستجو بپردازیم، در وهله اول باید بدانیم که اصلا موتور جستجو چیست و چگونه بوجود آمده است. موتور جستجو اساسا هر برنامه کامپیوتری است که برای پیدا کردن اطلاعاتی مشخص در هر پلتفرمی استفاده می‌شود. از نوار جستجوی موجود در لیست مخاطبین تلفن همراهتان گرفته تا شبکه‌ای از کامپیوترهای بهم پیوسته به نام اینترنت. اما امروزه وقتی افراد درباره موتور‌های جستجو صحبت می‌کنند، معمولا اشاره به موتورهای جستجوی وب دارند.
موتورهای جستجو درحقیقت، ماشین‌های پاسخ‌دهی هستند. موتور جستجو یک سیستم نرم‌افزاری است که وظیفه اصلی آن پیدا کردن محتوا (اعم از محتوای متنی، صوتی، عکس، ویدئو و هر فایل دیگری) در شبکه جهانی وب (WWW) است؛ محتوایی که بیشترین مطابقت را با کوئری شما داشته باشد. (کوئری همان عبارتی است که کاربر جستجو می‌کند)
یک موتور جستجو از دو بخش اصلی تشکیل شده است: پایگاه داده اطلاعات و الگوریتم‌ها.

موتورهای جستجو چگونه بوجود آمدند؟

ایده فهرست کردن اطلاعات اولین بار در جولای سال 1945 در مقاله "ماهنامه آتلانتیک" نوشته Vannevar Bush با عنوان "همانطور که ممکن است فکر کنیم" مطرح شد. او در این مقاله بر اهمیت اطلاعات در آینده تاکید کرد و دانشمندان را به پیدا کردن راهی برای یکی کردن تمام اطلاعات ترغیب کرد. در نهایت، یک دانشمند انگلیسی به نام Tim Berners Lee شبکه جهانی وب را در سال 1989 اختراع کرد که از تکنولوژی به نام (Hypertext Transfer Protocol (HTTP استفاده می‌کرد. علاوه بر این، اوکسی بود که تمامی ابزارهای لازم برای راه‌اندازی وب ازجمله زبان HTML و URL را خلق کرد.
یک سال بعد، اولین موتور جستجو به نام آرچی (Archie) بوجود آمد که اگرچه از نظر فنی اولین موتور جستجو نام گرفت، اما در حقیقت توانایی نمایش دادن محتوای وب را نداشت و فقط عناوین را فهرست می‌کرد. به همین خاطر، برای استفاده از آن نیاز بود تا کاربران نام دقیق فایل مورد نظر خود را بدانند. دیتابیس آرچی در حقیقت فقط متشکل از نام فایل‌های قابل دانلودی بود که از سایت‌های FTP جمع‌آوری شده بودند. به دنبال موفقیت پروژه آرچی، دو موتور جستجوی مشابه به نام‌های ورونیکا (Veronica) و جاگ‌هد (Jughead) با هدف ایندکس کردن متن ساده بوجود آمدند.
در سال 1991، Tim Berners Lee موفق شد اولین وبسایت تاریخ را ایجاد کرده و در دسترس عموم قرار دهد. در این وبسایت توضیح داده شده بود که شبکه جهانی وب چیست، چگونه می‌توان یک سرور وب برپا کرد و چطور می‌شود یک مرورگر در اختیار داشت.
در سال 1993، اولین ربات (که ما آن را با نام عنکبوت نیز می‌شناسیم) به نام World Wide Web Wanderer ساخته شد. هدف از ایجاد این ربات، ارزیابی میزان رشد و پیشرفت وب بود. طولی نکشید که این ربات ارتقا پیدا کرد تا بتواند URLهای فعال را جمع‌آوری کرده و آن‌ها را در یک دیتابیس به نام وندکس (Wandex) نگهداری کند. اما رفته رفته ربات واندرر که قرار بود خود راه حل باشد، به مشکلی بزرگ تبدیل شد. واندرر، مرتبا سایت‌ها را مختل می‌کرد و دسترسی به آن‌ها را غیرممکن می‌ساخت. در این بین، موتور جستجویی به نام W3Catalog که می‌توان گفت اولین موتور جستجوی وب تاریخ است (همانطور که گفته شد، موتورهای جستجوی قبلی قابلیت نمایش محتوای وب را نداشتند)، در اواسط سال 1993 بوجود آمد. اگرچه W3Catalog سعی کرده بود تا علاوه بر استفاده از ربات‌ها، فهرستی باکیفیت از وبسایت‌های موجود داشته باشد، اما همچنان نتوانست مشکل اختلال ربات‌ها را حل کند.

برای رفع این مشکل، دومین موتور جستجوی وب، یعنی آلی‌وب Aliweb بوجود آمد که مخفف (Archie-Like Indexing of the Web) و به معنای "ایندکس کردن صفحات وب به روش آرچی" بود. بمنظور حل مشکلات ربات‌ها، آلی‌وب امکانی را فراهم کرد که صاحبان وبسایت‌ها، خود بطور دستی وبسایتشان را ایندکس کنند تا دیگر نیازی به استفاده از ربات نباشد.
در اواخر سال 1993، JumpStation بالاخره توانست اولین موتور جستجویی باشد که تمامی این سه ویژگی که برای یک موتور جستجو حیاتی است را کاملا به عهده ربات‌ها بگذارد؛ یعنی کرال کردن، ایندکس کردن و جستجو کردن. اما به دلیل محدودیت منابع، ایندکس کردن و جستجو کردن آن فقط محدود به هدینگ‌ها و عنوان‌های یک صفحه وب می‌شد. طولی نکشید که در سال 1994 اولین موتور جستجو به نام WebCrawler با قابلیت ایندکس کردن و یافتن تمام متن موجود در یک صفحه وب، عرضه شد.
از آن پس، موتورهای جستجوی متعددی یکی پس از دیگری معرفی شدند. Yahoo!، Infoseek، Altavista، Go.com و Lycos نمونه‌هایی از ده‌ها موتور جستجویی هستند که تا کنون معرفی شده‌اند. در سال 1996، رابین لی الگوریتمی به نام RankDex برای امتیاز‌دهی به سایت‌ها خلق کرد تا هرکدام رتبه خاص خود را در صفحه نتایج موتورهای جستجو بدست آورند. این اولین موتور جستجویی بود که برای ارزیابی کیفیت وبسایت‌ها، از لینک‌ها استفاده می‌کرد. در همان سال، لری پیج (Larry Page) و سرگی برین (Sergey Brin) فعالیت خود را بر روی موتور جستجویی به نام BackRub آغاز کردند. این موتور جستجو، از الگوریتمی به نام PageRank استفاده می‌کرد که در حقیقت از روی RankDex الگوبرداری شده بود و برای رتبه‌بندی سایت‌ها، از بک‌لینک‌ها استفاده می‌کرد.
حدود دو سال بعد، در نزدیکی‌های سال 1998، دامنه Google.com ثبت شد که در حقیقت نام جدید BackRub بود. گوگل توانست به پراستفاده‌ترین موتور جستجو در تمام پلتفرم‌ها تبدیل شود و محبوبیت فراوانی در بین کاربران کسب کند. جالب است بدانید که کلمه Google در حقیقت حاصل اشتباه تایپی بوده که به هنگام خرید این دامنه صورت گرفته است! کلمه اصلی Googol بوده که به عدد 1 با صدتا صفر گفته می‌شود. این مفهوم را می‌توانید بطور واضح در طراحی لوگوی گوگل در قسمت زیرین صفحات نتایج جستجوی آن مشاهده کنید که حروف O همانند صفرهایی پشت سر هم تکرار شده‌اند و هر کدام به یک صفحه اشاره دارند. انتخاب این نام می‌تواند بیانگر این باشد که این موتور جستجو برای فراهم آوردن مقادیر اعظمی از اطلاعات برای کاربران طراحی شده است.

بخش اول: درخواست و ثبت جستجو

موتورهای جستجو دارای دو اصل کلی در نحوهٔ عملکرد می‌باشند. دریافت درخواست و پاسخ‌دهی به آن. در این دو اصل ابتدا کاربران موردی که می‌خواهند را در موتورهای جستجو ثبت کرده، سپس پاسخ مربوط با محاسبات موتورهای جستجو در نتایج بازخورد داده می‌شود.

تصور کنید که شبکه جهانی اینترنت (World Wide Web) یک سیستم مترو از یک شهر بزرگ است.

در این سیستم تعداد زیادی توقف و شروع دوباره وجود دارد. فرض کنید هر توقف یک سند از یک جستجوی منحصر به فرد است. موتورهای جستجو باید راهی برای حرکت و توقف به موقع در این سیستم داشته باشند. پس آن‌ها از بهترین راه موجود برای سرعت بخشیدن به دستیابی به اطلاعات مورد نظر استفاده می‌کنند یعنی لینک‌ها!

بیشتر بخوانید: هفت دلیل بر ضرورت وبلاگ برای کسب و کارهای آنلاین

اهمیت لینک ها برای موتورهای جستجو

ساختار لینک‌ها در شبکهٔ وب برای اتصال تمام صفحات وب به یکدیگر در یک شبکهٔ واحد است.

با کمک لینک‌ها، روبات‌های هوشمند و خودکار موتورهای جستجو که با نام‌های "خزندگان (Crawlers)" یا "عنکبوت‌ها (Spiders)" شناخته می‌شوند، می‌توانند به میلیون‌ها اسناد مرتبط و پیوسته دست پیدا کنند.

درست در زمانی که موتورهای جستجو این صفحات جستجو شده را پیدا می‌کنند، آن‌ها را کدیابی کرده و اطلاعات انتخاب شده را در هارد درایوهای عظیم و گسترده ذخیره می‌کنند، تا در صورت نیاز آن‌ها را در جستجوهای بعدی در کمترین زمان ممکن نمایش دهند.

برای انجام این کار مهم یعنی ذخیره و نگهداری از میلیاردها صفحه که می‌توان در کسری از ثانیه آن‌ها را دید، موتورهای جستجو در تمام دنیا مراکز اطلاعاتی (دیتا سنتر) تأسیس کرده‌اند.

این تجهیزات غول آسای ذخیره سازی دارای هزاران دستگاه پردازشی از مقادیر زیادی اطلاعات هستند. با این همه، وقتی یک فرد در هر یک از موتورهای جستجوی اصلی یک جستجو انجام می‌دهد، خواهان رؤیت نتیجه در همان لحظه می‌باشد. حتی یک یا دو ثانیه تأخیر می‌تواند باعث نارضایتی باشد؛ بنابراین موتورهای جستجو سخت در حال کوشش هستند تا پاسخ‌های کاربران را در اسرع وقت ارائه بدهند.

بخش دوم: ارائه پاسخ‌ها توسط موتور جستجو

موتورهای جستجو در واقع ماشین‌های پاسخ گویی هستند. وقتی شخصی به صورت آنلاین به دنبال چیزی است، لازم است تا موتورهای جستجو نتیجهٔ درخواست آن شخص را در بین مجموعه ای از میلیاردها اسناد مختلف بررسی و جست و جو کنند و برای دستیابی نتیجه و ارائهٔ پاسخ می‌بایست دو کار انجام دهند:

اول، تنها نتایج و پاسخ‌هایی که مرتبط با جستجو بوده و برای متن جستجوی کاربر مفید هستند را نمایش دهد و دوم، نتایجی که بیشترین امتیاز و بیشترین درصد جستجو و مفید بودن را داشته‌اند انتخاب کنند. این مورد دوم یعنی همان "مرتبط بودن" و "مهم بودن" در نتایج نمایش داده شده معنی اصلی نحوهٔ عملکرد سئو می‌باشند.

برای یک موتور جستجو، مرتبط بودن، معنی مهم‌تری نسبت به جستجو و یافتن آسوده یک صفحه با کلمات دقیق را دارد. به عبارت دیگر مرتبط بودن نتایج پیدا شده با کلمهٔ جستجو شدهٔ کاربر از اهمیت بیشتری نسبت به جستجوی یک طرفه برخوردار است.

در زمان‌های ابتدایی پیدایش شبکه وب، موتورهای جستجو از همین روش ساده بیشتر جلو نمی‌رفتند و کلمات جستجو شده را به صورت مستقیم مورد بررسی قرار می‌دادند و نتایج آن‌ها به عنوان یک نتیجهٔ کلی ثبت می‌شد. اما بعدها به خاطر اتفاقات و سو استفاده هایی که از موتورهای جستجو صورت گرفت، موتورهای جستجو هوشمند تر شده و راه‌های بهتری برای پیدا کردن نتایج با ارزش برای جستجوگرها (کاربران) فراهم کردند تا با این کار کاربران در زمان کمتر به بهترین نتیجهٔ ممکن برسند و از آن لذت ببرند.

چگونه موتورهای جستجو اهمیت داشتن یک جستجو را تعیین می‌کنند؟

در حال حاضر، به طور معمول یک موتور جستجوی درجه و مقدار اهمیت یک مورد را بر اساس محبوبیت آن مورد تعیین می‌کند. با توجه به این فرمول، هر چقدر یک سایت یا صفحه بیشتر محبوب و پر بازدید باشد، باید از اهمیت و ارزش بالاتری در بخش اطلاعات درون خود نیز برخوردار باشد.

این فرضیه به صورت تقریبی در نتایج و آمار آزمایشات ثابت شده است. موتورهای جستجو به افزایش رضایت مندی کاربرانشان با استفاده از این معیار یعنی اولویت قرار دادن جستجوهای محبوب ادامه می‌دهند.

محبوبیت یا مرتبط بودن یک جستجو به صورت دستی تعیین نمی‌شوند. این مقادیر توسط هوش مصنوعی موتورهای جستجو، محاسبات دقیق ریاضی و الگوریتم‌ها معین می‌شوند. این الگوریتم‌ها معمولاً شامل هزاران بخش مختلف هستند.

برای اینکه بتوان عوامل مهم در رتبه بندی را رعایت کرد و به رتبه های بالایی در نتایج گوگل دست یافت، باید با موضوع به نام سئو آشنایی داشت.

بهینه سازی سایت یا سئو در واقع متد هایی هستند که با انجام و رعایت آنها وب سایت شما برای موتورهای جستجو بهینه سازی شده و شما را به همان عوامل محبوبیت که اشاره شد می رساند.

به عنوان مثال وقتی کلمهٔ Universities (دانشگاه) کلمهٔ مورد جستجوی ما باشد، موتورهای جستجو ایالت Ohio را نسبت به Harvard در اولویت قرار می‌دهند. چون ایالت اوهایو هم با کلمه مورد جستجو به صورت کلی مرتبط است و هم عمومیت و محبوبیت بیشتری دارد.

برای مطالعه بیشتر درباره بهینه سازی و سئو سایت به مقاله ی سئو چیست؟ هر آنچه لازم است درباره سئو بدانید، مراجعه کنید.

مشاهده نسخه PDF مقاله: موتورهای جستجو چگونه کار می‌کنند؟