مورد موتور جستجو موتور جستجوی اینترنتی - Yahoo

معماری یک موتور جستجو معمولاً شامل موارد زیر است:

یوتیوب دایره المعارفی

1 / 5

✪ درس 3: چگونه یک موتور جستجو کار می کند. مقدمه ای بر سئو

✪ موتور جستجو از درون

✪ شودان - گوگل سیاه

✪ موتور جستجو Cheburashka جایگزین Google و Yandex در روسیه خواهد شد

✪ درس 1 - چگونه یک موتور جستجو کار می کند

زیرنویس

تاریخ

کرونولوژی
سال	سیستم	رویداد
1993	W3Catalog؟!	راه اندازی
	علی وب	راه اندازی
	جامپ استیشن	راه اندازی
1994	خزنده وب	راه اندازی
	infoseek	راه اندازی
	لایکوس	راه اندازی
1995	AltaVista	راه اندازی
	داوم	پایه
	متن بازفهرست وب	راه اندازی
	ماژلان	راه اندازی
	هیجان انگیز	راه اندازی
	SAPO	راه اندازی
	یاهو	راه اندازی
1996	سگ شمع	راه اندازی
	اینکتومی	پایه
	رامبلر	پایه
	هات بات	پایه
	از جیوز بپرس	پایه
1997	نور شمالی	راه اندازی
	یاندکس	راه اندازی
1998	گوگل	راه اندازی
1999	AlltheWeb	راه اندازی
	جن می داند	پایه
	ناور	راه اندازی
	تئوما	پایه
	ویویسیمو	پایه
2000	بایدو	پایه
	Exalead	پایه
2003	info.com	راه اندازی
2004	یاهو جستجو کردن	راه اندازی نهایی
	A9.com	راه اندازی
	سوگو	راه اندازی
2005	MSN جستجو	راه اندازی نهایی
	Ask.com	راه اندازی
	نیگما	راه اندازی
	جستجوی کالا	راه اندازی
جستجوی من	پایه
2006	ویکی جستجو	پایه
	کوائرو	پایه
	جستجوی زنده	راه اندازی
	چاچا	راه اندازی (بتا)
	Guruji.com	راه اندازی (بتا)
2007	ویکی جستجو	راه اندازی
	اسپروز	راه اندازی
	جستجو در ویکیا	راه اندازی
	blackle.com	راه اندازی
2008	DuckDuckGo	راه اندازی
	توبی	راه اندازی
	پیکولاتور	راه اندازی
	Viewzi	راه اندازی
	کویل	راه اندازی
	بوگامی	راه اندازی
	لیپ فیش	راه اندازی (بتا)
	جنگل	راه اندازی
	VADLO	راه اندازی
	پاورست	راه اندازی
2009	بینگ	راه اندازی
	KAZ.KZ	راه اندازی
	یبول	راه اندازی (بتا)
	ماغوردی	بسته
	دیده بانی	راه اندازی
2010	کویل	بسته
	بلکو	راه اندازی (بتا)
	Viewzi	بسته
2012	WAZZUB	راه اندازی
2014	ماهواره	راه اندازی (بتا)

در مراحل اولیه توسعه اینترنت، تیم برنرز لی فهرستی از وب سرورهای ارسال شده در وب سایت سرن را حفظ کرد. سایت‌های بیشتری وجود داشت و نگهداری دستی چنین فهرستی روز به روز دشوارتر می‌شد. وب سایت NCSA یک بخش اختصاصی «چه خبر است!» داشت. (eng. What's New!)، جایی که آنها پیوندهایی به سایت های جدید منتشر کردند.

اولین برنامه کامپیوتری برای جستجو در اینترنت بود آرچی(انگلیسی archie - بایگانی بدون حرف "c"). در سال 1990 توسط Alan Emtage، Bill Heelan و J. Peter Deutsch، دانشجویان علوم کامپیوتر در دانشگاه McGill در مونترال ایجاد شد. این برنامه لیستی از تمام فایل ها را از همه سرورهای FTP ناشناس موجود دانلود کرد و یک پایگاه داده ساخت که می توانست بر اساس نام فایل ها جستجو شود. با این حال، برنامه Archie محتویات این فایل ها را فهرست نمی کند، زیرا حجم داده ها به قدری کم بود که همه چیز را می توان به راحتی با دست پیدا کرد.

توسعه و انتشار پروتکل شبکه Gopher که در سال 1991 توسط مارک مک کاهیل در دانشگاه مینه سوتا ابداع شد، منجر به ایجاد دو برنامه جستجوی جدید شد. ورونیکاو جوگهد. مانند Archie، آنها نام فایل ها و هدرهای ذخیره شده در سیستم های فهرست Gopher را جستجو کردند. ورونیکا (انگلیسی) فهرست بسیار آسان جوندگان در سراسر شبکه برای آرشیوهای کامپیوتری) امکان جستجوی کلمات کلیدی برای اکثر سرفصل های منوی Gopher در تمام لیست های Gopher وجود دارد. برنامه Jughead حفاری و نمایش سلسله مراتب گوفر جهانی Jonzy) اطلاعات منو را از سرورهای خاص Gopher بازیابی کرد. اگرچه نام موتور جستجوی آرچی به مجموعه کتاب های مصور مرتبط نبود "آرچی"، با این حال ورونیکا و جوگهد شخصیت های این کمیک ها هستند.

تا تابستان 1993، هنوز یک سیستم واحد برای جستجوی وب وجود نداشت، اگرچه فهرست های تخصصی متعددی به صورت دستی نگهداری می شدند. اسکار نیرستراس در دانشگاه ژنو مجموعه‌ای از اسکریپت‌های پرل نوشت که به صورت دوره‌ای این صفحات را کپی می‌کرد و آنها را در قالب استاندارد بازنویسی می‌کرد. این مبنایی شد برای W3Catalog؟!، اولین موتور جستجوی وب اولیه که در 2 سپتامبر 1993 راه اندازی شد.

احتمالاً اولین موتور جستجوی نوشته شده در پرل «World Wide Web Wanderer» بود، یک ربات توسط متیو گری از ژوئن 1993. این ربات فهرست جستجوی "Wandex" را ایجاد کرد. هدف ربات Wanderer اندازه گیری اندازه شبکه جهانی وب و یافتن تمام صفحات وب حاوی کلمات جستجو بود. در سال 1993، دومین موتور جستجوی Aliweb ظاهر شد. Aliweb از خزنده استفاده نمی‌کند، اما در عوض منتظر اعلان‌های مدیران وب‌سایت در مورد وجود یک فایل فهرست با فرمت خاص در سایت‌هایشان بود.

جامپ استیشن، در دسامبر 1993 توسط جاناتان فلچر ایجاد شد، صفحات وب را با استفاده از یک خزنده جستجو و نمایه کرد و از یک فرم وب به عنوان رابطی برای فرمول بندی پرس و جوهای جستجو استفاده کرد. این اولین ابزار جستجوی اینترنتی بود که سه عملکرد ضروری یک موتور جستجو (تأیید، نمایه سازی و جستجوی واقعی) را با هم ترکیب کرد. با توجه به منابع محدود رایانه های آن زمان، نمایه سازی و در نتیجه جستجو فقط به عنوان و عنوان صفحات وب یافت شده توسط خزنده محدود می شد.

موتورهای جستجو در حباب Dot-com در اواخر دهه 1990 شرکت کردند. چندین شرکت به شکلی دیدنی وارد بازار شدند و در طول عرضه های اولیه خود سودهای بی سابقه ای به دست آوردند. برخی بازار موتورهای جستجوی عمومی را رها کرده اند و فقط با بخش شرکتی کار می کنند، مانند نور شمالی.

گوگل در سال 1998 ایده فروش کلمات کلیدی را مطرح کرد، زمانی که یک شرکت کوچک بود که یک موتور جستجو در goto.com داشت. این حرکت نشان دهنده تغییر موتورهای جستجو از رقابت با یکدیگر به تبدیل شدن به یکی از سودآورترین سرمایه گذاری های تجاری در اینترنت بود. موتورهای جستجو شروع به فروش اولین مکان ها در نتایج جستجو به شرکت های فردی کردند.

موتور جستجوی گوگل از اوایل دهه 2000 در جایگاه برجسته ای قرار داشته است. این شرکت به دلیل نتایج جستجوی خوب با استفاده از الگوریتم PageRank به جایگاه بالایی دست یافته است. این الگوریتم در مقاله "آناتومی موتور جستجو" نوشته سرگئی برین و لری پیج، بنیانگذاران گوگل، به عموم ارائه شد. این الگوریتم تکراری، صفحات وب را بر اساس تخمینی از تعداد پیوندهای یک صفحه وب رتبه بندی می کند، با این فرض که صفحات "خوب" و "مهم" لینک های بیشتری نسبت به سایرین دریافت می کنند. رابط گوگل به سبک اسپارتان طراحی شده است، جایی که هیچ چیز اضافی وجود ندارد، برخلاف بسیاری از رقبای خود که موتور جستجو را در پورتال وب ایجاد کردند. موتور جستجوی گوگل آنقدر محبوب شده است که مقلدانی از آن ظاهر شده اند، به عنوان مثال، جستجوگر راز(موتور جستجوی مخفی).

جستجوی اطلاعات به زبان روسی

در سال 1996، جستجویی با در نظر گرفتن مورفولوژی روسی در موتور جستجوی Altavista انجام شد و موتورهای جستجوی اصلی روسی Rambler و Aport راه اندازی شدند. در 23 سپتامبر 1997، موتور جستجوی Yandex افتتاح شد. در 22 مه 2014، موتور جستجوی ملی اسپوتنیک توسط Rostelecom افتتاح شد که در سال 2015 در حال آزمایش بتا بود. در 22 آوریل 2015، یک سرویس جدید اسپوتنیک راه اندازی شد. کودکان مخصوص کودکان با ایمنی بالا.

روش های تجزیه و تحلیل خوشه ای و جستجوی فراداده محبوبیت زیادی به دست آورده اند. از ماشین های بین المللی از این دست، معروف ترین آنها بود "کلفت"شرکت ها ویویسیمو. در سال 2005، با حمایت دانشگاه دولتی مسکو، موتور جستجوی Nigma در روسیه راه اندازی شد که از خوشه بندی خودکار پشتیبانی می کند. در سال 2006، متاماشین روسی Quintura افتتاح شد که خوشه‌بندی بصری را در قالب یک ابر برچسب ارائه می‌کرد. Nigma همچنین با خوشه‌بندی بصری آزمایش کرد.

موتور جستجو چگونه کار می کند

اجزای اصلی یک موتور جستجو: ربات جستجو، نمایه ساز، موتور جستجو.

به عنوان یک قاعده، سیستم ها در مراحل کار می کنند. ابتدا، خزنده محتوا را دریافت می کند، سپس نمایه ساز یک نمایه قابل جستجو ایجاد می کند و در نهایت، خزنده عملکردی را برای جستجوی داده های فهرست شده ارائه می دهد. برای به روز رسانی موتور جستجو، این چرخه نمایه سازی تکرار می شود.

موتورهای جستجو با ذخیره اطلاعات بسیاری از صفحات وب که از صفحات HTML به دست می آورند کار می کنند. ربات جستجو یا "خزنده" (eng. Crawler) - برنامه ای که به طور خودکار تمام پیوندهای موجود در صفحه را دنبال می کند و آنها را برجسته می کند. خزنده، بر اساس پیوندها یا بر اساس یک لیست از پیش تعریف شده از آدرس ها، اسناد جدیدی را جستجو می کند که هنوز برای موتور جستجو شناخته شده نیستند. مالک سایت می تواند صفحات خاصی را با استفاده از robots.txt حذف کند، که می تواند برای جلوگیری از نمایه سازی فایل ها، صفحات یا دایرکتوری های سایت استفاده شود.

موتور جستجو محتوای هر صفحه را برای نمایه سازی بیشتر تجزیه و تحلیل می کند. کلمات را می توان از عنوان، متن صفحه یا فیلدهای خاص - متا تگ ها استخراج کرد. نمایه ساز ماژولی است که یک صفحه را پس از تقسیم آن به بخش ها با استفاده از الگوریتم های واژگانی و مورفولوژیکی خود تجزیه و تحلیل می کند. تمام عناصر یک صفحه وب جدا شده و به طور جداگانه تجزیه و تحلیل می شوند. داده های صفحه وب در یک پایگاه داده فهرست برای استفاده در درخواست های بعدی ذخیره می شود. ایندکس به شما امکان می دهد تا به سرعت اطلاعات مربوط به درخواست کاربر را پیدا کنید. تعدادی از موتورهای جستجو، مانند گوگل، تمام یا بخشی از صفحه اصلی، به اصطلاح حافظه پنهان، و همچنین اطلاعات مختلف در مورد صفحه وب را ذخیره می کنند. سیستم های دیگر، مانند AltaVista، هر کلمه از هر صفحه یافت شده را ذخیره می کنند. استفاده از حافظه نهان به سرعت بخشیدن به استخراج اطلاعات از صفحات بازدید شده از قبل کمک می کند. صفحات ذخیره شده در حافظه پنهان همیشه حاوی متنی هستند که کاربر در عبارت جستجو مشخص کرده است. این می تواند زمانی مفید باشد که صفحه وب به روز شده باشد، یعنی دیگر حاوی متن درخواست کاربر نباشد و صفحه موجود در کش هنوز قدیمی است. این وضعیت به از دست دادن لینک ها مربوط می شود (Eng. لینک روت) و رویکرد کاربرپسند (قابلیت استفاده) گوگل. این شامل صدور تکه های کوتاه متن از حافظه پنهان حاوی متن پرس و جو است. اصل کمترین غافلگیری اعمال می شود، کاربر معمولاً انتظار دارد کلمات جستجو را در متون صفحات دریافتی ببیند ( انتظارات کاربر). علاوه بر سرعت بخشیدن به جستجوها با استفاده از صفحات ذخیره شده، صفحات ذخیره شده در حافظه پنهان ممکن است حاوی اطلاعاتی باشند که دیگر در جای دیگری در دسترس نیستند.

موتور جستجو با فایل های خروجی دریافت شده از نمایه ساز کار می کند. موتور جستجو درخواست های کاربر را می پذیرد، آنها را با استفاده از یک فهرست پردازش می کند و نتایج جستجو را برمی گرداند.

هنگامی که کاربر درخواستی را در موتور جستجو وارد می‌کند (معمولاً با استفاده از کلمات کلیدی)، سیستم فهرست آن را بررسی می‌کند و فهرستی از مرتبط‌ترین صفحات وب (مرتب‌سازی شده بر اساس معیارهایی) را برمی‌گرداند، معمولاً با یک حاشیه‌نویسی مختصر حاوی عنوان سند و گاهی قسمت هایی از متن فهرست جستجو بر اساس یک تکنیک خاص بر اساس اطلاعات استخراج شده از صفحات وب ساخته می شود. از سال 2007، موتور جستجوی گوگل به شما امکان می دهد بر اساس زمان جستجو کنید، اسناد مورد نظر خود را ایجاد کنید (منوی "ابزارهای جستجو" را فراخوانی کنید و محدوده زمانی را مشخص کنید). اکثر موتورهای جستجو از استفاده از عملگرهای AND، OR، NOT در پرس و جوها پشتیبانی می کنند، که به شما امکان می دهد لیست کلمات کلیدی جستجو شده را اصلاح یا گسترش دهید. در این حالت، سیستم کلمات یا عبارات را دقیقاً همانطور که وارد شده است جستجو می کند. برخی از موتورهای جستجو اجازه می دهند جستجوی تقریبی، در این حالت، کاربران با تعیین فاصله تا کلمات کلیدی، منطقه جستجو را گسترش می دهند. نیز وجود دارد جستجوی مفهومی، که از تجزیه و تحلیل آماری استفاده از کلمات و عبارات جستجو در متون صفحات وب استفاده می کند. این سیستم ها به شما امکان می دهند پرس و جوها را به زبان طبیعی بنویسید. نمونه ای از چنین موتورهای جستجو، وب سایت ask com است.

سودمندی یک موتور جستجو به ارتباط صفحاتی که پیدا می کند بستگی دارد. در حالی که میلیون ها صفحه وب ممکن است شامل یک کلمه یا عبارت باشند، برخی ممکن است مرتبط تر، محبوب تر یا معتبرتر از سایرین باشند. اکثر موتورهای جستجو از روش های رتبه بندی استفاده می کنند تا "بهترین" نتایج را در بالای لیست قرار دهند. موتورهای جستجو تصمیم می گیرند که کدام صفحات مرتبط تر هستند و نتایج به چه ترتیبی باید به روش های مختلف نشان داده شوند. روش های جستجو، مانند خود اینترنت، در طول زمان تغییر می کنند. بنابراین، دو نوع اصلی از موتورهای جستجو ظاهر شد: سیستم های کلیدواژه های از پیش تعریف شده و مرتب شده به صورت سلسله مراتبی و سیستم هایی که در آنها یک شاخص معکوس بر اساس تجزیه و تحلیل متن تولید می شود.

بیشتر موتورهای جستجو، شرکت‌های تجاری هستند که از تبلیغات سود می‌برند، در برخی از موتورهای جستجو می‌توانید با پرداخت هزینه، موقعیت‌های برتر در نتایج جستجو را برای کلمات کلیدی معین خریداری کنید. آن دسته از موتورهای جستجویی که برای ترتیب نتایج هزینه ای دریافت نمی کنند، از تبلیغات متنی درآمد کسب می کنند، در حالی که پیام های تبلیغاتی مطابق با درخواست کاربر است. چنین تبلیغاتی با لیستی از نتایج جستجو در صفحه نمایش داده می شود و موتورهای جستجو هر بار که کاربر روی پیام های تبلیغاتی کلیک می کند درآمد کسب می کنند.

انواع موتورهای جستجو

چهار نوع موتور جستجو وجود دارد: روباتیک، انسان محور، هیبریدی و متا سیستم.

• سیستم هایی با استفاده از روبات های جستجوگر

آنها از سه بخش تشکیل شده اند: یک خزنده ("ربات"، "ربات" یا "عنکبوت")، یک فهرست و یک نرم افزار موتور جستجو. خزنده برای دور زدن شبکه و ایجاد لیستی از صفحات وب مورد نیاز است. ایندکس آرشیو بزرگی از کپی صفحات وب است. هدف این نرم افزار ارزیابی نتایج جستجو است. با توجه به اینکه خزنده در این مکانیزم به طور مداوم در حال کاوش در شبکه است، اطلاعات به روزتر می باشد. اکثر موتورهای جستجوی مدرن سیستم هایی از این نوع هستند.

• سیستم های کنترل شده توسط انسان (کاتالوگ منابع)

این موتورهای جستجو لیستی از صفحات وب را دریافت می کنند. فهرست شامل آدرس، عنوان و توضیح مختصری از سایت است. کاتالوگ منابع فقط از توضیحات صفحه که توسط وب مسترها به آن ارسال شده است، به دنبال نتایج است. مزیت دایرکتوری ها این است که تمام منابع به صورت دستی بررسی می شوند، بنابراین کیفیت محتوا در مقایسه با نتایج به دست آمده به طور خودکار توسط سیستم نوع اول بهتر خواهد بود. اما یک اشکال نیز وجود دارد - به روز رسانی این دایرکتوری ها به صورت دستی انجام می شود و می تواند به طور قابل توجهی از وضعیت واقعی عقب بماند. رتبه بندی صفحات نمی تواند فورا تغییر کند. نمونه هایی از این قبیل سیستم ها هستند دایرکتوری یاهو، dmoz و Galaxy.

• سیستم های هیبریدی

موتورهای جستجو مانند یاهو، گوگل، MSN عملکرد سیستم ها را با استفاده از روبات های جستجوگر و سیستم های کنترل شده توسط انسان ترکیب می کنند.

• متا سیستم ها

موتورهای متاجستجو نتایج چندین موتور جستجو را به طور همزمان ترکیب و رتبه بندی می کنند. این موتورهای جستجو زمانی مفید بودند که هر موتور جستجو یک شاخص منحصر به فرد داشت و موتورهای جستجو کمتر «هوشمند» بودند. از آنجایی که جستجو در حال حاضر بسیار بهبود یافته است، نیاز به آنها کاهش یافته است. مثال ها: متاکرولرو MSN Search

بازار موتورهای جستجو

گوگل با سهم بازار 68.69% محبوب ترین موتور جستجوی جهان است. بینگ جایگاه دوم را اشغال می کند، سهم آن 12.26٪ است.

محبوب ترین موتورهای جستجو در جهان:

سیستم جستجو	سهم بازار در جولای 2014	سهم بازار در اکتبر 2014	سهم بازار در سپتامبر 2015
گوگل	68,69 %	58.01 %	69.24%
بایدو	17,17 %	29.06 %	6,48%
بینگ	6.22 %	8.01 %	12,26%
یاهو	6.74 %	4.01 %	9,19%
AOL	0,13 %	0.21 %	1,11%
هیجان انگیز	0.22 %	0,00 %	0.00%
پرسیدن	0,13 %	0,10 %	0,24%

آسیا

در کشورهای شرق آسیا و روسیه، گوگل محبوب ترین موتور جستجو نیست. به عنوان مثال، در چین محبوب تر است موتور جستجوی سوسو.

در کره جنوبی، پورتال جستجوی اختصاصی Naver توسط حدود 70 درصد یاهو استفاده می شود! ژاپن و یاهو تایوان به ترتیب محبوب ترین موتورهای جستجو در ژاپن و تایوان هستند.

روسیه و موتورهای جستجوی روسی زبان

بر اساس داده های LiveInternet در ژوئن 2015 در مورد پوشش عبارت های جستجوی روسی زبان:

• همه زبانه:
  • یاهو (0.1%) و موتورهای جستجوی متعلق به این شرکت: اینکتومی، آلتاویستا، Alltheweb
• انگلیسی زبان و بین المللی:
  • AskJeeves(مکانیسم Teoma)
• روسی زبان - بیشتر موتورهای جستجوی "روس زبان" فهرست و جستجوی متون به بسیاری از زبان ها - اوکراینی، بلاروسی، انگلیسی، تاتاری و دیگران است. آن‌ها با سیستم‌های «همه زبانی» که همه اسناد را در یک ردیف فهرست‌بندی می‌کنند، تفاوت دارند، زیرا عمدتاً منابعی را که در مناطق دامنه‌ای که زبان روسی غالب است فهرست‌بندی می‌کنند، یا در غیر این صورت روبات‌های خود را به سایت‌های روسی زبان محدود می‌کنند.

برخی از موتورهای جستجو از الگوریتم های جستجوی خارجی استفاده می کنند.

داده های کمی موتور جستجوی گوگل

تعداد کاربران اینترنت و موتورهای جستجو و نیازهای کاربران برای این سیستم ها به طور مداوم در حال افزایش است. برای افزایش سرعت جستجوی اطلاعات لازم، موتورهای جستجوی بزرگ حاوی تعداد زیادی سرور هستند. سرورها معمولاً در مراکز سرور (مراکز داده) گروه بندی می شوند. موتورهای جستجوی محبوب دارای مراکز سرور پراکنده در سراسر جهان هستند.

در اکتبر 2012، گوگل پروژه Where the Internet Lives را راه اندازی کرد که در آن به کاربران این فرصت داده می شود تا با مراکز داده این شرکت آشنا شوند.

موتور جستجوی گوگل موارد زیر را در مورد کار مراکز داده می داند:

• ظرفیت کل مراکز داده گوگل تا سال 2011، 220 مگاوات برآورد شده است.
• زمانی که گوگل در سال 2008 قصد داشت یک مجتمع جدید 6.5 میلیون متری سه ساختمانی را در اورگان افتتاح کند، مجله هارپر تخمین زد که چنین مجتمع بزرگی بیش از 100 مگاوات برق مصرف می کند که با مصرف انرژی شهری 300000 نفری قابل مقایسه است. .
• تعداد تخمینی سرورهای گوگل در سال 2012 1000000 است.
• هزینه گوگل برای مراکز داده در سال 2006 1.9 میلیارد دلار و در سال 2007 2.4 میلیارد دلار بود.

اندازه وب جهانی نمایه شده توسط گوگل تا دسامبر 2014 تقریباً 4.36 میلیارد صفحه است.

موتورهای جستجویی که ممنوعیت های مذهبی را در نظر می گیرند

گسترش جهانی اینترنت و محبوبیت روزافزون دستگاه های الکترونیکی در جهان عرب و اسلام، به ویژه در کشورهای خاورمیانه و شبه قاره هند، به توسعه موتورهای جستجوی محلی که سنت های اسلامی را در نظر می گیرند، کمک کرد. چنین موتورهای جستجو دارای فیلترهای خاصی هستند که به کاربران کمک می کند از دسترسی به سایت های ممنوعه مانند سایت های دارای پورنوگرافی اجتناب کنند و به آنها اجازه می دهد فقط از سایت هایی استفاده کنند که محتوای آنها مغایر با دین اسلام نباشد. اندکی قبل از ماه مبارک رمضان، در جولای 2013، جهان معرفی شد حلال گوگل- سیستمی که با فیلتر کردن نتایج جستجوی دریافتی از موتورهای جستجوی دیگر مانند گوگل و بینگ، فقط لینک های حلال "صحیح" را به کاربران می دهد. دو سال قبل از آن، در سپتامبر 2011، موتور جستجوی I'mHalal برای خدمات رسانی به کاربران در خاورمیانه راه اندازی شد. با این حال، به گفته مالک، به دلیل کمبود بودجه، این سرویس جستجو مجبور شد به زودی بسته شود.

فقدان سرمایه گذاری و سرعت آهسته انتشار فناوری در جهان اسلام مانع پیشرفت و مانع موفقیت یک موتور جستجوی جدی اسلامی شده است. شکست سرمایه گذاری های کلان در پروژه های وب سبک زندگی مسلمانان که یکی از آنها بود موکسلیم. او میلیون ها دلار از سرمایه گذارانی مانند Rite Internet Ventures دریافت کرده است و اکنون - طبق آخرین پست I'mHalal قبل از تعطیلی - این ایده مشکوک را مطرح کرده است که "فیس بوک یا گوگل بعدی ممکن است فقط در میانه باشد. مشرق اگر از جوانان درخشان ما حمایت کنید.» با این وجود، کارشناسان اینترنت اسلامی سال‌ها مشغول تعریف این هستند که چه چیزی مطابق با شرع است یا نیست، و وب‌سایت‌ها را به عنوان «حلال» یا «حرام» طبقه‌بندی می‌کنند. همه موتورهای جستجوی اسلامی سابق و فعلی فقط مجموعه‌ای از داده‌های نمایه‌شده ویژه هستند یا موتورهای جستجوی اصلی مانند گوگل، یاهو و بینگ با نوعی سیستم فیلتر هستند که برای جلوگیری از دسترسی کاربران به سایت‌های حرام مانند سایت‌های مربوط به برهنگی استفاده می‌شوند. دگرباشان جنسی، قمار و هر چیز دیگری که ضد اسلامی محسوب می شود.

در میان سایر موتورهای جستجوی دین محور، Jewogle، نسخه یهودی گوگل، و SeekFind.org، یک سایت مسیحی که دارای فیلترهایی برای دور نگه داشتن کاربران از محتوایی است که می تواند ایمان آنها را تضعیف یا تضعیف کند، رایج هستند.

نتایج شخصی و حباب های فیلتر

بسیاری از موتورهای جستجو، مانند گوگل و بینگ، از الگوریتم‌هایی برای حدس زدن گزینشی استفاده می‌کنند که کاربر می‌خواهد چه اطلاعاتی را بر اساس فعالیت‌های گذشته خود در سیستم ببیند. در نتیجه، وب سایت ها فقط اطلاعاتی را نشان می دهند که با علایق گذشته کاربر مطابقت دارد. این اثر "حباب فیلتر" نامیده می شود.

همه اینها به این واقعیت منجر می شود که کاربران اطلاعات بسیار کمتری دریافت می کنند که با دیدگاه آنها در تضاد است و از نظر فکری در "حباب اطلاعات" خود منزوی می شوند. بنابراین «اثر حباب» می تواند پیامدهای منفی برای شکل گیری افکار مدنی داشته باشد.

تعصب موتور جستجو

اگرچه موتورهای جستجو برای رتبه بندی وب سایت ها بر اساس ترکیبی از محبوبیت و ارتباط آنها برنامه ریزی شده اند، واقعیت این است که تحقیقات تجربی نشان می دهد که عوامل مختلف سیاسی، اقتصادی و اجتماعی بر SERP ها تأثیر می گذارند.

این سوگیری می‌تواند نتیجه مستقیم فرآیندهای اقتصادی و تجاری باشد: شرکت‌هایی که در یک موتور جستجو تبلیغ می‌کنند ممکن است در نتایج جستجوی ارگانیک در آن موتور جستجو محبوب‌تر شوند. حذف نتایج جستجویی که با قوانین محلی مطابقت ندارند نمونه ای از تأثیر فرآیندهای سیاسی است. برای مثال، گوگل برخی از وب‌سایت‌های نئونازی را در فرانسه و آلمان که انکار هولوکاست غیرقانونی است، نمایش نمی‌دهد.

سوگیری همچنین می‌تواند نتیجه فرآیندهای اجتماعی باشد، زیرا الگوریتم‌های موتورهای جستجو اغلب برای حذف دیدگاه‌های قالب‌بندی نشده به نفع نتایج «محبوب‌تر» طراحی می‌شوند. الگوریتم های نمایه سازی موتورهای جستجوی اصلی سایت های آمریکایی را در اولویت قرار می دهند.

بمب جستجو نمونه ای از تلاش برای دستکاری نتایج جستجو به دلایل سیاسی، اجتماعی یا تجاری است.

را نیز ببینید

• Qwika
• کتابخانه الکترونیکی #فهرست‌ها، کتابخانه‌ها و سیستم‌های جستجو
• نوار ابزار توسعه دهنده وب

یادداشت

ادبیات

• آشمانوف - آی. - اس. ، ایوانف آ.ا.ارتقای وب سایت در موتورهای جستجو - M. : Williams, 2007. - 304 p. - ISBN 978-5-8459-1155-1.
• بایکوف V.D.اینترنت. جستجو برای اطلاعات ارتقاء وب سایت. - سنت پترزبورگ. : BHV-Petersburg, 2000. - 288 p. - ISBN 5-8206-0095-9.
• کولیسنیچنکو دی.ان.موتورهای جستجو و تبلیغ وب سایت در اینترنت. - م.: دیالکتیک، 2007. - 272 ص. - ISBN 978-5-8459-1269-5.

• Lande D.V.جستجوی دانش در اینترنت - م.: دیالکتیک، 2005. - 272 ص. - ISBN 5-8459-0764-0.

• Lande D.V., Snarsky A. A., Bezsudnov I.V.اینترنت: مسیریابی در شبکه‌های پیچیده: مدل‌ها و الگوریتم‌ها. - M.: Librokom (Editorial URSS)، 2009. - 264 p. - ISBN 978-5-397-00497-8.

• چو اچ.، روزنتال ام.موتورهای جست‌وجو برای وب‌سایت جهانی: روش‌شناسی مطالعه مقایسه‌ای و ارزیابی (انگلیسی) // مجموعه مقالات نشست سالانه انجمن انجمن آمریکا: - 1996. - جلد. 33 . - ص 127-135.

• گاندال، نیل.پویایی رقابت در بازار موتورهای جستجوی اینترنتی - 2001. - جلد. 19. - ص 1103-1117. -

جستجوی حرفه ای در اینترنت به نرم افزارهای تخصصی و همچنین موتورهای جستجو و خدمات جستجوی تخصصی نیاز دارد.

برنامه ها

http://dr-watson.wix.com/home - برنامه ای طراحی شده برای مطالعه آرایه های اطلاعات متنی به منظور شناسایی موجودیت ها و روابط بین آنها. نتیجه کار گزارشی از شی مورد مطالعه است.

http://www.fmsasg.com/ - Sentinel Vizualizer یکی از بهترین نرم افزارهای تجسم ارتباط و ارتباط در جهان است. این شرکت محصولات خود را کاملاً روسی کرد و یک خط تلفن به زبان روسی وصل کرد.

http://www.newprosoft.com/ - "Web Content Extractor" قدرتمندترین و آسان ترین نرم افزار استخراج داده های وب سایت است. همچنین دارای یک عنکبوت وب ویژوال کارآمد است.

سایت اسپوتنیک – بسته نرم افزاری که مشابه آن در دنیا وجود ندارد که به شما امکان می دهد با استفاده از تمام موتورهای جستجوی مورد نیاز کاربر، نتایج آن را در اینترنت مرئی و نامرئی جستجو و پردازش کنید.

WebSite-Watcher - به شما اجازه می دهد تا صفحات وب، از جمله صفحات محافظت شده با رمز عبور، نظارت بر انجمن ها، فیدهای RSS، گروه های خبری، فایل های محلی را نظارت کنید. دارای سیستم فیلتر قدرتمند. مانیتورینگ خودکار است و به روشی کاربرپسند ارائه می شود. این برنامه با ویژگی های پیشرفته 50 یورو هزینه دارد. به طور مداوم به روز می شود.

http://www.scribd.com/ محبوب ترین پلتفرم در جهان است که به طور فزاینده ای در روسیه برای میزبانی انواع اسناد، کتاب ها و غیره استفاده می شود. برای دسترسی رایگان با یک موتور جستجوی بسیار راحت برای نام ها، موضوعات و غیره.

http://www.atlasti.com/ - قدرتمندترین و موثرترین ابزار موجود برای تک تک کاربران، مشاغل کوچک و حتی متوسط ​​برای تجزیه و تحلیل اطلاعات کیفی است. این برنامه چند منظوره است و بنابراین مفید است. این امکان ایجاد یک محیط اطلاعاتی واحد برای کار با متن، صفحه گسترده، فایل های صوتی و تصویری مختلف به عنوان یک کل و همچنین ابزارهایی برای تجزیه و تحلیل کیفی و تجسم را ترکیب می کند.

Ashampoo ClipFinder HD - نسبت فزاینده ای از جریان اطلاعات ویدئویی است. بر این اساس، پیشاهنگان رقابتی به ابزارهایی برای کار با این قالب نیاز دارند. یکی از این محصولات، ابزار رایگان ارائه شده است. این به شما امکان می دهد ویدیوها را با معیارهای مشخص شده در ذخیره سازی فایل های ویدیویی مانند YouTube جستجو کنید. استفاده از این برنامه آسان است، تمام نتایج جستجو را با اطلاعات دقیق، عناوین، مدت زمان، زمان آپلود ویدیو در فضای ذخیره سازی و غیره در یک صفحه نمایش می دهد. یک رابط روسی وجود دارد.

http://www.advego.ru/plagiatus/ - این برنامه توسط بهینه سازهای سئو ساخته شده است، اما به عنوان یک ابزار هوشمند اینترنتی کاملاً مناسب است. سرقت ادبی میزان منحصر به فرد بودن متن، منابع متن، درصد تطابق متن را نشان می دهد. این برنامه همچنین منحصر به فرد بودن URL مشخص شده را بررسی می کند. برنامه رایگان است.

http://neiron.ru/toolbar/ - شامل افزونه ای برای ترکیب جستجوهای Google و Yandex است و همچنین به شما امکان می دهد تجزیه و تحلیل رقابتی را بر اساس ارزیابی اثربخشی سایت ها و تبلیغات متنی انجام دهید. به عنوان یک پلاگین برای FF و GC پیاده سازی شده است.

http://web-data-extractor.net/ یک راه حل جهانی برای به دست آوردن هر گونه داده موجود در اینترنت است. تنظیم برش داده ها از هر صفحه با چند کلیک ماوس انجام می شود. فقط باید ناحیه داده ای را که می خواهید ذخیره کنید انتخاب کنید و Datacol فرمول برش این بلوک را انتخاب می کند.

CaptureSaver یک ابزار تحقیقاتی اینترنتی حرفه ای است. فقط یک برنامه کاری ضروری است که به شما امکان می دهد هر گونه اطلاعات را در اینترنت ضبط، ذخیره و صادر کنید، از جمله نه تنها صفحات وب، وبلاگ ها، بلکه اخبار RSS، ایمیل، تصاویر و موارد دیگر. این گسترده ترین عملکرد، رابط بصری و قیمت مضحک را دارد.

http://www.orbiscope.net/en/software.html - سیستم نظارت بر وب با قیمت های بیش از مقرون به صرفه.

http://www.kbcrawl.co.uk/ - نرم افزار برای کار، از جمله در "اینترنت نامرئی".

http://www.copernic.com/en/products/agent/index.html - این برنامه به شما امکان می دهد با استفاده از بیش از 90 موتور جستجو، بیش از 10 پارامتر، جستجو کنید. به شما امکان می دهد نتایج را ادغام کنید، موارد تکراری را حذف کنید، پیوندهای شکسته را مسدود کنید، مرتبط ترین نتایج را نشان دهید. در نسخه های رایگان، شخصی و حرفه ای عرضه می شود. توسط بیش از 20 میلیون کاربر استفاده شده است.

Maltego یک نرم افزار اساساً جدید است که به شما امکان می دهد ارتباط بین موضوعات، رویدادها و اشیاء را در زندگی واقعی و در اینترنت برقرار کنید.

خدمات

جدید https://hunter.io/ یک سرویس کارآمد شناسایی و تایید ایمیل است.

https://www.whatruns.com/ یک اسکنر آسان برای استفاده و در عین حال موثر برای کشف اینکه چه چیزی در یک وب سایت کار می کند و چه چیزی کار نمی کند و حفره های امنیتی چیست. همچنین به عنوان یک افزونه برای Chrom پیاده سازی شده است.

https://www.crayon.co/ یک بازار کم هزینه آمریکایی و پلتفرم اطلاعاتی رقابتی در اینترنت است.

http://www.cs.cornell.edu/~bwong/octant/ - مکان یاب میزبان.

https://iplogger.ru/ - یک سرویس ساده و راحت برای تعیین IP شخص دیگری.

http://linkurio.us/ یک محصول جدید قدرتمند برای کارکنان امنیت اقتصادی و بازرسان فساد است. آرایه های عظیمی از اطلاعات بدون ساختار را از منابع مالی پردازش و تجسم می کند.

http://www.intelsuite.com/en یک پلت فرم آنلاین انگلیسی زبان برای هوش رقابتی و نظارت است.

http://yewno.com/about/ اولین سیستم عامل برای تبدیل اطلاعات به دانش و تجسم اطلاعات بدون ساختار است. در حال حاضر از زبان های انگلیسی، فرانسوی، آلمانی، اسپانیایی و پرتغالی پشتیبانی می کند.

https://start.avalancheonline.ru/landing/?next=%2F - خدمات پیش بینی و تحلیلی آندری ماسالوویچ.

https://www.outwit.com/products/hub/ - مجموعه کاملی از برنامه های مستقل برای کار حرفه ای در وب 1.

https://github.com/search?q=user%3Acmlh+maltego - پسوندهای Maltego.

http://www.whoishostingthis.com/ - موتور جستجو برای میزبانی، آدرس های IP و غیره.

http://appfollow.ru/ - تجزیه و تحلیل برنامه ها بر اساس بررسی ها، بهینه سازی ASO، موقعیت های برتر و نتایج جستجو برای فروشگاه App، Google Play و Windows Phone Store.

http://spiraldb.com/ سرویسی است که به عنوان یک افزونه برای Chrom پیاده سازی شده است که به شما امکان می دهد اطلاعات ارزشمند زیادی در مورد هر منبع الکترونیکی به دست آورید.

https://millie.northernlight.com/dashboard.php?id=93 - یک سرویس رایگان که اطلاعات کلیدی در مورد صنایع و شرکت ها را جمع آوری و ساختار می دهد. امکان استفاده از پنل های اطلاعاتی بر اساس تحلیل متن وجود دارد.

http://byratino.info/ - جمع آوری داده های واقعی از منابع عمومی در دسترس در اینترنت.

http://www.datafox.co/ - پلت فرم CI که اطلاعات مربوط به شرکت های مورد علاقه مشتریان را جمع آوری و تجزیه و تحلیل می کند. نسخه ی نمایشی وجود دارد.

https://unwiredlabs.com/home یک برنامه تخصصی با یک API برای جستجو بر اساس موقعیت جغرافیایی هر دستگاه متصل به اینترنت است.

http://visualping.io/ سرویسی است برای نظارت بر سایت ها و اول از همه عکس ها و تصاویر موجود در آنها. حتی اگر عکس برای یک ثانیه ظاهر شود، در ایمیل مشترک خواهد بود. دارای افزونه برای گوگل کروم

http://spyonweb.com/ یک ابزار تحقیقاتی است که به شما امکان می دهد تجزیه و تحلیل عمیقی از هر منبع اینترنتی انجام دهید.

http://bigvisor.ru/ - این سرویس به شما امکان می دهد کمپین های تبلیغاتی را برای بخش های خاصی از کالاها و خدمات یا سازمان های خاص پیگیری کنید.

http://www.itsec.pro/2013/09/microsoft-word.html - دستورالعمل های Artem Ageev در مورد استفاده از برنامه های ویندوز برای نیازهای هوش رقابتی.

http://granoproject.org/ یک ابزار منبع باز برای محققانی است که شبکه های ارتباطات بین افراد و سازمان ها را در سیاست، اقتصاد، جرم و جنایت و موارد دیگر ردیابی می کنند. به شما امکان می دهد اطلاعات به دست آمده از منابع مختلف را به هم متصل، تجزیه و تحلیل و تجسم کنید و همچنین روابط قابل توجهی را نشان دهید.

http://imgops.com/ سرویسی است برای استخراج ابرداده از فایل های گرافیکی و کار با آنها.

http://sergeybelove.ru/tools/one-button-scan/ - یک اسکنر آنلاین کوچک برای بررسی حفره های امنیتی در وب سایت ها و سایر منابع.

http://isce-library.net/epi.aspx - سرویس جستجوی منابع اولیه توسط بخشی از متن به زبان انگلیسی

https://www.rivaliq.com/ ابزاری مؤثر برای انجام هوش رقابتی در بازارهای غربی، عمدتاً اروپا و آمریکا برای کالاها و خدمات است.

http://watchthatpage.com/ سرویسی است که به شما امکان می دهد به طور خودکار اطلاعات جدید را از منابع نظارت شده در اینترنت جمع آوری کنید. خدمات سرویس رایگان است.

http://falcon.io/ نوعی گزارش برای وب است. این جایگزینی برای Rapportive نیست، اما ابزارهای اضافی را فراهم می کند. برخلاف Rapportive، یک نمایه کلی از یک فرد ارائه می‌کند، گویی که از داده‌های شبکه‌های اجتماعی و ذکر شده در وب به هم چسبیده است. اینترنت. خدمات سرویس رایگان است.

https://addons.mozilla.org/en/firefox/addon/update-scanner/ یک افزونه برای فایرفاکس است. به روز رسانی صفحه وب را پیگیری می کند. برای وب سایت هایی که فید خبری (Atom یا RSS) ندارند مفید است.

http://agregator.pro/ جمع آوری پورتال های خبری و رسانه ای است. مورد استفاده بازاریابان، تحلیلگران و غیره. برای تجزیه و تحلیل جریان اخبار در مورد موضوعات خاص.

http://price.apishops.com/ یک وب سرویس خودکار برای نظارت بر قیمت ها برای گروه های محصولات انتخابی، فروشگاه های آنلاین خاص و سایر پارامترها است.

http://www.la0.ru/ یک سرویس مناسب و مرتبط برای تجزیه و تحلیل لینک ها و بک لینک ها به یک منبع اینترنتی است.

www.recordedfuture.com یک ابزار قدرتمند تجزیه و تحلیل داده ها و تجسم است که به عنوان یک سرویس آنلاین مبتنی بر محاسبات ابری پیاده سازی شده است.

http://advse.ru/ سرویسی با شعار "همه چیز درباره رقبای خود بیاموزید" است. به شما امکان می دهد تا وب سایت های رقبا را مطابق با جستجوهای جستجو دریافت کنید، کمپین های تبلیغاتی رقبا را در Google و Yandex تجزیه و تحلیل کنید.

http://spyonweb.com/ – این سرویس به شما امکان می‌دهد سایت‌هایی را با ویژگی‌های یکسان شناسایی کنید، از جمله سایت‌هایی که از شناسه‌های سرویس آمار Google Analytics، آدرس‌های IP و غیره استفاده می‌کنند.

http://www.connotate.com/solutions - خطی از محصولات برای هوش رقابتی، مدیریت جریان اطلاعات و تبدیل اطلاعات به دارایی های اطلاعاتی. این شامل پلتفرم‌های پیچیده و خدمات ارزان قیمت ساده است که به شما امکان می‌دهد به طور مؤثر همراه با فشرده‌سازی اطلاعات نظارت کنید و فقط نتایج مورد نیاز خود را دریافت کنید.

http://www.clearci.com/ یک پلتفرم هوش رقابتی برای مشاغل در هر اندازه از استارتاپ ها و شرکت های کوچک گرفته تا شرکت های Fortune 500 است. به عنوان saas طراحی شده است.

http://startingpage.com/ یک افزونه گوگل است که به شما امکان می دهد بدون اصلاح آدرس IP خود در گوگل جستجو کنید. به طور کامل از تمام ویژگی های جستجوی گوگل، از جمله روسی پشتیبانی می کند.

http://newspapermap.com/ یک سرویس منحصر به فرد است که برای یک افسر اطلاعاتی رقابتی بسیار مفید است. موقعیت جغرافیایی را با یک موتور جستجوی رسانه آنلاین متصل می کند. آن ها منطقه یا حتی شهر یا زبان مورد نظر خود را انتخاب می کنید، مکان و لیست نسخه های آنلاین روزنامه ها و مجلات را روی نقشه مشاهده می کنید، روی دکمه مربوطه کلیک کرده و مطالعه می کنید. پشتیبانی از زبان روسی، رابط کاربری بسیار کاربر پسند.

http://infostream.com.ua/ یک سیستم نظارت بر اخبار Infostream بسیار راحت است که با انتخاب درجه یک، کاملاً مقرون به صرفه برای هر کیف پول، از یکی از کلاسیک های جستجوی اینترنتی D.V. Lande متمایز است.

http://www.instapaper.com/ ابزاری بسیار ساده و موثر برای ذخیره صفحات وب ضروری است. قابل استفاده بر روی کامپیوتر، آیفون، آیپد و ...

http://screen-scraper.com/ - به شما امکان می دهد تمام اطلاعات را به طور خودکار از صفحات وب استخراج کنید، اکثر فرمت های فایل را دانلود کنید، داده ها را به صورت خودکار وارد کنید. فایل ها و صفحات دانلود شده در پایگاه های داده ذخیره می شوند و بسیاری از عملکردهای بسیار مفید دیگر را انجام می دهند. تحت تمام پلتفرم های اصلی کار می کند، دارای نسخه های کاملاً کاربردی رایگان و حرفه ای بسیار قدرتمند است.

http://www.mozenda.com/ - داشتن چندین طرح تعرفه و قابل دسترسی حتی برای مشاغل کوچک، یک وب سرویس برای نظارت بر وب چند منظوره و ارائه اطلاعات لازم برای کاربر از سایت های منتخب.

http://www.recipdonor.com/ - این سرویس به شما امکان می دهد تا به طور خودکار همه چیزهایی را که در سایت های رقبا اتفاق می افتد نظارت کنید.

http://www.spyfu.com/ - و این در صورتی است که شما رقبای خارجی دارید.

www.webground.su سرویسی برای نظارت بر Runet است که توسط متخصصان جستجوی اینترنتی ایجاد شده است که شامل کلیه ارائه دهندگان اصلی اطلاعات، اخبار و غیره می باشد و قادر است تنظیمات نظارتی فردی را برای نیازهای کاربر انجام دهد.

موتورهای جستجو

https://www .idmarch .org/ بهترین موتور جستجوی آرشیو جهانی اسناد pdf از نظر کیفیت است. در حال حاضر، بیش از 18 میلیون سند pdf نمایه شده است، از کتاب تا گزارش های سری.

http://www.marketvisual.com/ یک موتور جستجوی منحصر به فرد است که به شما امکان می دهد مالکان و مدیران ارشد را با نام کامل، نام شرکت، موقعیت یا ترکیبی از آنها جستجو کنید. نتایج جستجو نه تنها شامل اشیاء مورد نظر، بلکه روابط آنها نیز می باشد. در درجه اول برای کشورهای انگلیسی زبان طراحی شده است.

http://worldc.am/ یک موتور جستجوی عکس با دسترسی رایگان با اشاره به موقعیت جغرافیایی است.

https://app.echosec.net/ یک موتور جستجوی دامنه عمومی است که خود را پیشرفته ترین ابزار تحلیلی برای مجریان قانون و متخصصان امنیتی و اطلاعاتی معرفی می کند. به شما امکان می دهد عکس های ارسال شده در سایت ها، پلتفرم های اجتماعی و شبکه های اجتماعی مختلف را در رابطه با مختصات موقعیت جغرافیایی خاص جستجو کنید. در حال حاضر هفت منبع داده متصل هستند. تا پایان سال تعداد آنها به بیش از 450 نفر خواهد رسید. با تشکر از Dementy برای راهنمایی.

http://www.quandl.com/ یک موتور جستجو برای هفت میلیون پایگاه داده مالی، اقتصادی و اجتماعی است.

http://bitzakaz.ru/ - موتور جستجو برای مناقصات و سفارشات دولتی با ویژگی های اضافی پولی

Website-Finder - یافتن سایت هایی را که توسط گوگل ایندکس ضعیفی دارند امکان پذیر می کند. تنها محدودیت این است که برای هر کلمه کلیدی فقط 30 وب سایت را جستجو می کند. استفاده از برنامه آسان است.

http://www.dtsearch.com/ قدرتمندترین موتور جستجویی است که به شما امکان پردازش ترابایت متن را می دهد. روی دسکتاپ، وب و اینترانت کار می کند. از داده های استاتیک و پویا پشتیبانی می کند. به شما امکان می دهد در تمام برنامه های MS Office جستجو کنید. جستجو با عبارات، کلمات، برچسب ها، نمایه ها و موارد دیگر انجام می شود. تنها موتور جستجوی فدرال موجود. هم نسخه پولی و هم رایگان دارد.

http://www.strategator.com/ - اطلاعات شرکت را از ده ها هزار منبع وب جستجو، فیلتر و جمع می کند. جستجو برای ایالات متحده آمریکا، بریتانیا، کشورهای اصلی EEC. بسیار مرتبط، کاربر پسند، دارای گزینه های رایگان و پولی (14 دلار در ماه) است.

http://www.shodanhq.com/ یک موتور جستجوی غیر معمول است. بلافاصله پس از ظهور، او لقب "گوگل برای هکرها" را دریافت کرد. به دنبال صفحات نمی‌گردد، بلکه آدرس‌های IP، انواع روترها، رایانه‌ها، سرورها و ایستگاه‌های کاری واقع در یک آدرس خاص را تعیین می‌کند، زنجیره‌های سرورهای DNS را ردیابی می‌کند و به شما اجازه می‌دهد تا بسیاری از عملکردهای جالب دیگر را برای هوش رقابتی پیاده‌سازی کنید.

http://search.usa.gov/ یک موتور جستجو برای وب سایت ها و پایگاه های داده باز همه سازمان های دولتی ایالات متحده است. پایگاه های داده حاوی اطلاعات مفید عملی زیادی از جمله برای استفاده در کشور ما هستند.

http://visual.ly/ – تجسم به طور فزاینده ای برای ارائه داده ها استفاده می شود. این اولین موتور جستجوی اینفوگرافیک در وب است. در کنار موتور جستجو، این پورتال دارای ابزارهای قدرتمند بصری سازی داده ها است که به مهارت های برنامه نویسی نیاز ندارد.

http://go.mail.ru/realtime - جستجوی بحث درباره موضوعات، رویدادها، اشیا، موضوعات در زمان واقعی یا سفارشی. جستجویی که قبلاً به شدت مورد انتقاد قرار گرفته بود در Mail.ru بسیار کارآمد عمل می کند و نتایج جالب و مرتبطی را ارائه می دهد.

Zanran اولین و تنها موتور جستجوی داده است که به تازگی شروع به کار کرده است اما در حال حاضر عالی کار می کند و داده ها را از فایل های PDF، صفحات گسترده EXCEL، داده ها در صفحات HTML استخراج می کند.

http://www.ciradar.com/Competitive-Analysis.aspx یکی از بهترین موتورهای جستجوی جهان برای هوش رقابتی در وب عمیق است. تقریباً انواع فایل ها را در همه فرمت ها در مورد موضوع مورد علاقه استخراج می کند. به عنوان یک وب سرویس پیاده سازی شده است. قیمت ها بیش از حد معقول است.

http://public.ru/ - جستجوی موثر و تجزیه و تحلیل حرفه ای اطلاعات، آرشیو رسانه از سال 1990. کتابخانه رسانه آنلاین طیف گسترده ای از خدمات اطلاعاتی را ارائه می دهد: از دسترسی به آرشیو الکترونیکی نشریات رسانه ای روسی زبان و بررسی های موضوعی مطبوعاتی آماده تا نظارت فردی و مطالعات تحلیلی انحصاری بر اساس مطالب مطبوعاتی.

Cluuz یک موتور جستجوی جوان با فرصت های فراوان برای هوش رقابتی، به ویژه در اینترنت انگلیسی زبان است. نه تنها امکان یافتن، بلکه تجسم، ایجاد پیوند بین افراد، شرکت ها، دامنه ها، ایمیل، آدرس ها و غیره را نیز فراهم می کند.

www.wolframalpha.com موتور جستجوی فردا است. برای یک پرس و جو، اطلاعات آماری و واقعی موجود در شی درخواست، از جمله اطلاعات تجسمی شده را صادر می کند.

www.ist-budget.ru - جستجوی جهانی در پایگاه داده های تدارکات عمومی، مناقصات، مزایده ها و غیره.

موتور جستجو پایگاهی از اطلاعات خاص در اینترنت است. بسیاری از کاربران بر این باورند که به محض وارد کردن یک پرس و جو در یک موتور جستجو، کل اینترنت بلافاصله خزیده می شود، اما اصلاً اینطور نیست. اسکن اینترنتی به طور مداوم اتفاق می افتد، بسیاری از برنامه ها، داده های مربوط به سایت ها به یک پایگاه داده وارد می شوند، جایی که طبق معیارهای خاصی، همه سایت ها و تمام صفحات آنها در لیست ها و پایگاه های مختلف توزیع می شوند. یعنی یک نوع فایل دیتا است و جستجو نه در اینترنت بلکه در این فایل انجام می شود.

موتورهای جستجوی محبوب

Yandex بزرگترین موتور جستجو در Runet است.

علاوه بر موتور جستجو، Yandex 77 سرویس اضافی را ارائه می دهد که محبوب ترین آنها عبارتند از سرویس ایمیل Yandex، مرورگر Yandex، دیسک Yandex، اطلاعات ترافیک و آب و هوا، پول Yandex و موارد دیگر. موتور جستجو هنگام ارائه نتایج جستجو، موقعیت مکانی شما را در نظر می گیرد. همچنین، برنامه جستجو به طور مداوم در حال ارتقا است تا نتایج صحیح تری ارائه دهد، که برای بیشترین محتوای اطلاعاتی برای کاربر طراحی شده است.

گوگل محبوب ترین موتور جستجو در جهان است.

علاوه بر موتور جستجو، گوگل بسیاری از خدمات، نرم افزار و سخت افزار اضافی از جمله سرویس پست الکترونیکی، مرورگر گوگل کروم، بزرگترین کتابخانه ویدئویی یوتیوب و بسیاری از پروژه های دیگر را ارائه می دهد. گوگل با اطمینان پروژه های زیادی را خریداری می کند که سود زیادی به همراه دارند. بیشتر سرویس ها برای یک کاربر مستقیم هدف قرار نمی گیرند، بلکه برای کسب درآمد از اینترنت هستند و با تمرکز بر منافع کاربران اروپایی و آمریکایی یکپارچه شده اند.

Mail موتور جستجویی است که عمدتاً به دلیل خدمات پست الکترونیکی محبوب است.

خدمات اضافی زیادی وجود دارد که کلید آنها ایمیل است، در حال حاضر Mail مالک شبکه اجتماعی Odnoklassniki، شبکه My World خود، سرویس Money-mail، بسیاری از بازی های آنلاین، سه مرورگر تقریباً یکسان با نام های مختلف است. همه اپلیکیشن ها و خدمات دارای محتوای تبلیغاتی زیادی هستند. شبکه اجتماعی "VKonatkte" انتقال مستقیم به خدمات ایمیل را مسدود می کند و با تعداد زیادی ویروس بحث می کند.

ویکیپدیا.

ویکی پدیا یک سیستم مرجع قابل جستجو است.

یک موتور جستجوی غیرانتفاعی که با کمک های مالی خصوصی وجود دارد، بنابراین صفحات را با تبلیغات پر نمی کند. پروژه ای چند زبانه که هدف آن ایجاد یک دایره المعارف مرجع کامل به تمام زبان های جهان است. هیچ نویسنده خاصی ندارد، توسط داوطلبانی از سراسر جهان تکمیل و مدیریت می شود. هر کاربر می تواند هم مقاله بنویسد و هم ویرایش کند.

صفحه رسمی www.wikipedia.org است.

یوتیوب بزرگترین کتابخانه ویدیویی است.

میزبانی ویدیو با عناصر یک شبکه اجتماعی، که در آن هر کاربر می تواند یک ویدیو اضافه کند. از لحظه ای که آنها توسط Google Ink خریداری شدند، ثبت نام جداگانه برای YouTube لازم نیست، کافی است در سرویس ایمیل Google ثبت نام کنید.

صفحه رسمی youtube.com است.

یاهو دومین موتور جستجوی مهم جهان است.

خدمات دیگری نیز وجود دارد که معروف ترین آنها ایمیل یاهو است. به عنوان بخشی از بهبود کیفیت موتور جستجو، یاهو داده های کاربران و درخواست های آنها را به مایکروسافت منتقل می کند. از این داده ها، ایده ای از علایق کاربران و همچنین بازاری برای محتوای تبلیغاتی شکل می گیرد. موتور جستجوی یاهو، و همچنین، درگیر جذب شرکت های دیگر است، به عنوان مثال، یاهو مالک سرویس جستجوی Altavista و سایت تجارت الکترونیک علی بابا است.

صفحه رسمی www.yahoo.com است.

WDL یک کتابخانه دیجیتال است.

این کتابخانه کتاب های با ارزش فرهنگی را به صورت دیجیتال جمع آوری می کند. هدف اصلی افزایش سطح محتوای فرهنگی اینترنت است. دسترسی به کتابخانه رایگان است.

صفحه رسمی www.wdl.org/ru/ است.

بینگ یک موتور جستجو از مایکروسافت است.

وب سایت رسمی www.baidu.com است.

موتورهای جستجو در روسیه

Rambler یک موتور جستجوی "طرفدار آمریکا" است.

این در ابتدا به عنوان یک پورتال اینترنتی رسانه ای ایجاد شد. مانند بسیاری از موتورهای جستجوی دیگر، دارای خدمات جستجوی تصویر، فایل های ویدئویی، نقشه ها، پیش بینی آب و هوا، بخش اخبار و بسیاری موارد دیگر است. ناشران همچنین یک مرورگر رایگان Rambler-Nicrome را ارائه می دهند.

صفحه رسمی www.rambler.ru است.

Nigma یک موتور جستجوی هوشمند است.

یک موتور جستجوی راحت تر به دلیل وجود فیلترها و تنظیمات زیاد. رابط به شما امکان می دهد مقادیر مشابه پیشنهادی را در جستجو بگنجانید یا حذف کنید تا نتایج بهتری به دست آورید. همچنین، هنگام دریافت نتیجه جستجو، به شما امکان می دهد از اطلاعات سایر موتورهای جستجوی اصلی استفاده کنید.

صفحه رسمی www.nigma.ru است.

پورت - کاتالوگ آنلاین کالا.

در گذشته موتور جستجو اما پس از اینکه پیشرفت ها و نوآوری ها متوقف شد، به سرعت جایگاه خود را از دست داد و . در حال حاضر، Aport یک پلت فرم تجاری است که در آن کالاهای بیش از 1500 شرکت ارائه می شود.

صفحه رسمی www.aport.ru است.

اسپوتنیک یک موتور جستجوی ملی و پورتال اینترنتی است.

ایجاد شده توسط Rostelecom. در حال حاضر در مرحله آزمایش است.

وب سایت رسمی www.sputnik.ru است.

متابوت یک موتور جستجوی در حال توسعه است.

وظایف متابوت ایجاد یک موتور جستجو برای همه موتورهای جستجوی دیگر، ایجاد موقعیت هایی برای صدور نتایج با در نظر گرفتن داده های کل لیست موتورهای جستجو است. یعنی یک موتور جستجو برای موتورهای جستجو است.

صفحه رسمی www.metabot.ru است.

موتور جستجو به حالت تعلیق درآمده است.

صفحه رسمی www.turtle.ru است.

KM - چند پورتال.

در ابتدا، این سایت یک پورتال چندگانه بود و متعاقباً یک موتور جستجو معرفی شد. جستجو را می توان هم در داخل سایت و هم در تمام سایت های Runet ردیابی شده انجام داد.

صفحه رسمی www.km.ru است.

Gogo - کار نمی کند، به موتور جستجو هدایت می شود.

صفحه رسمی www.gogo.ru است.

مولتی پورتال روسی که خیلی محبوب نیست باید بهبود یابد. موتور جستجو شامل اخبار، تلویزیون، بازی، نقشه است.

صفحه رسمی www.zoneru.org است.

موتور جستجو کار نمی کند، توسعه دهندگان استفاده از موتور جستجو را پیشنهاد می کنند.

صفحه رسمی www.au.ru است.

موتورهای جستجو (PS) برای مدت طولانی جزء ضروری اینترنت بوده اند. امروزه آنها مکانیسم های عظیم و پیچیده ای هستند که نه تنها ابزاری برای یافتن هرگونه اطلاعات ضروری هستند، بلکه زمینه های بسیار هیجان انگیزی برای تجارت نیز دارند.

بسیاری از کاربران جستجو هرگز به اصول کار خود، نحوه پردازش درخواست‌های کاربر، نحوه ساخت و عملکرد این سیستم‌ها فکر نکرده‌اند. این مطالب به افرادی که مشغول بهینه سازی هستند و درک دستگاه و عملکردهای اصلی موتورهای جستجو کمک می کند.

توابع و مفهوم PS

سیستم جستجو- این یک مجموعه سخت افزاری-نرم افزاری است که برای پیاده سازی عملکرد جستجو در اینترنت و پاسخگویی به درخواست کاربر که معمولاً در قالب یک عبارت متنی (یا بهتر است بگوییم عبارت جستجو) تنظیم می شود، با صدور یک لینک طراحی شده است. فهرست منابع اطلاعاتی، بر اساس ارتباط انجام شده است. رایج ترین و بزرگترین موتورهای جستجو: گوگل، بینگ، یاهو، بایدو. در Runet - Yandex، Mail.Ru، Rambler.

بیایید با در نظر گرفتن سیستم Yandex به عنوان مثال، معنای جستجوی خود را دقیق تر بررسی کنیم.

درخواست باید توسط کاربر مطابق با موضوع جستجوی وی، تا حد امکان ساده و مختصر فرموله شود. به عنوان مثال، ما می خواهیم اطلاعاتی را در این موتور جستجو پیدا کنیم: "چگونه یک ماشین برای خود انتخاب کنید." برای انجام این کار، صفحه اصلی را باز کنید و یک کوئری برای جستجوی "چگونه ماشین انتخاب کنیم" وارد کنید. سپس عملکردهای ما به دنبال کردن پیوندهای ارائه شده به منابع اطلاعاتی در شبکه کاهش می یابد.

اما حتی با این روش نیز ممکن است اطلاعات مورد نیاز خود را به دست نیاوریم. اگر چنین نتیجه منفی به دست آوردیم، فقط باید پرس و جو خود را دوباره فرمول بندی کنیم، یا واقعاً هیچ اطلاعات مفیدی در مورد این نوع پرس و جو در پایگاه جستجو وجود ندارد (این با پارامترهای پرس و جو باریک داده شده، مانند: به عنوان مثال، "نحوه انتخاب یک ماشین در آنادیر").

اساسی ترین وظیفه هر موتور جستجو ارائه دقیقاً نوع اطلاعات مورد نیاز مردم است. و عادت دادن کاربران به ایجاد نوع "صحیح" پرس و جو برای موتورهای جستجو، یعنی عباراتی که با اصول کار آنها مطابقت دارد، عملا غیرممکن است.

به همین دلیل است که توسعه دهندگان موتورهای جستجو اصول و الگوریتم هایی را برای کار خود ایجاد می کنند که به کاربران امکان می دهد اطلاعات مورد علاقه خود را پیدا کنند. این بدان معنی است که سیستم باید به همان روشی که یک فرد در هنگام جستجوی اطلاعات لازم در اینترنت فکر می کند "فکر کند".

هنگامی که او درخواست خود را در یک موتور جستجو وارد می کند، می خواهد آنچه را که می خواهد به راحتی و سریع ترین زمان ممکن پیدا کند. پس از دریافت نتیجه، کاربر ارزیابی خود را از سیستم انجام می دهد که توسط چندین معیار هدایت می شود. آیا او موفق شد اطلاعات مورد نیاز خود را پیدا کند؟ اگر نه، چند بار باید متن پرس و جو را دوباره قالب بندی می کرد تا او را پیدا کند؟ اطلاعات دریافتی چقدر به روز بوده است؟ موتور جستجو چقدر سریع درخواست او را پردازش کرد؟ نتایج جستجو چقدر راحت ارائه شد؟ نتیجه مطلوب اول بود یا در رده سی ام بود؟ چه مقدار «آشغال» (اطلاعات غیر ضروری) همراه با اطلاعات مفید پیدا شد؟ آیا در یک هفته یا یک ماه دیگر اطلاعات مربوط به او در هنگام استفاده از PS وجود خواهد داشت؟

توسعه دهندگان جستجو برای دستیابی به پاسخ های مناسب برای چنین سؤالاتی، دائماً اصول رتبه بندی و الگوریتم های آن را بهبود می بخشند، ویژگی ها و عملکردهای جدیدی را به آنها اضافه می کنند و به هر طریقی سعی می کنند سیستم را سریعتر کنند.

ویژگی های اصلی موتورهای جستجو

بیایید ویژگی های اصلی جستجو را مشخص کنیم:

کامل بودن.

کامل بودن یکی از مهمترین ویژگی های جستجو است، این نسبت تعداد اسناد اطلاعاتی یافت شده بر اساس درخواست به تعداد کل آنها در اینترنت مربوط به این درخواست است. به عنوان مثال، در شبکه 100 صفحه با عبارت "چگونه یک ماشین انتخاب کنیم" وجود دارد و تنها 60 صفحه از کل تعداد برای همان پرس و جو انتخاب شده است، در این صورت فراخوان جستجو 0.6 خواهد بود. واضح است که هرچه خود جستجو کاملتر باشد، احتمال اینکه کاربر دقیقاً سند مورد نیاز خود را پیدا کند، البته اگر اصلاً وجود داشته باشد، بیشتر می شود.

دقت.

یکی دیگر از ویژگی های اصلی یک موتور جستجو، دقت است. میزان انطباق با درخواست کاربر از صفحات یافت شده در وب را تعیین می کند. به عنوان مثال، اگر صدها سند برای عبارت کلیدی "چگونه یک ماشین انتخاب کنیم" وجود دارد، نیمی از آنها حاوی این عبارت هستند و بقیه به سادگی چنین کلماتی دارند (نحوه انتخاب صحیح رادیو ماشین و نصب آن در ماشین) ، سپس دقت جستجو برابر با 50/100 = 0.5 است.

هرچه جستجو دقیق تر باشد، کاربر زودتر اطلاعات مورد نیاز خود را پیدا می کند، "آشغال" های مختلف کمتری در بین نتایج یافت می شود، اسناد کمتر یافت شده با معنای درخواست مطابقت نخواهد داشت.

ارتباط.

این یک جزء مهم از جستجو است که با زمان سپری شده از لحظه انتشار اطلاعات در اینترنت تا ورود به پایگاه داده فهرست موتور جستجو مشخص می شود.

به عنوان مثال، روز پس از انتشار iPad جدید، بسیاری از کاربران به جستجو با انواع جستجوهای مربوطه روی آوردند. در بیشتر موارد، اطلاعات مربوط به این خبر از قبل در جستجو موجود است، اگرچه زمان بسیار کمی از ظهور آن گذشته است. دلیل این امر این است که موتورهای جستجوی بزرگ دارای یک "پایگاه داده سریع" هستند که چندین بار در روز به روز می شود.

سرعت جستجو

چنین عملکردی به عنوان سرعت جستجو ارتباط نزدیکی با به اصطلاح "تحمل بار" دارد. در هر ثانیه، تعداد زیادی از مردم به جستجو روی می آورند، چنین حجم کاری مستلزم کاهش قابل توجهی در زمان پردازش یک درخواست است. در اینجا منافع موتور جستجو و کاربر کاملاً منطبق است: بازدید کننده می خواهد در سریع ترین زمان ممکن به نتیجه برسد و موتور جستجو باید درخواست او را در سریع ترین زمان ممکن پردازش کند تا روند پردازش درخواست های بعدی را کند نکند.

دید.

ارائه بصری نتایج یک عنصر ضروری برای راحتی جستجو است. برای بسیاری از پرس و جوها، موتور جستجو هزاران و در برخی موارد میلیون ها سند مختلف را پیدا می کند. به دلیل مبهم بودن جمع‌آوری عبارات کلیدی برای جستجو یا نادرست بودن آن، حتی اولین نتایج پرس و جو همیشه فقط اطلاعات لازم را ندارند.

این بدان معنی است که یک فرد اغلب باید جستجوی خود را در بین نتایج ارائه شده انجام دهد. اجزای مختلفی از صفحات صدور PS به شما کمک می کند تا در نتایج جستجو پیمایش کنید.

تاریخچه موتورهای جستجو

هنگامی که اینترنت برای اولین بار شروع به توسعه کرد، تعداد کاربران معمولی آن کم بود و میزان دسترسی به اطلاعات نسبتاً کم بود. اساساً فقط متخصصان حوزه های تحقیقاتی به این شبکه دسترسی داشتند. در آن زمان، وظیفه یافتن اطلاعات به اندازه کنونی مرتبط نبود.

یکی از اولین روش های سازماندهی دسترسی گسترده به منابع اطلاعاتی ایجاد کاتالوگ از سایت ها بود و پیوندها به آنها شروع به گروه بندی بر اساس موضوع کردند. منبع Yahoo.com که در بهار 1994 افتتاح شد، به چنین پروژه ای تبدیل شد. پس از آن، زمانی که تعداد سایت های موجود در فهرست یاهو به میزان قابل توجهی افزایش یافت، گزینه جستجوی اطلاعات لازم در فهرست اضافه شد. این هنوز یک موتور جستجوی تمام عیار نبود، زیرا دامنه چنین جستجویی فقط به سایت های موجود در این فهرست محدود بود و نه مطلقاً به تمام منابع موجود در اینترنت. دایرکتوری های پیوند در گذشته بسیار مورد استفاده قرار می گرفتند، اما در حال حاضر تقریباً به طور کامل محبوبیت خود را از دست داده اند.

به هر حال، حتی کاتالوگ های عظیم امروزی اطلاعاتی در مورد بخش کوچکی از سایت های موجود در اینترنت دارند. مشهورترین و بزرگترین فهرست جهان دارای اطلاعات پنج میلیون سایت است، در حالی که پایگاه داده گوگل حاوی اطلاعات بیش از 25 میلیارد صفحه است.

اولین موتور جستجوی واقعی WebCrawler بود که در سال 1994 ظاهر شد.

سال بعد AltaVista و Lycos ظاهر شدند. علاوه بر این، اولین نفر برای مدت طولانی رهبر جستجوی اطلاعات بود.

در سال 1997، سرگئی برین به همراه لری پیج، موتور جستجوی گوگل را به عنوان یک پروژه تحقیقاتی در دانشگاه استنفورد ایجاد کردند. امروزه گوگل، محبوب ترین و محبوب ترین موتور جستجو در جهان است.

در سپتامبر 1997، Yandex PS (به طور رسمی) معرفی شد، که در حال حاضر محبوب ترین موتور جستجو در Runet است.

مطابق با سپتامبر 2015سهام موتورهای جستجو در جهان به شرح زیر است:

• گوگل - 69.24%؛
• بینگ - 12.26٪؛
• یاهو - 9.19%؛
• بایدو - 6.48٪;
• AOL - 1.11%؛
• بپرس - 0.23%؛
• هیجان انگیز - 0.00٪

مطابق با دسامبر 2016، سهام موتورهای جستجو در Runet:

• Yandex - 48.40٪
• Google - 45.10٪
• Search.Mail.ru - 5.70%
• Rambler - 0.40٪
• بینگ - 0.30٪
• یاهو - 0.10٪

اصول موتور جستجو

در روسیه، موتور جستجوی اصلی Yandex، سپس Google و سپس [email protected] است. همه موتورهای جستجوی بزرگ ساختار خاص خود را دارند که کاملاً با سایر موتورهای جستجو متفاوت است. اما هنوز هم می توان عناصر اصلی مشترک در همه موتورهای جستجو را مشخص کرد.

ماژول نمایه سازی

این جزء از سه ربات تشکیل شده است:

عنکبوت(به انگلیسی spider) - برنامه ای که برای دانلود صفحات وب طراحی شده است. عنکبوت یک صفحه خاص را دانلود می کند و در عین حال همه لینک ها را از آن استخراج می کند. کد html تقریبا از هر صفحه دانلود می شود. برای این کار ربات ها از پروتکل های HTTP استفاده می کنند.

"عنکبوت" به شرح زیر عمل می کند. ربات یک درخواست به سرور «get/path/document» و سایر دستورات درخواست HTTP ارسال می کند. در پاسخ، برنامه ربات یک جریان متنی دریافت می کند که حاوی اطلاعاتی از نوع سرویس و البته خود سند است.

• آدرس صفحه دانلود شده؛
• تاریخ دانلود صفحه؛
• هدر پاسخ سرور http;
• کد html، "بدنه" صفحه.

خزنده(عنکبوت "مسافر"). این برنامه به طور خودکار به تمام لینک هایی که در صفحه یافت می شود می رود و همچنین آنها را هایلایت می کند. وظیفه آن این است که بر اساس این پیوندها یا بر اساس لیست مشخصی از آدرس ها، تعیین کند که عنکبوت در آینده باید به کجا برود.

نمایه ساز(ربات نمایه سازی) برنامه ای است که صفحات دانلود شده توسط عنکبوت ها را تجزیه و تحلیل می کند.

نمایه ساز صفحه را به طور کامل به عناصر تشکیل دهنده آن تجزیه می کند و آنها را با استفاده از انواع الگوریتم های مورفولوژیکی و واژگانی خود تجزیه و تحلیل می کند.

تجزیه و تحلیل در قسمت های مختلف صفحه مانند سرفصل ها، متن، لینک ها، ویژگی های سبک و ساختاری، تگ های html و غیره انجام می شود.

بنابراین، ماژول نمایه سازی امکان دنبال کردن پیوندهای تعداد معینی از منابع، صفحات دانلود، استخراج حجم پیوند به صفحات جدید از اسناد دریافتی و تجزیه و تحلیل دقیق آنها را فراهم می کند.

پایگاه داده

پایگاه داده(یا فهرست موتور جستجو) - مجموعه ذخیره سازی داده ها، آرایه ای از اطلاعات که در آن پارامترهای هر یک پردازش شده توسط ماژول نمایه سازی و سند دانلود شده به روشی خاص ذخیره می شوند.

سرور جستجو

این مهمترین عنصر کل سیستم است، زیرا سرعت و البته کیفیت جستجو به طور مستقیم به الگوریتم های زیربنایی عملکرد آن بستگی دارد.

سرور جستجو به صورت زیر عمل می کند:

• درخواستی که از کاربر می آید در معرض تجزیه و تحلیل مورفولوژیکی قرار می گیرد. محیط اطلاعاتی هر سند موجود در پایگاه داده ایجاد می شود (در ادامه به عنوان یک قطعه نمایش داده می شود، یعنی یک قسمت اطلاعاتی از متن مربوط به این درخواست).
• داده های دریافتی به عنوان پارامترهای ورودی به یک ماژول رتبه بندی تخصصی ارسال می شود. آنها برای همه اسناد پردازش می شوند، و در نتیجه، برای هر یک از این اسناد رتبه بندی خود محاسبه می شود، که ارتباط چنین سندی را با درخواست کاربر و سایر مؤلفه ها مشخص می کند.
• بسته به شرایط تعیین شده توسط کاربر، این رتبه بندی ممکن است توسط موارد اضافی تنظیم شود.
• سپس خود قطعه تولید می شود، یعنی. برای هر سند یافت شده، عنوان، حاشیه نویسی که به بهترین وجه با پرس و جو مطابقت دارد، و پیوندی به این سند از جدول مربوطه استخراج می شود، در حالی که فرم های کلمه یافت شده و کلمات برجسته می شوند.
• نتایج جستجوی دریافتی در قالب صفحه ای که نتایج جستجو (SERP) در آن صادر می شود به شخصی که آن را انجام داده است منتقل می شود.

همه این عناصر از نزدیک به هم مرتبط هستند و عمل می کنند، تعامل دارند، مکانیزم متمایز، اما نسبتاً پیچیده را برای عملکرد PS تشکیل می دهند، که به هزینه های هنگفت منابع نیاز دارد.

کتاب جدیدی با عنوان «بازاریابی محتوای رسانه‌های اجتماعی: چگونه وارد ذهن مشترکان شویم و آنها را عاشق برند خود کنیم» منتشر کرده‌ایم.

اشتراک در

اگر واقعاً چیزی را درک می کنید، پس به طور کامل. و اگر در وبلاگ ما مشترک شده اید، احتمالاً می خواهید یک متخصص باحال شوید یا می خواهید در مورد جستجوی وب بیشتر بدانید. برای رسیدن به آنچه می خواهید، تراشه ها و هک های زندگی کافی نیستند. شما باید افق دید خود را گسترش دهید.

موتور جستجو یک برنامه بزرگ و پیچیده است که برای جستجوی اطلاعات در اینترنت طراحی شده است.

آیا تا به حال به این فکر کرده اید که آنچه ما هر روز استفاده می کنیم چگونه ظاهر شد، چه چیزی در اینترنت وجود دارد و چرا همه استودیوها فقط با و کار می کنند؟ چنین سوالاتی را پشت سر هم قرار ندهید. فقط 10 دقیقه و اینجا موضوع دیگری برای گفتگو است که می توانید به راحتی از آن پشتیبانی کنید.

موتورهای جستجو چگونه به وجود آمدند

خیلی وقت پیش، وقتی اینترنت جوان و سبز بود...

کاربرانی که باید گفت خیلی کم بودند، بوکمارک های خود را به اندازه کافی داشتند. اما این مدت زیادی طول نکشید: به زودی برای شخص دشوار شد که در مدت زمان کوتاهی در انواع مختلفی که در شبکه ظاهر می شد حرکت کند.

و به منظور ساده سازی هرج و مرج، یاهو، DMOZ و سایر دایرکتوری ها اختراع شدند (بعضی از آنها هنوز وجود دارند) که در آن نویسندگان سایت های در حال ظهور را به دسته ها اضافه و مرتب کردند. برای مدتی زندگی راحت تر شد.

اما اینترنت به گسترش خود ادامه داد و به زودی اندازه کاتالوگ ها به چیزی غول پیکر تبدیل شد. سپس توسعه دهندگان ابتدا به جستجو در دایرکتوری ها فکر کردند و تنها پس از آن به فکر ایجاد یک سیستم خودکار برای فهرست کردن هر چیزی که در اینترنت وجود دارد افتادند تا کار همه کاربران ساده شود.

اینگونه بود که اولین روبات های جستجو ظاهر شدند.

اولین موتور جستجو چه بود؟

اولین موتور جستجو استواندکس (خب، باید با Yandex اشتباه گرفته شود!).این و سایر خدمات اولیه، البته، بسیار عالی بودند. برای یک جستجوی جستجو، آنها چیزی کاملاً متفاوت از آنچه که اکنون به دیدن آن عادت کرده ایم، ارائه کردند، یعنی. نه بیشترمربوط صفحات، و همه چیز در یک ردیف، بدون توجه به رتبه بندی. در 1 ژانویه 2012، Wandex دوباره راه اندازی شد.

بنابراین اولین PS کار خود را آغاز کرد.موتورهای جستجو چیست؟در اینترنت مدرن؟ من یک لیست پیوست می کنم.

موتورهای جستجو چیست: پادشاهان میدان رقص

با کمال تعجب، کسانی هستند که بحث می کنندبهترین موتور جستجو چیست. من این کار را انجام نمی دهم، صرفاً به این دلیل که آنها متفاوت هستند و به طور کلی همه چیز به هدف و نوع کاربری شما بستگی دارد.

یاندکس

این موتور جستجو محبوب ترین در کشور ما است. LiveInternet ادعا می کندیاندکس 50.9٪ از آن استفاده می کنند، در حالی که حساب Google 40.6٪ است (داده های ژوئن 2015).

چنین افسانه ای وجود دارد که درخواست های تجاری در Yandex چندین برابر بیشتر از نزدیکترین رقیب است. چند بار با این فکر برخورد کردم که به دلیل منطقه‌ای بودن که در طول سال‌ها بهبود یافته است، نوع مخاطب یا تعداد آن ممکن است متفاوت باشد - این دلیل برتری Yandex در جستجوهای تجاری است. پس اینو باور نکن دروغ.

گوگل

موتور جستجوی گوگل در همه جا به جز روسیه محبوب ترین است :) برای جهات مختلف امکانات زیادی دارد. به طور کلی، رهبر جهانی بلامنازع در میان روبات های جستجوگر.

خود گوگل تقریباً همراه با Yandex ظاهر شد و تنها در سال 2004 به روسیه آمد، زمانی که Yandex موقعیت خود را تقویت کرد.

روند جستجو در گوگل برای بسیاری از زمینیان به یک نام آشنا تبدیل شده است. اما وقتی به مادرم می‌گویم «گوگل»، او همچنان به جستجوی اطلاعات مورد نیازش در Yandex می‌پردازد :) او اصلاً نمی‌داند.چه موتورهای جستجو در اینترنت وجود دارد.

موتورهای جستجو چیست: لیستی از PS کمتر شناخته شده

اکثر کاربران اینترنت حتی از این موضوع آگاه نیستندچه موتورهای جستجو غیر از Yandex هستندو گوگل بنابراین آنها اینجا هستند؛) ملاقات!

به سختی می توان سهم جستجوی این موتور جستجو را بزرگ نامید، اما ارقام به آرامی در حال رشد هستند. اگرچه نباید این واقعیت را از دست بدهید که این اعداد مستقیماً به نامه Odnoklassniki، Mail.ru و سایر موارد از Mail Corporation بستگی دارد.

این یک مدرسه قدیمی واقعی است. فقط تصور کنید: زمانی که این موتور جستجو ظاهر شد، برخی از SEO ها تازه راه رفتن را یاد می گرفتند. به طور کلی، رامبلر این شانس را داشت که توپ را کنترل کند، اما به دلایلی این اتفاق نیفتاد. در حال حاضر، این دیگر یک موتور جستجو نیست، بلکه نوعی مجموعه خدمات است که از موتور Yandex به عنوان موتور جستجو استفاده می کند - به عنوان مثال، یکی وجود دارد. به هر حال، حضور بسیار مناسب است: روزانه کمی بیش از یک میلیون کاربر از صفحه اصلی Rambler بازدید می کنند.

همچنین Rambler یک نسخه داردرامبلر لایت (همه چیز همینه فقط بدون هوا و اخبار و تبلیغات و ...) و XRambler ، که 15 موتور جستجو را به طور همزمان ترکیب می کند.

چقدر اسم این موتور جستجو عوض شده! به مدت 8 سال، او موفق شد نام MSN Search، سپس Windows Live Search را بدنام کند، سپس نام قبلی را به Live Search کوتاه کرد و اکنون به نام Bing رسیده است. بسیاری استدلال می کنند که کیفیت جستجو به استاندارد تعیین شده گوگل نزدیک است.

اکنون به سختی می توان یاهو را موتور جستجو نامید، زیرا طبق قرارداد، تمام سایت های متعلق به یاهو از موتور جستجوی بینگ استفاده می کنند. آخرین اخبار در مورد این توافق را می توانید درموتورهای جستجو.

وبالتا

مطمئناً این به اصطلاح موتور جستجو برای شما آشناست. آیا باید آن را مانند یک تیک از مرورگر خود انتخاب می کردید؟مدت هاست که همه از کارهای تاریک این موتور جستجو آگاه بوده اند. افسوس که هیچ کس به این PS علاقه ندارد. کاربران فقط به دنبال مقالاتی در مورد نحوه حذف این زباله ها از رایانه خود هستند.

نیگما

این موتور جستجو بسیار متفاوت از بقیه است. و اگر کسی را با پایه شاخص سایر موتورهای جستجو شگفت زده نکنید، توانایی حل مسائل در شیمی و ریاضیات Nigma را از سایر PS ها متمایز می کند. Nigma همچنین جستجوی موسیقی، کتاب، بازی و تورنت را ارائه می دهد.

این موتور جستجو که به دستور دولت روسیه ایجاد شده است، اولین موتور جستجوی دولتی جهان محسوب می شود. یک جستجوی پزشکی جداگانه (جستجوی داروخانه ها، داروها و مقالات در مورد بیماری ها) ارائه می دهد. یک موضوع بسیار راحت با "کشور راحت"، که در آن تمام توصیه هایی که به یک شهروند کمک می کند در یک مکان جمع آوری شده است. به عنوان مثال، بخش "اسناد" در اینجا قرار دارد.

این PS بسیار متفاوت از یکی استموتورهای جستجوی اینترنتی چیست. DuckDuckGo - موتور جستجو منبع باز با سیاست جالب عدم استفاده از "حباب فیلتر". برای کسانی که نمی دانند: "حباب فیلتر" زمانی است که یک موتور جستجو در نتایج جستجو فقط نتایج جستجویی را نشان می دهد که (این PS) برای یک کاربر خاص ضروری می داند. در عین حال، نظر خود کاربر برای کسی جالب نیست. DuckDuckGo اطمینان حاصل می کند که با استفاده از موتور جستجوی خود اطمینان حاصل می کنید که تمام اطلاعاتی را که موتور جستجو دارد به دست می آورید.

"DuckDuckGo" در حال افزایش است. قبلاً در تابستان امسال (2015)، سازنده PS سه میلیارد درخواست سالانه را گزارش کرد.

در حین نوشتن این مقاله چند سوال داشتم. در چنین مواردی، من به استرداد متکی نیستم، بله، و چرا، اگر شخصی در کنار من نشسته باشد که همه چیز را در مورد اینترنت می داند؟ مینی مصاحبه با ایگور ایوانف.

ایگور ایوانف

رئیس استودیو SEMANTICA

اگر سایت من در گوگل و یاندکس باشد، آیا سایت من در بالای نتایج جستجو در سایر موتورهای جستجوی کوچکتر قرار می گیرد؟

احتمال وقوع این اتفاق بسیار زیاد است. Yandex و Google در حال توسعه الگوریتم های خود در جهت درست هستند و سایر موتورهای جستجو از آنها الگوبرداری می کنند. موردی وجود داشت که گوگل متوجه شد که موتور جستجوی بینگ نه تنها الگوریتم های آنها را کپی می کند، بلکه نتایج جستجو را نیز کپی می کند.

چرا احتمال و عدم قطعیت کامل؟ زیرا سایر موتورهای جستجو زمانی برای تنظیم الگوریتم های رتبه بندی خود با استانداردهای تعیین شده توسط رقبای موفق تر خود ندارند.

آیا ارزش پیشرفت در Sputnik، Mile و سایر موتورهای جستجوی "ما" را دارد؟ کدام موتور جستجو بهتر است؟