Яндекс.Пошук

В цілому «Яндекс» індексує наступні типи файлів: html, pdf, rtf, swf, doc, xls, ppt, docx, odt, odp, ods, odg, xlsx, pptx[5].

В «Яндексі» працюють 2 скануючих робота — «основний» і «швидкий». Перший відповідає за інтернет в цілому, другий індексує сайти з часто оновлюваною інформацією (новинні сайти та інформаційні агентства). У 2010 році «швидкий» робот отримав нову технологію під назвою «Orange», розроблену спільно каліфорнійським і московським підрозділами «Яндекса»[5].

З 2009 року «Яндекс» підтримує технологію Sitemaps[5].

Інтерфейс «Яндекса» має досить складною мовою запитів, що дозволяє обмежити область пошуку окремими доменами, мовами, типами файлів і т. д[6].

«Яндекс» автоматично, поряд з оригінальною "точною формою запиту, шукає різні варіації і формулювання[7].

Пошук «Яндекса» враховує морфологію мови, тому незалежно від форми слова в пошуковому запиті видача буде проводитися по всіх формах слів. Якщо морфологічний аналіз небажаний, можна перед словом поставити знак оклику (!) — пошук у цьому випадку покаже тільки конкретну форму слова[2]. Крім того, при пошуковому запиті практично не враховуються так звані стоп-слова, тобто прийменники, розділові знаки, займенники і т. д., зважаючи на їх велике розповсюдження[2].

Як правило, автоматично розкриваються абревіатури, діє транслітерація (наприклад, «Рено — Renault»), виправляється орфографія[7]. Також проводиться пошук по синонімах (мобільний — стільниковий) і різних формах слів (Воронеж — воронезький). Розширення або ні вихідного користувальницького запиту залежить від контексту. Розширення не відбувається при наборі вузькоспеціальних термінів (за запитом «монтерска кішка» не буде додано слово «котячий»), власних назв, назв компаній (наприклад, ВАТ «Бегемот» — ВАТ «Гіпопотам»), при додаванні слова «ціна», в точних цитатах (це запити, які виділяються машинописними лапками)[7].

Станом на 2013 рік «Яндекс» є найбезпечнішою пошуковою машиною на планеті і третім за ступенем захищеності серед усіх веб-ресурсів[8].

Перевірка веб-сторінок і попередження користувачів з'явилися на «Яндексі» у 2009 році: з тих пір на сторінці результатів пошуку поряд з небезпечним сайтом з'являється позначка «Цей сайт може загрожувати безпеці вашого комп'ютера або мобільного пристрою»[9]. Для виявлення загроз використовуються відразу дві технології. Перша куплена у американського антивіруса «Sophos» і заснована на сигнатурному підході: тобто при зверненні до веб-сторінки антивірусна система звертається до бази даних вже відомих вірусів і шкідливих програм[10]. Такий підхід відрізняється високою швидкістю, але практично безсилий перед новими вірусами, ще не потрапили до бази даних. Тому «Яндекс» використовує поряд з сигнатурным ще й свій власний антивірусний комплекс, заснований на аналізі поведінкового фактора. Програма «Яндекса» при зверненні до сайту перевіряє, чи запитував останній у браузера додаткові файли, перенаправляв на сторонній ресурс і т. д. Таким чином, якщо отримані дані, що сайт починає виконання певних дій (запускаються каскадні таблиці стилів, модулі Java Script і повноцінні програми) без відома користувача, він поміщається в «чорний список» і бази вірусних сигнатур[10]. Інформація про зараження сайту з'являється в результатах пошуку, і через сервіс «[[Яндекс.Вебмайстер]]» відповідне повідомлення отримує власник сайту. Після першої перевірки «Яндекс» робить другу, і якщо інформація про зараження вдруге підтвердиться, перевірки будуть проходити частіше, доки загроза не буде усунена[9].

Щодня в 2013 році «Яндекс» перевіряє 23 млн веб-сторінок (виявляючи при цьому 4300 небезпечних сайтів) і показує користувачам 8 млн попереджень[10]. Щомісячно перевіряється приблизно мільярд сайтів[9].

Пошукова видача для кожного користувача формується індивідуально на основі його місцезнаходження, мовних запитів, інтересів і переваг за результатами попередніх та поточної пошукової сесії[11]. Тим не менш, ключовим фактором при ранжируванні пошукових результатів є їх релевантність, відповідність пошуковому запиту. Релевантність визначається на основі формули ранжирування, яка постійно оновлюється на основі алгоритмів машинного навчання[12].

Довгий час ключовим фактором ранжирування у «Яндекса» було кількість сторонніх посилань на конкретний сайт[13]. Кожній сторінці у Інтернеті присвоювався своєрідний індекс цитування, аналогічний індексу для авторів наукових статей: чим більше посилань, тим краще[13]. Подібний механізм працював як у ТІЦ «Яндекса», так і в PageRank пошукової системи Google[13]. Тим не менш, на даний момент в цілях запобігання «накрутки» «Яндекс» застосовує багатофакторний аналіз, з восьмисот факторів ранжирування якого на посилання припадає лише 70[13]. Сьогодні набагато більшу роль грає зміст сайту і наявність-відсутність там ключових слів, зручність читання тексту, назва домену та його історія, наявність мультимедійного контенту[13]. 5 грудня 2013 року «Яндекс» оголосив про повну відмову від обліку посилального фактора в майбутньому[13].

Сторінка з результатами пошуку складається з посилань з короткими анотаціями — «сніпетами». Останні включають в себе текстовий коментар, посилання, адресу, популярні розділи сайту, сторінки в соцмережах та ін.[14] Як альтернативу сніпетам, «Яндекс» ввів в 2014 році новий інтерфейс під назвою «Острови»[15].

В «Яндексі» реалізований механізм «паралельних пошуків», коли разом пошуком по вебу проводиться пошук по сервісах «Яндекса», таких, як [[Яндекс.Каталог]], [[Яндекс.Новини]], [[Яндекс.Маркет]], [[Яндекс.Картинки]], [[Яндекс.Карти]] та ін. В результаті у відповідь на запит користувача система видає не тільки текстову інформацію, але і посилання на відео, картинки, карти та ін[16].

Відмінною особливістю пошукової системи є також технологія «інтентного пошуку» (англ. intent — намір, бажання), тобто пошуку, спрямованого на вирішення завдання. Серед елементів такого пошуку — наявність діалогових підказок при неоднозначному запиті, автоматичний переклад тексту, показ інформації про характеристики автомобіля і т. д.

Інформаційні блоки між рядком запиту і результатами називаються «чаклунчиками». Їх список:

Пошукові підказки в «Яндекс.Браузері»

По мірі набору користувачем запиту в рядку пошуку пошукова машина пропонує підказки у вигляді випадного списку. Підказки з'являються ще до переходу на сторінку результатів пошуку і дозволяють уточнити запит, виправити розкладку чи друкарську помилку або перейти на потрібний сайт. Для кожного користувача підказки формуються в тому числі на історію пошукових запитів (сервіс «Мої знахідки»). У 2012 році з'явилися так звані «Розумні пошукові підказки», які миттєво видають інформацію про основні константи (довжина екватора, швидкість світла і т. д.), затори на дорогах, і мають вбудований калькулятор. Крім того, в «підказки» вбудований перекладач (запит «любов по-французьки» моментально видає amour, affection), розклад і результати футбольних матчів, курси валют, прогноз погоди та ін. Можна дізнатися точний час запитом «котра година». У 2011 році підказки в пошуку «Яндекса» стали повністю локальними для регіонів.[17].

Крім власне пошуку, підказки вбудовані у власні пошукові системи інших сервісів «Яндекса».

Функціонал є розвитком технології інтентного пошуку і вперше з'явився на «Яндекс.Барі» в серпні 2007 року, а в жовтні 2008 року був впроваджений на головній сторінці пошуковика[17][18]. Доступний як в настільній, так і в мобільній версії сайту. «Яндекс» показує своїм користувачам більше мільярда пошукових підказок у день[19].

Перший логотип пошуковика

«Яндекс» пропонує ще декілька видів пошуку:

• Дзен-Пошук — "медитативний пошук «Яндекса».
• Розширений пошук — дозволяє обмежувати пошукову видачу географією, мовою, окремим сайтом, розширенням документів, останнім оновленням, кількістю результатів на сторінці.
• Сімейний пошук — пошук без небезпечного для дітей вмісту.
• Аскетичний пошук
• Пошук у зарубіжному інтернеті

Логотип «Яндекса» може змінювати свій дизайн в честь деяких пам'ятних дат[20].

Пошукова система «yandex.ru» була анонсована компанією CompTek 23 вересня 1997 року[22] на виставці Softool, хоча окремі розробки в області пошуку (індексація Біблії, пошук документів на CD-ROM, пошук по сайту) проводилися компанією ще раніше.

Слово розшифровується як англ. yet another indexer («ще один індексатор; черговий індексатор») або як рос. Языковой индекс. За трактуванням Артемія Лебедєва, назва пошуковика співзвучно «Яньдекс», де янь — чоловічий початок[23]. За ще однією версією, назва «Яndex» походить від слова «Index» шляхом заміни першої літери.

Перший індекс містив інформацію з 5000 серверів і займав 4.5 ГБ[24].

У тому ж 1997 році пошук «Яндекса» став використовуватися в російськомовній версії Internet Explorer 4.0[25]. Стало можливим задавати запит природною мовою[26].

У 1998 році з'явилася функція «знайти схожі документи» для кожного результату пошуку[27].

«Яндекс.Пошук» станом на 1998 рік працював на трьох машинах, що працювали на FreeBSD під Apache: одна машина обходила Інтернет і індексувала документи, одна пошукова машина і одна машина дублювала пошукову машину[28].

В 1999 році з'явився пошук в категоріях — пошук, поєднання пошукової системи і каталогу[29]. Оновлена версія пошукової машини[30].

6 червня 2000 року була представлена друга версія пошуковика[31].

Було запроваджено механізм паралельного пошуку, коли поряд з видачею з вебу пропонується інформація з великих джерел. Користувачі отримали можливість обмежити пошукову видачу обраною темою. З'явилася рубрика «Популярні знахідки» — слова, уточнюючі пошук[32].

До грудня 2000 року обсяг проіндексованої інформації досяг 355,22 Гб[33].

2001 рік став для «Яндекса» значущим, оскільки тоді він обігнав інший російський пошуковик, «Рамблер», по відвідуваності і з того часу є провідною пошуковою системою Рунету[34].

«Яндекс» став розуміти запити природною мовою, задані в питальній формі. Система навчилася розпізнавати помилки і пропонувати виправляти їх. Змінився дизайн[35].

Кількість щоденних запитів до пошукової машини «Яндекс» перевищила 2 млн[36].

Запущена індексація документів .rtf .pdf[37]

Результати пошуку стали видаватися в тому числі і в форматі XML[38].

Змінився алгоритм ранжирування[39].

Стартувала індексація документів у форматі .swf («флеш»)[40], .xls і .ppt[41].

В кінці року було викладено у відкритий доступ дослідження «Деякі аспекти повнотекстового пошуку і ранжирування в Яндекс». Автори Ілля Сегалович, Михайло Маслов розкрив окремі деталі ранжування в пошуковій системі[42].

Влітку був запущений так званий «швидкий пошуковий робот», який працює паралельно з основним і призначених для індексації актуальних сторінок. База «швидкого робота» оновлюється кожні 1,5—2 години[43].

Був вдосконалений алгоритм ранжирування для збільшення точності пошуку[44].

Можливості пошуку були розширені за допомогою сервісів «Яндекс.Словники» і «Яндекс.Lingvo». Пошуковик навчився розуміти запити типу «як [що] по-іспанськи» і автоматично перекладати їх[45].

Стало можливим обмежити пошукову видачу по регіону[46].

З травня 2006 в результатах пошуку стали відображатися піктограми сайтів[47].

На початку грудня поруч з кожною посиланням у видачі з'явився пункт «Збережена копія», клікнувши на який користувач переходить на повну копію сторінки в окремій архівній базі («Яндекс-кеш»)[48].

З'явилася геокласифікація сайтів.

Був змінений алгоритм ранжирування[49].

У 2008 році компанія «Яндекс» вперше стала відкрито оголошувати про зміни в пошуковому алгоритмі і давати їм імена. Назва «міста» кожного наступного алгоритму починається на ту букву, на яку закінчувалась назва попереднього[50].