AI Браузер: новий фронт для реконструкції входу в інтернет
Третя війна браузерів тихо розгортається. Оглядаючи історію, від Netscape у 90-х роках до Microsoft's IE, а потім до Firefox з відкритим кодом і Google Chrome, боротьба браузерів завжди була яскравим проявом контролю над платформою та зміни технологічних парадигм. Chrome завоював панівну позицію завдяки швидкості оновлень та екосистемній взаємодії, тоді як Google через "подвійного олігарха" в структурі пошуку та браузера сформував замкнуте коло інформаційного входу.
Однак сьогодні ця ситуація починає змінюватися. Поява великих мовних моделей (LLM) призвела до того, що все більше користувачів виконують завдання на сторінках результатів пошуку "нульовими кліками", традиційна поведінка кліків на веб-сторінках зменшується. Водночас чутки про те, що Apple має намір замінити пошукову систему за замовчуванням у Safari, ще більше загрожують прибутковій основі Alphabet, і ринок вже починає виявляти тривогу щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням ролі. Він більше не є лише інструментом для відображення веб-сторінок, а й контейнером для багатьох можливостей, таких як введення даних, поведінка користувачів, приватність та ідентичність. Хоча AI Agent потужний, для виконання складної взаємодії на сторінці, виклику локальних даних про ідентичність та контролю елементів веб-сторінки, все ще потрібна допомога довірчих меж і функціональних пісочниць браузера. Браузер перетворюється з людського інтерфейсу на платформу системних викликів для агентів.
Ключем досягнення браузера майбутнього є проектування для AI Agent - який не лише може читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінок, перетворюючи візуальний інтерфейс на структурований текст, що може бути викликаний LLM, реалізуючи відображення сторінки в команди, що значно зменшує витрати на взаємодію.
На ринку вже з'явилися основні проекти: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист конфіденційності з локальними висновками, посилюючи функції пошуку та блокування за допомогою LLM; а такі крипто-проекти, як Donut, намагаються знайти нові входи для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроба реконструювати вхідну частину браузера, а не покращувати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу майбутнього Agent означає, що той, хто може надати структуровані, викликаючі, надійні "блоки можливостей", той стане частиною нового покоління платформ. Від SEO до AEO( Agent Engine Optimization), від трафіку сторінки до виклику завдань, форма та дизайн продукту перебудовуються. Третя війна браузерів відбувається в "введенні", а не в "відображенні"; вирішальним фактором більше не є те, хто привертає увагу користувачів, а те, хто здобуває довіру агента і отримує доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, як корабель, що відкриває новий континент, відкриваючи мільйонам користувачів двері до цифрового світу. Цей браузер не був першим, але став першим, який справді вийшов на широку аудиторію та сформував інтернет-досвід. У той час люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, ніби весь світ раптово став доступним.
Проте, блискучі часи часто є короткочасними. Microsoft швидко усвідомила важливість браузерів і вирішила примусово інтегрувати Internet Explorer в операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "вбивцею платформ", що безпосередньо підірвало домінуючу позицію Netscape на ринку. Багато користувачів не вибирали IE свідомо, а приймали його через те, що система за замовчуванням прийняла його. IE, завдяки можливостям розповсюдження Windows, швидко став лідером галузі, тоді як Netscape потрапив на шлях занепаду.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях – вони оприлюднили вихідний код браузера, закликавши спільноту з відкритим кодом. Це рішення, ніби технічний "македонський відступ", ознаменувало кінець старої ери та підйом нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix(, що означає "фенікс відродження" ), але через проблеми з товарними знаками неодноразово змінював назву, поки врешті не отримав ім'я Firefox.
Firefox не є простим копіюванням Netscape, він досягнув багатьох проривів у досвіді користувачів, екосистемі плагінів, безпеці та інших аспектах. Його народження стало символом перемоги відкритого коду і надало нову енергію всій індустрії. Дехто описує Firefox як "духовного спадкоємця" Netscape, як Османська імперія успадкувала залишки Візантії. Хоча це порівняння і є перебільшенням, воно має глибокий сенс.
Але за кілька років до офіційного випуску Firefox Microsoft вже випустила шість версій IE, завдяки перевазі в часі та стратегії пакетного постачання систем, що змусило Firefox на початку перебувати в позиції наздоганяючого, що визначило, що ця гонка не є справедливим змаганням з рівних стартових позицій.
В той же час, ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який прийшов з Норвегії, спочатку це був просто експериментальний проект. Але з версії 7.0 у 2003 році він впровадив власний рушій Presto, першими підтримав CSS, адаптивну верстку, голосове управління та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно він завжди був на передовій галузі, ставши "улюбленцем геїв".
У той же рік Apple випустила браузер Safari. Це стало символічним поворотом. Тоді Microsoft інвестувала 150 мільйонів доларів у Apple, яка була на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча за замовчуванням пошуковою системою Safari з моменту свого створення є Google, ця історична взаємодія з Microsoft символізує складні та тонкі стосунки між інтернет-гігантами: співпраця та конкуренція завжди йдуть поряд.
У 2007 році IE7 вийшов разом з Windows Vista, але ринкові відгуки були посередніми. На противагу цьому, Firefox, завдяки швидшому темпу оновлень, більш дружній механіці розширень та природному привабленню для розробників, стабільно збільшував свою частку на ринку до приблизно 20%. Панування IE поступово розхитується, вітри змінюються.
Google має інший підхід. Хоча з 2001 року вона почала розробляти свій власний браузер, знадобилося шість років, щоб переконати генерального директора Еріка Шмідта схвалити цей проект. Chrome з'явився на світ у 2008 році, створений на основі відкритого проекту Chromium та движка WebKit, що використовується Safari. Його жартома називають "об'ємним" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко піднявся.
Ключовою зброєю Chrome є не функції, а частота оновлень версій ( кожні шість тижнів ) з єдиним досвідом на всіх платформах. У листопаді 2011 року Chrome вперше перевершив Firefox, досягнувши частки ринку у 27%; через шість місяців знову обігнав IE, завершивши перехід від конкурента до домінанта.
Водночас, мобільний інтернет Китаю також формує власну екосистему. Браузер UC, що належить Alibaba, швидко став популярним на початку 2010-х років, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисканню даних для економії трафіку та іншим характеристикам, що здобули прихильність користувачів бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, а в Індії досягла 46%. Але ця перемога була недовговічною. З посиленням урядом Індії перевірок безпеки китайських додатків UC браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
У 2020-х роках домінування Chrome вже закріпилося, а частка світового ринку стабільно становить близько 65%. Варто зазначити, що хоча пошукова система Google та браузер Chrome належать Alphabet, з ринкової точки зору це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових запитів, тоді як друга володіє більшістю "первинних вікон" для користувачів, що входять в Інтернет.
Щоб утримати цю двоїсту монопольну структуру, Google не шкодує грошей на інвестиції. У 2022 році Alphabet заплатила Apple близько 20 мільярдів доларів, лише для того, щоб Google залишався за замовчуванням у Safari. Деякі аналітики вказують, що ця витрата становить 36% від доходу Google від реклами в пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою захисну стіну.
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук починає зазнавати ударів. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоч він і далі домінує, але тріщини вже помітні. Ще більш руйнівним є чутка про те, що Apple може запустити власну AI пошукову систему - якщо Safari змінить за замовчуванням пошукову систему на власну, це не лише перезапише екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, але й глибокі побоювання щодо майбутнього ери пошуку.
Від Navigator до Chrome, від відкритих ідей до комерціалізації реклами, від легкого браузера до AI-пошукового помічника, боротьба браузерів завжди була боротьбою за технології, платформи, контент і контроль. Поле бою постійно змінюється, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
В очах венчурних капіталістів, спираючись на нові вимоги людей до пошукових систем в епоху LLM та ШІ, третя війна браузерів поступово розгортається. Ось деякі відомі проекти в AI-браузерному сегменті та їх фінансування.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура зображена на наступному малюнку:
Клієнт - фронтальний вхід
Запит через HTTPS на найближчий Google Front End, завершити TLS-розшифрування, QoS-дослідження та географічну маршрутизацію. Якщо виявлено аномальний трафік (DDoS, автоматичне вилучення ) можна обмежити або кинути виклик на цьому рівні.
Запит на розуміння
Передній кінець повинен розуміти значення слів, що вводяться користувачем, є три етапи: нейронна перевірка написання, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" до "repair bicycle". Аналіз намірів, визначення запиту як інформаційного, навігаційного або торгового наміру та розподіл запиту за вертикаллю.
Кандидат на повернення
Технологія запитів, що використовується Google, називається: зворотний індекс. У прямому індексі ми можемо знайти файл, просто знаючи його ID. Але користувачі не можуть знати номер бажаного контенту серед тисяч мільярдів файлів, тому використовується традиційний зворотний індекс, який дозволяє шукати файли за ключовими словами в контенті. Далі Google використовує векторний індекс для обробки семантичного пошуку, тобто для пошуку контенту, схожого за значенням на запит. Він перетворює текст, зображення та інший контент на високовимірні вектори (embedding) і виконує пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником з приготування тіста для піци", оскільки вони семантично схожі. Після зворотного індексу та векторного індексу приблизно сто тисяч веб-сторінок проходять первинний відбір.
багаторівневе сортування
Системи зазвичай використовують тисячі легких характеристик, таких як BM25, TF-IDF, бали якості сторінок, щоб відфільтрувати десятки тисяч кандидатних сторінок до приблизно 1000, формуючи початковий набір кандидатів. Ці системи загалом називаються рекомендательними системами. Вони спираються на безліч характеристик, згенерованих різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, Google враховує історію користувача, відгуки інших користувачів, семантику сторінки, значення запиту та іншу інформацію, одночасно беручи до уваги контекстуальні фактори, такі як час ( доби, конкретні дні тижня ) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного ранжування
На етапі попереднього пошуку Google використовує такі технології, як RankBrain та Neural Matching, щоб зрозуміти семантику запиту та відібрати попередньо відповідні результати з величезної кількості документів. RankBrain – це система машинного навчання, введена Google у 2015 році, яка має на меті краще розуміти значення запитів користувачів, особливо тих, які з'являються вперше. Вона перетворює запити та документи на векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як приготувати тісто для піци", навіть якщо в документі немає точної відповідності ключових слів, RankBrain все ще може виявити вміст, пов'язаний з "основою для піци" або "приготуванням тіста".
Neural Matching — це ще одна технологія, яку Google запровадив у 2018 році, що має на меті глибше зрозуміти семантичні зв'язки між запитами та документами. Вона використовує моделі нейронних мереж для вловлювання розмитих зв'язків між словами, допомагаючи Google краще співвідносити запити та вміст веб-сторінок. Наприклад, для запиту "чому мій ноутбук так гучно працює вентилятор", Neural Matching може зрозуміти, що користувач, можливо, шукає інформацію про усунення несправностей, пов'язану з перегрівом, скупченням пилу або високим використанням ЦП, навіть якщо ці слова безпосередньо не з'являються в запиті.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
16 лайків
Нагородити
16
9
Поділіться
Прокоментувати
0/400
MoonlightGamer
· 07-10 09:24
Chrome не витримає!
Переглянути оригіналвідповісти на0
AirdropHunterXM
· 07-10 07:24
Шукаю волосся, прийшов AI
Переглянути оригіналвідповісти на0
ApeWithNoChain
· 07-10 02:02
Не витримав, браузер знову запустився
Переглянути оригіналвідповісти на0
0xSoulless
· 07-07 10:13
Гей, ще одна хвиля обдурювання невдах на святі!
Переглянути оригіналвідповісти на0
DaoTherapy
· 07-07 10:12
Не питайте більше, нехай Google розбереться.
Переглянути оригіналвідповісти на0
CryptoCross-TalkClub
· 07-07 10:10
Айти мене, попереду з символом долара, криптосвіт трирічний невдаха, кожного вечора о 8-й годині точно починаємо розповідати анекдоти.
AI браузер реконструює інтернет-вхід. Розпочинається третя війна браузерів.
AI Браузер: новий фронт для реконструкції входу в інтернет
Третя війна браузерів тихо розгортається. Оглядаючи історію, від Netscape у 90-х роках до Microsoft's IE, а потім до Firefox з відкритим кодом і Google Chrome, боротьба браузерів завжди була яскравим проявом контролю над платформою та зміни технологічних парадигм. Chrome завоював панівну позицію завдяки швидкості оновлень та екосистемній взаємодії, тоді як Google через "подвійного олігарха" в структурі пошуку та браузера сформував замкнуте коло інформаційного входу.
Однак сьогодні ця ситуація починає змінюватися. Поява великих мовних моделей (LLM) призвела до того, що все більше користувачів виконують завдання на сторінках результатів пошуку "нульовими кліками", традиційна поведінка кліків на веб-сторінках зменшується. Водночас чутки про те, що Apple має намір замінити пошукову систему за замовчуванням у Safari, ще більше загрожують прибутковій основі Alphabet, і ринок вже починає виявляти тривогу щодо "традиційного пошуку".
Браузер сам по собі також стикається з перетворенням ролі. Він більше не є лише інструментом для відображення веб-сторінок, а й контейнером для багатьох можливостей, таких як введення даних, поведінка користувачів, приватність та ідентичність. Хоча AI Agent потужний, для виконання складної взаємодії на сторінці, виклику локальних даних про ідентичність та контролю елементів веб-сторінки, все ще потрібна допомога довірчих меж і функціональних пісочниць браузера. Браузер перетворюється з людського інтерфейсу на платформу системних викликів для агентів.
Ключем досягнення браузера майбутнього є проектування для AI Agent - який не лише може читати, а й писати та виконувати. Проекти, такі як Browser Use, намагаються семантизувати структуру сторінок, перетворюючи візуальний інтерфейс на структурований текст, що може бути викликаний LLM, реалізуючи відображення сторінки в команди, що значно зменшує витрати на взаємодію.
На ринку вже з'явилися основні проекти: Perplexity створює рідний браузер Comet, використовуючи ШІ замість традиційних результатів пошуку; Brave поєднує захист конфіденційності з локальними висновками, посилюючи функції пошуку та блокування за допомогою LLM; а такі крипто-проекти, як Donut, намагаються знайти нові входи для взаємодії між ШІ та активами на блокчейні. Спільною рисою цих проектів є спроба реконструювати вхідну частину браузера, а не покращувати його вихідний рівень.
Для підприємців можливості приховані в трикутних відносинах між введенням, структурою та агентом. Браузер як інтерфейс для виклику світу майбутнього Agent означає, що той, хто може надати структуровані, викликаючі, надійні "блоки можливостей", той стане частиною нового покоління платформ. Від SEO до AEO( Agent Engine Optimization), від трафіку сторінки до виклику завдань, форма та дизайн продукту перебудовуються. Третя війна браузерів відбувається в "введенні", а не в "відображенні"; вирішальним фактором більше не є те, хто привертає увагу користувачів, а те, хто здобуває довіру агента і отримує доступ до викликів.
Історія розвитку браузерів
На початку 90-х років минулого століття, коли Інтернет ще не став частиною повсякденного життя, з'явився Netscape Navigator, як корабель, що відкриває новий континент, відкриваючи мільйонам користувачів двері до цифрового світу. Цей браузер не був першим, але став першим, який справді вийшов на широку аудиторію та сформував інтернет-досвід. У той час люди вперше могли так легко переглядати веб-сторінки через графічний інтерфейс, ніби весь світ раптово став доступним.
Проте, блискучі часи часто є короткочасними. Microsoft швидко усвідомила важливість браузерів і вирішила примусово інтегрувати Internet Explorer в операційну систему Windows, зробивши його браузером за замовчуванням. Ця стратегія стала "вбивцею платформ", що безпосередньо підірвало домінуючу позицію Netscape на ринку. Багато користувачів не вибирали IE свідомо, а приймали його через те, що система за замовчуванням прийняла його. IE, завдяки можливостям розповсюдження Windows, швидко став лідером галузі, тоді як Netscape потрапив на шлях занепаду.
У скрутному становищі інженери Netscape обрали радикальний і ідеалістичний шлях – вони оприлюднили вихідний код браузера, закликавши спільноту з відкритим кодом. Це рішення, ніби технічний "македонський відступ", ознаменувало кінець старої ери та підйом нових сил. Цей код згодом став основою проекту браузера Mozilla, спочатку названого Phoenix(, що означає "фенікс відродження" ), але через проблеми з товарними знаками неодноразово змінював назву, поки врешті не отримав ім'я Firefox.
Firefox не є простим копіюванням Netscape, він досягнув багатьох проривів у досвіді користувачів, екосистемі плагінів, безпеці та інших аспектах. Його народження стало символом перемоги відкритого коду і надало нову енергію всій індустрії. Дехто описує Firefox як "духовного спадкоємця" Netscape, як Османська імперія успадкувала залишки Візантії. Хоча це порівняння і є перебільшенням, воно має глибокий сенс.
Але за кілька років до офіційного випуску Firefox Microsoft вже випустила шість версій IE, завдяки перевазі в часі та стратегії пакетного постачання систем, що змусило Firefox на початку перебувати в позиції наздоганяючого, що визначило, що ця гонка не є справедливим змаганням з рівних стартових позицій.
В той же час, ще один ранній гравець тихо з'явився на сцені. У 1994 році з'явився браузер Opera, який прийшов з Норвегії, спочатку це був просто експериментальний проект. Але з версії 7.0 у 2003 році він впровадив власний рушій Presto, першими підтримав CSS, адаптивну верстку, голосове управління та кодування Unicode та інші передові технології. Хоча кількість користувачів була обмеженою, технологічно він завжди був на передовій галузі, ставши "улюбленцем геїв".
У той же рік Apple випустила браузер Safari. Це стало символічним поворотом. Тоді Microsoft інвестувала 150 мільйонів доларів у Apple, яка була на межі банкрутства, щоб підтримати видимість конкуренції та уникнути антимонопольного розслідування. Хоча за замовчуванням пошуковою системою Safari з моменту свого створення є Google, ця історична взаємодія з Microsoft символізує складні та тонкі стосунки між інтернет-гігантами: співпраця та конкуренція завжди йдуть поряд.
У 2007 році IE7 вийшов разом з Windows Vista, але ринкові відгуки були посередніми. На противагу цьому, Firefox, завдяки швидшому темпу оновлень, більш дружній механіці розширень та природному привабленню для розробників, стабільно збільшував свою частку на ринку до приблизно 20%. Панування IE поступово розхитується, вітри змінюються.
Google має інший підхід. Хоча з 2001 року вона почала розробляти свій власний браузер, знадобилося шість років, щоб переконати генерального директора Еріка Шмідта схвалити цей проект. Chrome з'явився на світ у 2008 році, створений на основі відкритого проекту Chromium та движка WebKit, що використовується Safari. Його жартома називають "об'ємним" браузером, але завдяки глибоким навичкам Google у рекламі та формуванні бренду, він швидко піднявся.
Ключовою зброєю Chrome є не функції, а частота оновлень версій ( кожні шість тижнів ) з єдиним досвідом на всіх платформах. У листопаді 2011 року Chrome вперше перевершив Firefox, досягнувши частки ринку у 27%; через шість місяців знову обігнав IE, завершивши перехід від конкурента до домінанта.
Водночас, мобільний інтернет Китаю також формує власну екосистему. Браузер UC, що належить Alibaba, швидко став популярним на початку 2010-х років, особливо на нових ринках, таких як Індія, Індонезія та Китай, завдяки легкому дизайну, стисканню даних для економії трафіку та іншим характеристикам, що здобули прихильність користувачів бюджетних пристроїв. У 2015 році його частка на глобальному ринку мобільних браузерів перевищила 17%, а в Індії досягла 46%. Але ця перемога була недовговічною. З посиленням урядом Індії перевірок безпеки китайських додатків UC браузер був змушений вийти з ключового ринку і поступово втратив колишню славу.
У 2020-х роках домінування Chrome вже закріпилося, а частка світового ринку стабільно становить близько 65%. Варто зазначити, що хоча пошукова система Google та браузер Chrome належать Alphabet, з ринкової точки зору це дві незалежні гегемонії - перша контролює близько 90% глобальних пошукових запитів, тоді як друга володіє більшістю "первинних вікон" для користувачів, що входять в Інтернет.
Щоб утримати цю двоїсту монопольну структуру, Google не шкодує грошей на інвестиції. У 2022 році Alphabet заплатила Apple близько 20 мільярдів доларів, лише для того, щоб Google залишався за замовчуванням у Safari. Деякі аналітики вказують, що ця витрата становить 36% від доходу Google від реклами в пошуку, отриманого з трафіку Safari. Іншими словами, Google платить "захисний внесок" за свою захисну стіну.
Але вітер знову змінився. Зі зростанням великих мовних моделей (LLM) традиційний пошук починає зазнавати ударів. У 2024 році частка ринку пошуку Google впала з 93% до 89%, хоч він і далі домінує, але тріщини вже помітні. Ще більш руйнівним є чутка про те, що Apple може запустити власну AI пошукову систему - якщо Safari змінить за замовчуванням пошукову систему на власну, це не лише перезапише екосистему, але й може похитнути прибуткову опору Alphabet. Ринок швидко відреагував, акції Alphabet впали з 170 доларів до 140 доларів, що відображає не лише паніку інвесторів, але й глибокі побоювання щодо майбутнього ери пошуку.
Від Navigator до Chrome, від відкритих ідей до комерціалізації реклами, від легкого браузера до AI-пошукового помічника, боротьба браузерів завжди була боротьбою за технології, платформи, контент і контроль. Поле бою постійно змінюється, але суть ніколи не змінюється: хто контролює вхід, той визначає майбутнє.
В очах венчурних капіталістів, спираючись на нові вимоги людей до пошукових систем в епоху LLM та ШІ, третя війна браузерів поступово розгортається. Ось деякі відомі проекти в AI-браузерному сегменті та їх фінансування.
Застаріла архітектура сучасних браузерів
Говорячи про архітектуру браузера, класична традиційна архітектура зображена на наступному малюнку:
Клієнт - фронтальний вхід
Запит через HTTPS на найближчий Google Front End, завершити TLS-розшифрування, QoS-дослідження та географічну маршрутизацію. Якщо виявлено аномальний трафік (DDoS, автоматичне вилучення ) можна обмежити або кинути виклик на цьому рівні.
Запит на розуміння
Передній кінець повинен розуміти значення слів, що вводяться користувачем, є три етапи: нейронна перевірка написання, виправлення "recpie" на "recipe"; розширення синонімів, розширення "how to fix bike" до "repair bicycle". Аналіз намірів, визначення запиту як інформаційного, навігаційного або торгового наміру та розподіл запиту за вертикаллю.
Кандидат на повернення
Технологія запитів, що використовується Google, називається: зворотний індекс. У прямому індексі ми можемо знайти файл, просто знаючи його ID. Але користувачі не можуть знати номер бажаного контенту серед тисяч мільярдів файлів, тому використовується традиційний зворотний індекс, який дозволяє шукати файли за ключовими словами в контенті. Далі Google використовує векторний індекс для обробки семантичного пошуку, тобто для пошуку контенту, схожого за значенням на запит. Він перетворює текст, зображення та інший контент на високовимірні вектори (embedding) і виконує пошук на основі схожості між цими векторами. Наприклад, навіть якщо користувач шукає "як приготувати тісто для піци", пошукова система може повернути результати, пов'язані з "посібником з приготування тіста для піци", оскільки вони семантично схожі. Після зворотного індексу та векторного індексу приблизно сто тисяч веб-сторінок проходять первинний відбір.
багаторівневе сортування
Системи зазвичай використовують тисячі легких характеристик, таких як BM25, TF-IDF, бали якості сторінок, щоб відфільтрувати десятки тисяч кандидатних сторінок до приблизно 1000, формуючи початковий набір кандидатів. Ці системи загалом називаються рекомендательними системами. Вони спираються на безліч характеристик, згенерованих різними сутностями, включаючи поведінку користувачів, атрибути сторінок, наміри запиту та контекстуальні сигнали. Наприклад, Google враховує історію користувача, відгуки інших користувачів, семантику сторінки, значення запиту та іншу інформацію, одночасно беручи до уваги контекстуальні фактори, такі як час ( доби, конкретні дні тижня ) та зовнішні події, такі як новини в реальному часі.
Глибоке навчання для основного ранжування
На етапі попереднього пошуку Google використовує такі технології, як RankBrain та Neural Matching, щоб зрозуміти семантику запиту та відібрати попередньо відповідні результати з величезної кількості документів. RankBrain – це система машинного навчання, введена Google у 2015 році, яка має на меті краще розуміти значення запитів користувачів, особливо тих, які з'являються вперше. Вона перетворює запити та документи на векторні представлення, обчислює їхню схожість, щоб знайти найбільш релевантні результати. Наприклад, для запиту "як приготувати тісто для піци", навіть якщо в документі немає точної відповідності ключових слів, RankBrain все ще може виявити вміст, пов'язаний з "основою для піци" або "приготуванням тіста".
Neural Matching — це ще одна технологія, яку Google запровадив у 2018 році, що має на меті глибше зрозуміти семантичні зв'язки між запитами та документами. Вона використовує моделі нейронних мереж для вловлювання розмитих зв'язків між словами, допомагаючи Google краще співвідносити запити та вміст веб-сторінок. Наприклад, для запиту "чому мій ноутбук так гучно працює вентилятор", Neural Matching може зрозуміти, що користувач, можливо, шукає інформацію про усунення несправностей, пов'язану з перегрівом, скупченням пилу або високим використанням ЦП, навіть якщо ці слова безпосередньо не з'являються в запиті.
Глибока переробка: Застосування моделі BERT
На початковому відборі