Google начал учитывать контекст слов при русскоязычном поиске

Google начал учитывать контекст слов при русскоязычном поиске

13.12.2019     

Компания Google обновила алгоритмы для поиска по русскоязычным сайтам. Это крупнейший апдейт системы за последние пять лет. Его главная цель – улучшить результаты выдачи. 

Значительное нововведение

Google сообщил, что добавил алгоритм BERT в свою поисковую систему для веб-ресурсов на русском языке. Технология усовершенствует механизмы машинного обучения поисковика и позволит лучше понимать запросы пользователей благодаря комплексному анализу вводимых слов. По словам Панду Найака, вице-президента Google, это обновление стало крупнейшим за последние пять лет, а разработка самого алгоритма – грандиозный успех для всей компании. 

Технология BERT (Bidirectional Encoder Representations from Transformers) представлена Google в прошлом году. Она использует возможности нейросетей для предварительного обучения обработке текста на естественном языке. Алгоритм годится не только для формирования поисковой выдачи, но и создания любых других сервисов, работающих с пользовательским контентом по формуле «вопрос-ответ». 

С декабря этого года возможности BERT начали использоваться и для обработки русскоязычного сегмента Google. 

Как работает технология

Результат поиска зависит от того, какие ключевые слова заданы системе. Чаще всего поисковики просто формируют выдачу по релевантности контента сайтов в базе запросу пользователя. Однако такой подход достаточно ограничен в своих возможностях и не учитывает контекст используемых фраз.  

«Когда люди открывают страницу Google Поиска, они не всегда знают, как лучше сформулировать запрос: иногда они не могут подобрать нужные слова или не помнят, как пишутся те или иные термины», – поясняет проблему Панду Найк. 

Алгоритм BERT – это двунаправленная технология обработки языка. Она способна не только анализировать отдельные слова в поисковом запросе, но и учитывать порядок, интерпретировать их по отношению друг к другу. Подобная система гораздо лучше понимает, какая именно информация нужна пользователю вне зависимости от того, каким образом была составлена фраза. Алгоритм одинаково хорошо справляется с запросом и в формате набора ключевых слов, и в виде простых вопросов. 

В качестве примера работы технологии Google приводит результаты выдачи по запросу «Может ли преподаватель выгнать студента с занятия?». Старый алгоритм давал ответ на вопрос «Имеет ли преподаватель право не пустить студента на пару?», что имеет другой смысл. BERT обрабатывает фразу пользователя более правильно, помещая на первую строку подходящий контент. 

 

Что изменится для сайтов

Представители Google никак не прокомментировали влияние нового алгоритма на поисковый трафик для сайтов. Однако они уточнили, что результаты работы BERT должны повысить эффективность поиска по непопулярным низкочастотным запросам. Также технология будет задействована для формирования «нулевой» выдачи – случая, когда Google не может найти релевантные сайты и выводит наиболее близкие к запросу результаты. 



Источник: https://infostart.ru/journal/news/tekhnologii/google-nachal-uchityvat-kontekst-slov-pri-russkoyazychnom-poiske_1167724/
Автор:
Александр Вашкевич Аналитик


Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. DenisCh 13.12.19 10:45 Сейчас в теме
Интересно, что он теперь будет выдавать на слово "сказочный" ? ))
MikhailDr; dimisa; narutouzumaki_13; Dmitri93; +4 Ответить
3. MikhailDr 16.12.19 07:59 Сейчас в теме
(1)я даже знаю какая там будет картинка в выдаче
2. VmvLer 13.12.19 11:00 Сейчас в теме
Главная цель совсем другая и не только у гугла
Оставьте свое сообщение

См. также

Представлен GitLab 13.7: автооткат при сбоях и улучшенная проверка мердж-реквестов

Новость git Автоматизация ИТ-новость Новости компаний

Компания GitLab выпустила новый релиз платформы для работы с Git-репозиториями. В GitLab 13.7 добавили 45 новых функций, в том числе автоматический откат при сбоях и инструмент проверяющих для запросов на слияние.

22.01.2021    1407    user1015646    0       

Red Hat заменит CentOS бесплатной Red Hat Enterprise Linux

Новость Linux ИТ-новость

Red Hat в декабре объявила о прекращении поддержки CentOS 8 в 2021 году. Это вызвало волну негодования среди разработчиков, но теперь всё встало на свои места: компания представила бесплатные версии Red Hat Enterprise Linux для команд.

21.01.2021    1679    user1015646    0       

Российские исследователи представили новый фреймворк для работы с большими данными

Новость Аналитика Искусственный интеллект ИТ-новость

Специалисты Национального центра когнитивных разработок ИТМО представили платформу, которая упростит создание моделей технологических и бизнес-процессов. Она поможет принимать эффективные управленческие решения в условиях отсутствия полных данных.

21.01.2021    1309    user1015646    2       

Конец Flash: Adobe стала блокировать динамический контент

Новость Интернет ИТ-новость

Компания Adobe блокирует Flash-контент на веб-сайтах, которые используют Flash Player. Разработчик больше не поддерживает устаревшую и небезопасную технологию.

21.01.2021    1445    user1015646    0       

Новая система находит ошибки при разработке ПО в режиме реального времени

Новость Автоматизация ИТ-новость

Специалисты исследовательской группы SOM Research Lab разработали инструмент проверки моделей программного обеспечения, который находит ошибки непосредственно в процессе создания модели, а не после ее завершения.

20.01.2021    2056    user1015646    0       

Искусственный интеллект научился обыгрывать людей, не зная правил игры

Новость Искусственный интеллект ИТ-новость

Британская компания DeepMind представила новую разработку в сфере искусственного интеллекта. Система MuZero успешно обыгрывает опытных спортсменов и геймеров, даже не зная правил игры.

20.01.2021    1868    user1015646    2       

Тетрис помог повысить заполняемость отелей

Новость Автоматизация ИТ-новость

Алгоритм RoomTetris, разработанный исследователями из LION Laboratory (Learning and Intelligent Optimization) – Лаборатории обучения и интеллектуальной оптимизации, избавит отельеров от овербукинга. Вдохновением для ученых послужила игра «Тетрис».

19.01.2021    1571    user1015646    5       

Нейросеть научили создавать изображения по текстовому описанию

Новость Искусственный интеллект ИТ-новость

Разработчики компании OpenAI представили нейронную сеть DALL-E. Она анализирует англоязычный текст и создает изображения на его основе.

19.01.2021    1772    user1015646    0       

Разработчики портируют Linux на Mac с процессором M1

Новость Linux Микроэлектроника

Компания Apple представила первые компьютеры на базе процессоров M1 собственной разработки. Разработчик Гектор Мартин решил создать сборку Linux специально для этих компьютеров. 

18.01.2021    1076    user1015646    4       

10 стартапов в области машинного обучения, за которыми стоит следить в 2021 году

Новость Искусственный интеллект Стартапы

По данным Crunchbase, в 2020 году компании, связанные с искусственным интеллектом и машинным обучением, получили рекордное финансирование – 28 млрд долларов. Представляем список из 10 самых перспективных стартапов в этой области.

18.01.2021    1455    SKravchenko    0       

Fujifilm и IBM создали ленточный накопитель с рекордным объемом памяти

Новость Дата-центры ИТ-новость Облачные технологии

Fujifilm и IBM повысили емкость ленточных накопителей до рекордных 580 терабайт информации. Это значительно превосходит максимальную емкость SSD – 100 ТБ и жестких дисков – 30 ТБ.

13.01.2021    1425    user-programmist    0       

Эксперты назвали 10 навыков для ИТ-специалистов, которые обеспечат прибавку к зарплате

Новость Автоматизация Аналитика Искусственный интеллект ИТ-новость

Зарплаты в ИТ-сфере – одни из самых высоких, и у специалистов здесь существует масса возможностей для роста. Специалисты компании Burning Glass определили, какими навыками должны обладать сотрудники, нацеленные на максимальную прибавку к зарплате.

12.01.2021    1593    user1015646    2       

Против монополии: Apple получила патент на поисковый алгоритм

Новость ИТ-новость Новости компаний

Apple начала активно разрабатывать собственную поисковую систему. Из-за возможных антимонопольных санкций США против Google компания Тима Кука может лишиться возможности пользоваться сервисами поискового гиганта.

11.01.2021    879    VKuser24342747    0       

FreeBSD перевела репозиторий на Git

Новость Linux GitHub ИТ-новость

FreeBSD откажется от использования системы контроля версий Subversion (SVN) и перейдет на Git. Об этом в рассылке объявил разработчик Уорнер Лош.

30.12.2020    1495    user1015646    0       

Вышла бета-версия Go 1.16

Новость ИТ-новость Языки программирования

Предстоящее обновление языка программирования Go 1.16 с открытым исходным кодом включает поддержку процессора Apple, улучшения базовой библиотеки и среды выполнения. Релиз стабильной версии намечается на февраль 2021 года.

30.12.2020    1875    SKravchenko    0       

Microsoft позволит создавать пользовательские функции в Excel

Новость Infostart Software Partners Маркет

В Excel появилась новая функция – LAMBDA – для превращения пользовательских формул в многоразовые функции. Пользователи смогут создавать правила для управления данными внутри Excel, так же, как и в любом другом языке – Java, PHP или Python.

29.12.2020    2290    SKravchenko    2       

Microsoft и МТС планируют совместно развивать российский интернет вещей

Новость ИТ-новость Телекоммуникации Цифровая экономика

МТС и Microsoft договорились совместно развивать российский интернет вещей путем интеграции платформы для разработки решений интернета вещей Microsoft Azure IoT Central и сети интернета вещей NB-IoT МТС.

28.12.2020    1313    user-programmist    1       

Bloomberg оценил компанию JetBrains в $7 млрд

Новость ИТ-новость

По данным Bloomberg Billionaires Index, стартап JetBrains стоит около 7 млрд. долларов. В отличие от технологических компаний, которые продают акции для поддержки развития, руководители JetBrains не полагаются на средства венчурных капиталистов.

28.12.2020    1424    SKravchenko    0       

Cloudflare станет хостинг-провайдером для статических сайтов JAMstack

Новость Интернет ИТ-новость

Cloudflare запустила сервис Pages для создания сайтов при помощи подхода JAMstack. Веб-ресурсы, разработанные при помощи платформы, будут опубликованы в существующей сети провайдера CDN.

25.12.2020    1214    VKuser24342747    0       

GitHub откажется от аутентификации по логину и паролю

Новость GitHub ИТ-новость

Крупнейший хостинг репозиториев кода GitHub пересмотрит политику аутентификации. Пароли перестанут поддерживать – их полностью заменят токены и SSH-ключи.

24.12.2020    1379    user1015646    2       

В Telegram появятся платные функции

Новость ИТ-новость Мессенджеры

Основатель Telegram Павел Дуров рассказал о будущем мессенджера. Команда разработчиков планирует внедрить платные функции, чтобы компенсировать расходы на развитие сервиса.

23.12.2020    1639    user1015646    0       

Составлен рейтинг приложений для предустановки на смартфоны и умные ТВ

Новость Импортозамещение ИТ-новость

Минцифры опубликовало рейтинг приложений, которые с большой вероятностью будут рекомендованы для предустановки на смартфоны и Smart TV. Самые популярные варианты в различных категориях отобрали из более чем 100 заявок от разработчиков.

23.12.2020    1517    user1015646    4       

Microsoft запатентовала технологию оценки эффективности совещаний

Новость Искусственный интеллект ИТ-новость

Microsoft реализует системы мониторинга сотрудников для оценки производительности организации. Одно из последних решений компании – вычислительная система Meeting Insight от Microsoft, которая способна создать «оценку качества» проведенного совещания.

22.12.2020    1973    capitan    1       

Octoverse 2020: GitHub опубликовал главный отчет года

Новость GitHub ИТ-новость

Крупнейший хостинг репозиториев кода GitHub назвал 2020-й «годом экстраординарных изменений». Переход на удаленку повысил продуктивность работы команд и позволил уделять больше времени проектам с открытым исходным кодом.

22.12.2020    1953    user1015646    0       

Автогигант Hyundai купит Boston Dynamics

Новость ИТ-новость Робототехника

Производитель самых известных роботов в мире сменил владельца. Компанию Boston Dynamics приобрел корейский автомобильный концерн Hyundai.

21.12.2020    2016    user1015646    3