Новый патент Google о дублирующемся контенте в системе веб-краулера 10 Декабрь 2021
Некоторые патенты поисковых машин позволяют увидеть, как эти поисковые машины выполняют базовые функции. Под базовыми функциями я подразумеваю такие основы как краулинг страниц, индексация страниц и показ результатов поиска пользователям. Например, год назад обсуждался патент Google о якорном тексте и различных скоростях краулинга. Тот патент, поданный на рассмотрение еще в 2003 году, позволял нам заглянуть в механизмы краулинга веб-страниц и сбора адресов страниц, встречавшихся в сети.