Le projet lancé en juillet par Cloudflare et OpenAI vise à intégrer dans l'index de recherche de ChatGPT des pages web qui peuvent échapper aux moteurs de recherche classiques. Au cœur de cette approche, il ne s'agit plus de suivre les liens entre les sites, mais d'exploiter les signaux issus du trafic utilisateur réel sur le réseau Cloudflare.
Les robots d'indexation traditionnels découvrent généralement les nouvelles pages en suivant les liens provenant d'autres pages. Bien que cette méthode couvre une grande partie du contenu visible sur Internet, certaines pages sans liens entrants peuvent rester en dehors des résultats de recherche. Par exemple, le manuel d'utilisation d'un produit, le menu d'une petite entreprise ou des contenus locaux répondant à un besoin spécifique peuvent ne pas être découverts s'ils ne sont pas référencés par d'autres sites.
La nouvelle méthode se concentre sur les modèles de trafic relatifs aux pages réellement visitées par les utilisateurs. Les signaux provenant du réseau de Cloudflare aident à identifier des centaines de millions de pages inaccessibles aux robots traditionnels. L'objectif est ainsi de créer un index de contenu plus large et plus diversifié pour la recherche ChatGPT.
UN INDEXAGE PLUS EFFICACE GRÂCE AUX SIGNAUX DE TRAFIC
L'un des avantages potentiels de ce modèle est la réduction de la consommation de ressources par les robots d'indexation automatiques. Les robots envoient parfois des requêtes vers des pages qui n'existent plus, des contenus dupliqués ou des adresses à faible valeur. L'utilisation des signaux de trafic, en montrant quelles pages sont réellement visitées, pourrait contribuer à une utilisation plus efficace des ressources d'indexation.
Le projet attire également l'attention en termes d'évaluations de sécurité. Le fait qu'une seule page d'un domaine soit problématique ne signifie pas nécessairement que l'ensemble du site est malveillant. Une évaluation au niveau de la page pourrait aider à préserver la visibilité du reste du contenu du site dans les recherches. Cependant, les détails sur la manière dont ces distinctions sont techniquement appliquées au sein du projet doivent encore être clarifiés.
L'ajout d'un plus grand nombre de pages à l'index pourrait représenter un nouveau canal de découverte pour les éditeurs et les propriétaires de sites. Néanmoins, être indexé ne signifie pas automatiquement gagner plus de visiteurs. Le trafic dirigé vers les sites web via ChatGPT, les taux de clics et la manière dont l'accès des robots d'intelligence artificielle aux contenus sera géré figurent parmi les points qui détermineront l'impact du projet.
Source de l'actualité: 12punto
