Analyse de logs : son rôle en SEO et en AI Search

Un assistant peut lire des pages de votre site pour en extraire des informations et les utiliser comme source pour répondre à un utilisateur. Cette interaction, que nous avons déjà présentée, n'aboutit pas toujours à un clic ou une visite côté utilisateur.

Si ce dernier a toutes les informations qu'il souhaite dans la réponse, le site ne sera jamais visité et cet évènement ne remontera jamais dans le suivi. Les méthodes de suivi via Google Analytics, Semrush ou encore un suivi de prompts ne régleront pas ce problème.

Cette interaction de l'assistant sur le site reste cependant visible, car le serveur a enregistré cette audience et les IP des modèles de langage sont reconnaissables.

L'analyse de logs est une pratique du SEO classique qui a souvent été réalisée pour des analyses sur des sites à forte volumétrie où les enjeux de budget de crawl imposaient cette approche. Aujourd'hui, avec l'émergence de l'AI search, l'analyse de logs se voit attribuer un nouveau rôle, à savoir d'analyser les comportements des bots sur votre site.

Ce suivi ne s'est pas encore généralisé auprès des annonceurs qui mesurent essentiellement par les kpis de conversion et de trafic. Même si ces données, en apparence, ne révèlent aucun signe de performance, elles montrent une donnée qu'on ne pourrait voir autrement et qui peut appuyer une prise de décision stratégique en AI Search.

Résumé exécutif

Un fichier de logs montre l'ensemble des requêtes reçues par le serveur en confirmant un accès et une réponse. Il ne confirme jamais une citation ou une lecture de la page.
Les logs identifient clairement l'ensemble des modèles de langage connus et ceci même sans la moindre interaction côté utilisateur.
Les outils analytiques et la Google Search Console sont encore très limités à ce jour dans l'analyse des bots IA.
Un suivi de prompts repose sur une situation qui ne se produit pas nécessairement en situation réelle. Un hit sur une analyse de logs est un évènement concret et incontestable.
À différentes étapes de l'audit stratégique, l'analyse de logs joue un rôle central dans la prise de décision.

Sommaire

Pourquoi les logs comptent, en SEO comme en AI Search
Ce que les logs donnent comme informations
Oncrawl : un analyseur de logs pensé pour le SEO et l'AI Search
Ma méthode d'analyse en 4 étapes
Comprendre ce qu'il se passe sur votre site
Identifier les robots qui interagissent sur vos pages
Croisement de données
Un rapport exhaustif pour vos pages
Les logs d'abord dans l'audit puis, ensuite dans le suivi
En conclusion

Pourquoi les logs comptent, en SEO comme en AI Search

La visibilité en AI search ne passe pas nécessairement par un clic

Alors que le clic était considéré en SEO comme le kpi de visibilité majeur permettant d'évaluer la visibilité d'un site, on peut voir que cette tendance change radicalement en AI Search.

Plusieurs études récentes l'ont constaté :

Pour ceux qui sont restés habitués à un suivi exclusivement effectué par les outils analytiques ou la Search Console, la constatation peut être de voir une baisse de l'activité organique sans effet de compensation côté AI Search.

On voit une baisse, mais le canal IA n'émerge pas pour autant et les chiffres de résultats montrent une baisse qu'on ne peut pas nécessairement expliquer par une baisse de visibilité organique.

L'absence de clics en AI search est donc une tendance qui s'amplifie, qui affecte non seulement votre trafic, vos performances, mais aussi qui rend les outils d'analyse classiques insuffisants à l'usage. GA4 et GSC ne seront plus suffisants pour votre suivi.

L'analyse de logs arrive pour vous donner une visibilité lorsqu'un assistant IA explore vos pages et récupère une information. Elle confirme une interaction non humaine qui n'apparait pas dans vos outils d'analyse et cette information se traduit comme un signal de visibilité non perceptible par les outils analytiques.

Chaque outil joue son propre rôle

Les analyses de logs entrent en jeu dans un but spécifique et ne remplacent pas les autres outils. Elles montrent ce qui se passe à une étape spécifique du processus qui compose la visibilité en SEO et AI search.

Cinq outils se complètent pour un suivi intégral :

Les outils d'audience qui trace une interaction utilisateur depuis un navigateur. Ces outils ne verront rien qui ne concerne que les robots
Le Search console qui offre une couche supplémentaire sur l'exploration des robots, mais à ce jour limitée surtout à Google et non aux robots IA
Les outils de suivi de positionnement sur mots-clés réservés exclusivement au SEO
Le suivi de prompts qui relève mentions et citations sur des prompts qu'on estime être ceux utilisés par vos utilisateurs cibles.
Les logs complètent le tout avec une visibilité qui intègre aussi les robots IA

En dressant ce bilan, on confirme qu'en SEO les logs sont un outil complémentaire utile, mais non nécessaire, car les outils de base suffisent à nous donner la visibilité nécessaire.

En AI search, les choses changent, car les outils d'audience montrent clairement leurs limites et le suivi de positionnement disparait au profit d'un suivi de prompts qui reste une méthode limitée, car elle ne montre aucune visibilité réelle (mon article sur le suivi de visibilité en parle davantage).

L'analyse de logs vous donne donc une visibilité sur chaque robot qui accède à votre site et qui remplace une partie de vos utilisateurs. Ce constat ne traduit aucune forme d'acquisition business, on est d'accord. L'objectif ici est simplement de mesurer comment les bots visitent le site, car ils sont devenus la nouvelle forme d'utilisateur.

Les familles de robots IA qu'il faut distinguer

Un autre point crucial qui change en AI search par rapport au SEO est la distinction de différentes familles de robots qui visitent votre site.

Il est important de les distinguer, car ils n'ont pas le même rôle et certains ne visitent pas un site à la demande d'un utilisateur.

On va voir ici trois familles qu'Oncrawl répertorie sur ses rapports d'analyse :

Les robots d'entrainement qui collectent des pages pour constituer un corpus de référence pour les modèles de langages auxquels ils appartiennent
Les robots d'indexation de recherche qui alimentent un index de recherche dans lequel les robots IA vont chercher l'information
Les robots de récupération à la demande qui se déclenchent lorsqu'un utilisateur pose une question. Ces derniers sont intéressants, car un utilisateur déclenche leur visite indirectement.

Cette catégorisation est essentielle, car certains robots agissent sur une demande humaine et d'autres non. La mesure ne dit donc pas la même chose, d'où l'importance de les distinguer.

L'accès reste le facteur le plus important

Cyrus Shepard a publié cette année deux grilles en 2026. La première concerne exclusivement l'AI search et fait la synthèse de 54 études de citation pour évaluer les facteurs. La seconde propose un sondage auprès de 131 praticiens SEO et GEO sur le classement dans Google intégrant un volet SEO et AI search.

Le bilan de ces deux études se complète et certains facteurs reviennent dans les deux études. Sans entrer dans les détails sur cet article, l'accès à votre site revient plusieurs fois comme un facteur déterminant.

Ce qui est utile ici, c'est que l'analyse de logs permet justement de mesurer cette donnée pour vos audits stratégiques, en fait un des outils de référence. Nous verrons donc un peu plus tard comment l'analyse de logs entre en jeu lors de vos audits.

Ce que le crawl et les logs apportent dans cette mesure

La grille d'évaluation qui compose votre audit mesure une suite de facteurs dont l'analyse de logs sera la source de collecte.

Si on compare la liste des facteurs avec ce qu'Oncrawl peut récupérer via le crawl et les logs, on voit que la technique et le maillage interne sont largement couverts.

Sur le plan technique, les logs sont donc indispensables pour une mesure efficace. Ils ne couvrent cependant pas tout et l'analyse de la marque et de sa réputation reste hors de portée de ces outils.

Ce n'est donc pas un outil isolé qui suffit à lui seul, il entre en jeu à plusieurs reprises lors de l'audit et appuie certains choix et prises de décision.

Ce que les logs montrent comme informations

Sept informations ressortent de vos logs

Chaque requête serveur reçue produit une ligne et cette ligne contient sept informations que l'analyseur de logs va extraire :

L'adresse IP
La date et l'heure
L'adresse demandée
Le code de réponse renvoyé
La taille en octets
Le référent
L'agent utilisateur

Les quatre premières informations montrent qu'une page a été demandée et servie. L'agent utilisateur permet de déclarer l'origine de la demande et le référent identifie si la visite est humaine.

Les logs établissent donc un accès aux pages

L'information que donne une ligne de log se limite à l'identification de l'agent utilisateur qui a exploré votre page et le code de réponse qu'il a reçu. Cet accès ne prouve jamais que la page a été indexée, analysée ou citée.

Le code 200 obtenu en retour ne prouve donc pas que le robot est parvenu à lire le contenu utile sur la page. Ce sera le cas par exemple d'une page construite en JavaScript qui peut répondre en 200 et rester inaccessible.

En revanche, l'absence d'exploration d'une page peut soulever des questions comme une problématique de maillage ou autre frein technique qui peut indirectement provoquer qu'une page soit mise de côté.

Les logs n'établissent pas ce qui a été fait sur une page, ils montrent juste qu'une exploration a eu lieu et identifient cet accès avec une série de données que l'outil d'analyse de logs exploite dans ses rapports.

En résumé, ce qu'une ligne de log dit et ne dit pas :

L'IP permet d'identifier les robots avec garantie

Le nom déclaré d'un robot peut être facilement usurpé par n'importe quel programme qui réutilise le nom officiel des robots IA.

La vérification que fait Oncrawl repose avant tout sur l'adresse IP qui assure de l'identité exacte d'un bot. Les adresses IP des bots chez OpenAI et Anthropic sont connues et publiées sur la documentation officielle.

Un bot IA n'est vérifié que quand son nom correspond bien à l'IP officielle partagée par l'éditeur du modèle. Sans cette donnée, la désignation n'est pas vérifiée et une analyse de logs doit bien respecter cette condition.

Votre outil d'analyse de logs doit donc officiellement confirmer que cette vérification par IP est effective et c'est justement ce que fait Oncrawl qui le confirme dans sa documentation officielle.

Sa vérification par IP se fait pour :

Certains robots ne sont pas identifiables dans les logs

Trois cas échappent à l'identification par les logs :

Aperçus IA et Mode IA de Google qui s'appuient sur l'index de Google et donc Googlebot par défaut.
Google-Extended qui assure l'entrainement de Gemini et qui ne dispose pas d'agent utilisateur propre.
Les robots qui s'identifient comme un navigateur.

Pourquoi j'ai choisi Oncrawl comme solution de référence

Mes critères de choix pour un outil d'analyse de logs

Plusieurs critères doivent entrer en compte dans le choix d'un outil :

La détection et l'identification par IP des principaux robots du marché
Une séparation claire entre les pages et les ressources (CSS, JavaScript et images)
La qualité des rapports proposés par l'outil
La connexion possible entre l'outil et d'autres outils tiers (GA4 ou GSC)
Un fonctionnement en SaaS évitant un usage en local
Une historisation possible des analyses
Des fonctionnalités de crawl avancées (contenu dupliqué, popularité interne, profondeur de site…)

Oncrawl est à la base un outil pensé pour des besoins SEO et qui a su prendre le tournant de l'AI Search en proposant de nouveaux rapports.

L'usage d'Oncrawl est donc hybride et peut couvrir vos besoins sur les deux métiers.

Que propose Oncrawl comme fonctionnalités ?

J'utilise Oncrawl aussi bien pour le crawl que pour les logs sans distinction et il propose six familles de robots dont trois pour l'IA :

Les robots d'entrainement
Les robots d'indexation de recherche
Les robots de récupération à la demande

Oncrawl sépare les pages et les ressources ce qui améliore la précision des analyses.
Chaque évènement de crawl est mesurable au niveau de l'heure sur une période de 90 jours.
Au niveau des pages, les données s'agrègent au niveau du jour / semaine / mois avec un historique pouvant atteindre 24 mois.

Un croisement est possible avec les outils d'analyse d'audience dont Piano Analytics et la Google Search Console.

Le passage des robots IA est classifié par famille de robots, par groupe de pages ou encore par code de réponse.

Deux limites sont à noter :

Certains robots ne sont pas vérifiés par IP (dont ceux d'Anthropic)
La mise en place des logs requiert un déploiement avec l'hébergeur ou le CDN

Les alternatives à Oncrawl

Botify est également connu comme un analyseur de logs réputé depuis l'ère du SEO. Il propose des solutions côté AI search que je n'ai pu tester directement
Screaming Frog Analyzer de Screaming Frog qui fonctionne comme logiciel de bureau et c'est la raison pour laquelle je ne l'utilise pas. Je cherche avant tout un fonctionnement en SaaS sur ce type de service pour simplifier la gestion des crawls réguliers sans solliciter un ordinateur de bureau.
Peec s'est également ouvert à ce service plus récemment avec Crawl Insight réservé au crawl IA classé en trois types également
Enfin la Search Console qui, à ce jour, ne permet de suivre que les robots de Google

Ce qui me fait aller vers Oncrawl est surtout l'approche métier avec un fonctionnement hybride, SEO et AI Search. Ses fonctionnalités avancées et son interface en font un outil de premier choix ainsi que le fonctionnement en SaaS qui le rend performant.

Ma méthode d'analyse sur quatre niveaux

Ma lecture des logs se fait sur quatre niveaux :

Le site : classifier les pages de mon site par échelle de mesure selon différents critères
Les robots : analyser les passages des robots et leur réponse d'accès rendue par le serveur
Les croisements : analyser les groupes de pages avec des données tierces pour mieux identifier un problème
La page : obtenir un bilan complet d'une page du site en perspective d'une repasse

Quelle que soit l'analyse entreprise, les logs permettent d'appuyer votre analyse avec des données fiables sur ce qui s'est passé sur votre site et vos pages. La granularité de l'analyse dépend de l'axe de votre analyse.

Une analyse peut cibler aussi bien un groupe de pages entier qu'une page isolée. On peut également partir d'un problème constaté pour voir quelles pages sont concernées.

Trois sujets à anticiper au moment de l'import des logs

Si vos pages sont servies par un CDN, ce sont les logs de ce dernier qui doivent être utilisés.
Pour chaque ligne, les informations requises doivent apparaitre (adresse, date, agent utilisateur et code de réponse)
La segmentation des pages est à faire comme dans la majorité des crawls avec la meilleure granularité possible.

Une analyse globale au niveau du site

Le module Lenses SEO Funnel

Pour l'analyse à l'échelle du site, la vue que je favorise est celle du SEO Funnel dans un rapport nommé Lenses.

Ce rapport se présente comme un funnel dans lequel les pages sont à un niveau selon leur statut :

Présente dans la structure
Accessible aux robots
Indexable
Optimisée

Cette vue donne évidemment un ordre de grandeur rapide de l'état global du site. Ce rapport permet une approche globale que l'on peut avoir au moment de l'audit sans un ciblage exact d'analyse.

Le rapport Ranking & Googlebot

Un second graphique un peu similaire sur cette approche globale est directement croisé avec la Search Console.

Il montre quatre niveaux :

Les pages dans la structure
Les pages que Google explore
Les pages qui se positionnent
Les pages qui reçoivent des visites

On croise donc ici à la fois le crawl, les logs et la Search Console.

La lecture de ces deux rapports au niveau du site en dit beaucoup et peut se lire ensemble. Ils permettent d'identifier les pages qui sont concernées par un problème et on peut ensuite définir la nature du problème.

Et pour les robots IA

Les deux derniers rapports ne concernent pas les robots IA une vue équivalente est proposée qu'Oncrawl appelle l'AI Search Lens.

Les pages explorées par un robot IA
Les pages qui font l'objet d'une récupération à la demande
Les pages qui reçoivent des visites depuis un assistant IA

L'analyse au niveau des robots

L'analyse au niveau des robots prend tout son sens côté IA bien entendu. La mesure se fait également à plusieurs niveaux :

Le comportement des bots qui suit les robots dans le temps
La catégorisation des bots selon trois familles
Les codes de réponse que les robots reçoivent lors de leurs passages

Le rapport de comportement des bots

Ce rapport en dit plus sur ce que font les robots sur le site avec quatre indicateurs clés :

Les accès à vos pages
Les pages explorées
Les pages découvertes pour la première fois
La fréquence d'exploration

On peut donc quantifier ici le rythme de l'exploration afin d'évaluer la tendance pour chaque famille de robots.

Cela reste un simple indicateur de mesure et non de performance business. Si votre suivi de prompts relève une baisse de citations, vous pouvez faire le pont avec ce rapport pour confirmer si cela vient d'une baisse d'exploration des robots IA.

Une lecture séparée des familles de robots

Si Oncrawl sépare les robots IA par famille, c'est pour une raison évidente du rôle qu'ils jouent dans la recherche IA et leur interaction avec les sites n'est pas la même. Il faut voir ce découpage par la fonction qu'ils servent :

Produire un corpus
Alimenter un index de recherche
Formuler une réponse

L'impact que ces robots ont sur la visibilité d'un site et d'une marque n'est pas le même.

Pour un robot d'entrainement, l'effet sur la visibilité est à long terme, car ce qu'il apprend sur une page sera peut-être réutilisé dans une réponse plus tard.

Les robots d'indexation de recherche fonctionnent comme Googlebot, à un rythme moins élevé que ce dernier. Leur rôle se rapproche donc de la demande réelle et donc de la citation.

Enfin, les robots de récupération à la demande sont ceux qui ont un utilisateur réel derrière l'exploration. Ils agissent sur des pages ciblées en nombre plus limité.

C'est la famille que je regarde le plus, car il révèle une demande utilisateur réelle, ce qui s'apparente à une véritable session utilisateur passant par un robot.

Pour chaque robot, les signaux à vérifier sont les mêmes et les facteurs de citation ne reposent pas sur cette catégorisation. Il est intéressant d'analyser les pages qu'ils explorent, mais aussi les ressources qu'Oncrawl distingue sur ses rapports.

Une famille de robots peut être bloquée tandis qu'une autre passe. La détection de code de réponse 404 ou 403 peut concerner une famille précise de robots.

Les agents IA ne sont pas classifiés sur Oncrawl

Oncrawl ne classe pas les agents sur son interface et leur identification est globalement moins facile.

Si on prend les agents d'OpenAI, les agents ne laissent pas une IP spécifique permettant de les identifier. La signature laissée par l'agent n'est pas identifiable dans un jeu de logs.

Pour les agents qui passent directement par un navigateur, ils peuvent être confondus avec un utilisateur réel. Seuls les agents de Google sont identifiés sous le nom de Google-Agent avec des adresses publiées par Google.

L'analyse de logs ne permettra donc pas de monitorer efficacement les agents IA : c'est une limite dont il faut tenir compte.

L'analyse croisée pour aller plus loin

Les logs apportent des données qu'aucun autre outil ne peut apporter, mais la donnée prend davantage de valeur avec une connexion auprès des outils tiers.

L'inrank analyse le maillage face à la fréquence d'exploration

L'Inrank est l'indicateur de référence de la popularité interne comme beaucoup d'outil en proposent. Il repose sur le principe du PageRank, appliqué aux liens internes avec une notation allant de 0 à 10. Cette popularité reste une mesure interne d'un site et ne prend pas en compte la popularité externe du domaine.

Le rapport SEO Impact Report fait un croisement entre l'Inrank et les logs. Cela donne beaucoup de valeur, car il pose un lien entre la popularité interne d'une page sur un site et sa fréquence d'exploration. Il peut donc facilement montrer qu'une page en déficit de popularité interne est impactée en termes d'exploration.

Le niveau de profondeur entre en compte dans cette mesure de l'Inrank.

Cette analyse peut aussi bien se faire à l'échelle d'une page ou d'un groupe de pages.

La Search Console renforce l'analyse SEO

Sur la partie SEO, la connexion des logs à la Search Console apporte une donnée intéressante qui manque aux logs en apportant les données d'indexation et de performance dont la Search Console dispose.

Les rapports d'erreurs de la Search Console sont souvent obsolètes et remontent de faux positifs. Avec les logs, ces erreurs sont mieux confirmées comme étant réelles.

Les rapports de la Search Console vous laissent souvent avec des échantillons limités à 1000 URL dont l'origine reste inconnue. Passer par les logs peut lever cette limite native à la Search Console car la donnée des logs n'est pas limitée contrairement à la GSC.

Vos outils analytiques connectés à Oncrawl

Si vous souhaitez faire le pont avec une donnée business concrète, il est possible de connecter les outils analytiques à Oncrawl.

Quand le critère de choix repose sur la performance business et la conversion, ces données prennent du sens et aident à la prise de décision.

Ajouter un revenu ou taux de conversion à vos pages analysées pour associer la fréquence d'exploration aux pages générant réellement du business.

L'analyse au niveau de la page

Le rapport URL Details est un des rapports les plus complets d'Oncrawl. Il représente la fiche qu'Oncrawl forme avec l'ensemble des données disponibles autour d'une URL.

Le rapport peut sembler assez classique, mais la richesse de son état des lieux en fait une des meilleures bases pour une repasse sémantique sur une page.

Trois onglets forment cette fiche

L'état des lieux complet repose sur trois sections distinctes :

Les données du crawl qui donnent l'indexation, la profondeur, le maillage interne, le balisage, données structurées, contenu et performance.
Les données issues des logs qui montrent les passages de Google, leur fréquence et les codes de réponse qu'il reçoit.
Les données de classement issues de la Google Search Console et de votre outil analytique.

Le rapport complet forme une fiche de synthèse complète qui sert d'appui à une repasse approfondie d'une page.

Ce rapport est donc idéal pour vos travaux approfondis sur des pages de référence.

Le rapport ne sert pas l'AI Search, mais uniquement les métriques du crawl et tout ce qui concerne Googlebot au niveau des logs.

Les logs servent aussi au suivi

Les logs n'ont pas un intérêt qui s'arrête à la phase d'audit ou d'analyse de pages. Les logs ont également un intérêt fort pour le suivi et cela d'autant plus du côté de l'AI Search.

Comme je l'ai expliqué précédemment, ma lecture des logs part du site pour s'intéresser ensuite aux robots puis aux pages, tout en passant par des croisements d'analyses avec différentes sources (Crawl, GSC, GA4).

La phase de suivi et de monitoring est également très performante par les logs.

Quand vos logs sont connectés à Oncrawl, les rapports d'analyse deviennent des outils de suivi aussi bien pour le SEO que l'AI Search.

Une lecture dont vous définissez le rythme (mensuelle, hebdomadaire ou quotidienne) transforme l'outil en interface de suivi.

Pour l'AI Search, il devient également un rapport de visibilité avec les hits et explorations qui représentent des visites utilisateurs indirectes.

L'analyse de logs apporte ainsi une valeur ajoutée importante à votre suivi de visibilité qui manque de données concrètes.

En conclusion

À l'ère du SEO, la pratique des logs n'était pas systématique et réservée aux sites où l'enjeu du budget crawl justifiait cette dépense.

Désormais, la bascule AI Search devient un nouvel argument qui remet cette pratique sur la table.

La dépense de l'outil doit justifier de son intérêt. Le suivi des bots va imposer cette pratique à partir de maintenant sans quoi vos analyses et constats reposeront sur des données incomplètes et non vérifiées.

Les enjeux forts qui tiennent de cette étape de transition vers l'AI Search m'ont largement convaincu que c'est dorénavant un outil indispensable de l'expert SEO et GEO en 2026.