Veille Valobat
Robot de collecte VeilleValobat
Cette page présente le robot qui visite votre site pour le compte de l’outil de veille Veille Valobat, exploité par Ouidou, pour le compte de Valobat.
Ce qu’il fait
Il lit des pages publiques choisies une à une (actualités, publications, plans et documents officiels) pour signaler leurs nouveautés à une équipe de veille. Il ne remplit aucun formulaire, ne se connecte à aucun compte et ne parcourt pas le site au-delà des pages suivies et des documents qu’elles citent.
Une page suivie est lue une à trois fois par jour, une fois par heure au plus pendant les périodes de publication attendues, et parfois à la demande d’un membre de l’équipe.
Comment le reconnaître
Il s’annonce avec cet agent HTTP :
VeilleValobat/0.2 (+https://veille.ia.tech.ouidou.fr/robot; mathis.delrue@ouidou.fr)
Dans robots.txt, il suit le groupe User-agent: VeilleValobat s’il existe, sinon le groupe User-agent: *.
Chaque requête est signée (Web Bot Auth, signatures HTTP de la RFC 9421, clé Ed25519) et porte l’en-tête Signature-Agent: "https://veille.ia.tech.ouidou.fr". La clé publique est publiée à l’adresse /.well-known/http-message-signatures-directory (empreinte RY-A1VFviNtiFmQzv1KYBqa66RBKU-nRx-m6vM_ttbk).
Les règles qu’il suit
- Il lit robots.txt avant chaque visite et n’ouvre aucune adresse interdite.
- Il laisse au moins 2 s entre deux requêtes vers un même site, ou le Crawl-delay que vous déclarez s’il est plus long.
- Sur une réponse 429 ou 503 avec Retry-After, il attend le délai demandé et ne réessaie qu’une fois.
- Il ne contourne aucune protection : une page de vérification ou un refus est noté, et l’accès est demandé au propriétaire du site.
Seules exceptions à robots.txt, déclarées une à une : des API open data documentées pour un usage programmé, appelées une fois par jour et par entreprise suivie.
https://bodacc-datadila.opendatasoft.com: API open data du BODACC (DILA, Licence ouverte), documentée pour un usage programméhttps://www.info-financiere.gouv.fr: API open data de l'information financière réglementée (AMF, Licence ouverte)https://fr.ftp.opendatasoft.com: Fichiers des communiqués désignés par l'API de l'AMF (champ url_de_recuperation)
Ne plus être visité, ou nous écrire
Pour fermer votre site à ce robot, ajoutez à votre robots.txt :
User-agent: VeilleValobat Disallow: /
Pour toute question, une demande de réglage ou un signalement : mathis.delrue@ouidou.fr.