1. Une chaîne de collecte qui tourne chaque nuit
- Contexte
- Un comparateur n'a de valeur que si ses prix sont frais. Les marchands publient leurs offres sous des formats différents (flux d'affiliation, fichiers, pages).
- Données
- Les flux bruts de chaque marchand, une ligne par offre, rechargés à chaque passage.
- Méthode
- Une chaîne de nuit en étapes ordonnées : relevé, normalisation, rapprochement, contrôles, calcul des statistiques de fiche. Chaque étape écrit son journal ; un prix non vérifié depuis plus de 24 heures est signalé, jamais présenté comme à jour.
- Résultat
- Des prix relevés quotidiennement et une fraîcheur mesurable par marchand.
- Recommandation
- Mesurer la fraîcheur par source plutôt qu'en moyenne : un seul flux périmé suffit à fausser un comparatif.