Bronze, argent, or : l’entrepôt en trois étages
Le nouveau socle s’organise en couches successives, et la métaphore est plus honnête qu’il n’y paraît. Chaque étage raffine le précédent, et chacun reste entièrement recalculable depuis celui d’en dessous.
fait vérifié par comptage en cours ça tourne en ce moment à venir planifié, pas commencé
La copie fidèle
faitChaque table des systèmes actuels, recopiée à l’identique sur un stockage indépendant, sans aucune transformation, avec des comptages vérifiés ligne à ligne. C’est l’assurance absolue. Quoi qu’il arrive ensuite, rien n’est perdu, tout peut être rejoué.
- 7,58 milliards de lignes copiées depuis les deux bases historiques. Écart constaté : zéro (comptage exhaustif).
- Si une conversion s’avère fausse plus tard, on rejoue depuis le bronze ; chaque mesure garde la trace du lot d’ingestion qui l’a produite.
Le fonds canonique
calcul en coursLa donnée mise au propre : une seule table observation où une ligne
égale une mesure, quel que soit le système d’origine. C’est là que « toutes les
températures de cette station depuis 2005 » devient une question triviale. Environ
35 milliards de mesures sont attendues à l’arrivée.
- Le dictionnaire des 131 paramètres (noms, unités, bornes) : validé, zéro trou de couverture sur les sources.
- L’annuaire unifié des stations, identités croisées et datées.
- Les règles de préséance entre sources, documentées et gelées.
Les produits finis
à venirLes bilans climatologiques, les exports open data, les vues qu’affiche le site, les datasets pour la recherche. Leur propriété clé, c’est qu’ils sont entièrement recalculables depuis l’argent. Un bug découvert dans un calcul de normales ? On corrige, on relance, terminé. Plus jamais de tableau qu’on n’ose pas retoucher.
- La recette est déjà prouvée : un témoin complet a reproduit la climatologie journalière du site à 99,84–99,98 % selon la grandeur.
- Chaque dataset aura son contrat publié : colonnes, unités, garanties.
Les prises
en constructionLa même donnée, plusieurs façons d’y accéder : le fichier téléchargeable pour l’analyse massive, l’API pour les applications, le SQL pour les partenaires, l’assistant pour poser la question en français. Et deux profondeurs partout : l’archive (figée, citable, reproductible) et le direct (une base temps réel alimentée en continu, fraîcheur en minutes).
Le contrôle par témoins : des millions de valeurs de vérification gratuites
Les bilans officiels Météo-France (mensuels, décadaires) sont copiés eux aussi, mais comme témoins, jamais comme source de calcul. Nos propres bilans, recalculés depuis les observations, sont comparés aux leurs sur plus de deux siècles. Si nos règles divergent des leurs quelque part, ça se voit tout de suite. C’est ce même principe de témoin qui a validé la recette de la climatologie recalculée (99,84–99,98 % de réconciliation), et chaque divergence résiduelle garde une explication.
Et c’est rapide ?
Oui, et le chiffre est mesuré, pas estimé. Sur le fonds en construction, une requête d’archive type (compter et parcourir des dizaines de millions de mesures d’un paramètre) est passée de 344 secondes à 2 secondes après le passage en lecture native du format d’archive. L’ordre de grandeur change la nature de ce qu’on peut proposer. L’exploration interactive de 250 ans de données devient un usage normal, pas un traitement de nuit.
Pour les curieux techniques : la pile
Parquet + Apache Iceberg sur stockage objet S3, catalogue REST auto-hébergé, requêtable par n’importe quel moteur compatible (DuckDB en tête). Les couches bronze, argent et or vivent dans le stockage objet, c’est lui qui porte la vérité des données ; la machine de fabrication est remplaçable. Le serving temps réel s’appuie sur une base TimescaleDB alimentée en continu, avec les mêmes règles de vocabulaire et de préséance que l’archive. Le gain 344 s → 2 s vient de la lecture Iceberg native (élagage des partitions et des fichiers) à la place d’une vue à liste plate. Formats ouverts de bout en bout : moteurs interchangeables, zéro dépendance à un éditeur. La seule chose qui doive durer trente ans de plus, ce sont les données, pas la pile logicielle.
Où tourne le chantier ?
Sur une infrastructure dédiée, indépendante de la production. Le site n’encaisse rien du chantier, et le chantier ne touche pas au site. Les bases de production sont lues, jamais modifiées. À l’issue de la phase d’expérimentation, la cible de production sera hébergée sur l’infrastructure de l’association. Et l’archive complète du patrimoine, une fois compressée au format colonne, se stocke pour quelques euros par mois.