DOC: documenteer en toon laatste bijwerking per bron

[guidol-ive]

Wens:

• documenteer op site wanneer de bijwerkmomenten beginnen
• laat in de API met bronnen zien wanneer de laatste actualisatie is begonnen en afgerond succesvol. Laat ook een indicator zien van falen zoals oorzaak laatste gedaalde actualisatie of aparte lijst voor bron met audit actualisaties afgelopen weken.

Deze functionaliteit en informatie helpt om te duiden voor raadsleden of de informatie voldoende actueel is, los van andere zorgen over de status van documenten.

Ook vanuit lokale journalistiek kwam deze vraag.

[guidol-ive]

Iets zoals https://berthub.eu/tkconv/lastupdates

Zie https://github.com/berthubert/tkconv

[joepio]

Dit is een terechte wens, en vandaag kwam er een meting voorbij die precies laat zien waarom.

Bij het uitzoeken van iets anders bleek dat de geplande imports van elke iBabs-bron al minstens sinds 10 augustus faalden: 90 van 90 runs per nacht afgebroken, elk met nul vergaderingen, nul documenten en geen enkele logregel. Notubiz en Parlaeus liepen op dezelfde nachten foutloos — 129 van 129.

ibabs      90 runs  →   0 geslaagd
notubiz   126 runs  → 126 geslaagd
parlaeus    3 runs  →   3 geslaagd

De oorzaak was een botsing tussen twee tijdslimieten die niets van elkaar wisten: de rem op de iBabs-API houdt verzoeken tot vijftien minuten vast wanneer die leverancier ons afknijpt, terwijl de bewaker een run na tien minuten zonder voortgang afbrak. Elke run die een volledige wachttijd trof werd dus gedood voordat hij verder kon. Dat is gerepareerd — de bewaker wordt nu afgeleid van die maximale wachttijd, zodat de twee niet meer uit elkaar kunnen lopen.

Waar het jouw verzoek raakt: 166 van de 330 bronnen zijn vijf dagen lang niet bijgewerkt en dat was aan de buitenkant nergens te zien. Precies het gat dat je beschrijft. Voor een raadslid of journalist die zich afvraagt of iets actueel is, is dat het verschil tussen "er is niets" en "wij weten het niet".

Het tkconv-voorbeeld is nuttig, dank — dat is een compacte vorm die laat zien wat er per bron wanneer is gebeurd, inclusief het uitblijven ervan.

We hebben de gegevens er in ruwe vorm al voor: per bron wordt vastgelegd wanneer een run begon, of hij slaagde, hoeveel er verwerkt is en wat er misging. Wat ontbreekt is dat ontsluiten in de API en op de site. Dat is werk dat nog gepland moet worden; ik zeg er geen termijn bij.

[guidol-ive]

Zie ook #205 en https://besluitbron.nl/status (met alle onzekerheden).

[joepio]

Stand van zaken: /api/status geeft per bron lastRunAt, lastSuccessAt, lastRunStatus, lastIndexedAt en latestContentDate, en per leverancier een samenvatting van het venster; sinds #264 ook de wekelijkse dekkingsmeting (coverage). De nachtelijke import start om 00:00 UTC. Wat nog open staat uit deze wens is de oorzaak van de laatste mislukte actualisatie en een auditlijst van de afgelopen weken in de API.