Search crawler indexering voor vindbaarheid buiten openbesluitvorming om

[guidol-ive]

De meeste mensen zullen niet weten van het bestaan van openbesluitvorming. En tijdens een eerder onderzoek bleek dat de meeste Raadsinformatiesystemen de data niet aan Google beschikbaar maken. De data is enkel vindbaar via de (soms kromme) eigen user interface, terwijl de documenten wel bewust publiekelijk leesbaar zijn mits je de URL kent.

Een workaround die het traffic naar de raadsinformatiesystemen verhoogt is als volgt:

• maak een sitemap.xml met daarin landing pagina's per gemeente, bijvoorbeeld 1 per orgaan
• maak alle documenten - eventueel met jaren - van dat orgaan vindbaar voor search engine crawlers.

Zo kunnen die crawlers toch gaandeweg de stukken indexeren zodat veel meer mensen de voor hun relevante stukken kunnen vinden via een search engine of AI.

Voorbeeld sitemap.xml

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://openarchivaris.nl/org/gemeente-venlo</loc>
<lastmod>2025-12-17T00:00:00Z</lastmod>
</url>
...

Voorbeeld pagina met gemeente documenten:

https://openarchivaris.nl/de/org/gemeente-venlo

[guidol-ive]

Mocht niet op deze wijze gebouwd worden: een sitemap.xml is ook al veel waard, zodat google weet welke pagina's er wel of niet bijgewerkt zijn.

[joepio]

Stand van zaken en een voorstel.

Wat er al is: elk document, elke vergadering en elke motie heeft sinds augustus een eigen adres (/?view=<id>), robots.txt nodigt crawlers uitdrukkelijk uit en llms.txt beschrijft de collectie voor taalmodellen. Wat er niet is, is een sitemap, dus een crawler moet die adressen via de zoekresultaten ontdekken, en dat doet Google maar mondjesmaat bij 5,8 miljoen stukken.

Voorstel, in twee stappen die los van elkaar waarde hebben:

1. sitemap.xml als index met één sitemap per organisatie, en daarin per organisatie de vergaderingen en documenten van de laatste twaalf maanden met lastmod uit het export-log. Dat blijft ver onder de grens van 50.000 adressen per bestand voor bijna alle organisaties (Amsterdam en Rotterdam splitsen per kwartaal) en is uit het export-log te genereren als onderdeel van de nachtelijke run. Geschat: een dag werk.
2. Een landingspagina per organisatie (/gemeente/<key>) met de recentste vergaderingen en stukken als echte HTML-links, zodat crawlers de collectie ook zonder sitemap kunnen volgen en mensen een deelbare pagina per gemeente hebben. Dat raakt de ontwerpkant en is een productbeslissing; ik laat dit issue daarvoor open.

Stap 1 kan ik oppakken zodra dat gewenst is; het is een keuze of we het crawlen actief willen aanjagen (verkeer en indexeringslast) of alleen mogelijk willen maken.