You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Enquêter sur la possibilité de cette suite d'évènements amenant à cette inconsistance :
le catalogue de datagouv est constitué quotidiennement à t1
les données BOAMP sont mises à jour par les équipes BOAMP et la nouvelle URL est propagée dans hydra
le catalogue généré en 1) est chargé par hydra quotidiennement et écrase les URLs précédentes
-> le catalogue chargé dans hydra comporte donc une ancienne URL pour ces données.
Le crawling devant se déclencher à l'étape 2) suite à la màj, l'URL utilisée devrait pourtant être la bonne avant que l'étape 3) n'arrive.
Possibilité : lors du catalog, toutes les resources sont marquées comme DELETED=TRUE. Si l'update a lieu pendant le load, le crawling ne se déclenche donc pas, jusqu'à ce que la ligne ait été mise à jour lors du load (et l'URL écrasée).
Edit
Autre possibilité : Il y avait un soucis sur l'étape 2) à cause du payload envoyé à hydra. Un correctif a été effectué depuis : datagouv/hydra#93
On dépriorise le ticket pour l'instant.
The text was updated successfully, but these errors were encountered:
Par exemple sur https://www.data.gouv.fr/fr/datasets/tables-aufilduboamp-2024/ le 10 mars.
L'URL crawlée par hydra n'était pas celle de la ressource sur data.gouv.fr.
Enquêter sur la possibilité de cette suite d'évènements amenant à cette inconsistance :
-> le catalogue chargé dans hydra comporte donc une ancienne URL pour ces données.
Le crawling devant se déclencher à l'étape 2) suite à la màj, l'URL utilisée devrait pourtant être la bonne avant que l'étape 3) n'arrive.
Possibilité : lors du catalog, toutes les resources sont marquées comme DELETED=TRUE. Si l'update a lieu pendant le load, le crawling ne se déclenche donc pas, jusqu'à ce que la ligne ait été mise à jour lors du load (et l'URL écrasée).
Edit
Autre possibilité : Il y avait un soucis sur l'étape 2) à cause du payload envoyé à hydra. Un correctif a été effectué depuis : datagouv/hydra#93
On dépriorise le ticket pour l'instant.
The text was updated successfully, but these errors were encountered: