Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Problème de synchro entre le catalogue datagouv & hydra #1313

Open
maudetes opened this issue Mar 11, 2024 · 0 comments
Open

Problème de synchro entre le catalogue datagouv & hydra #1313

maudetes opened this issue Mar 11, 2024 · 0 comments
Labels
💙 Back Les tickets de back Bug Indique qu’il s’agit d’un problème

Comments

@maudetes
Copy link
Contributor

maudetes commented Mar 11, 2024

Par exemple sur https://www.data.gouv.fr/fr/datasets/tables-aufilduboamp-2024/ le 10 mars.
L'URL crawlée par hydra n'était pas celle de la ressource sur data.gouv.fr.

Enquêter sur la possibilité de cette suite d'évènements amenant à cette inconsistance :

  1. le catalogue de datagouv est constitué quotidiennement à t1
  2. les données BOAMP sont mises à jour par les équipes BOAMP et la nouvelle URL est propagée dans hydra
  3. le catalogue généré en 1) est chargé par hydra quotidiennement et écrase les URLs précédentes
    -> le catalogue chargé dans hydra comporte donc une ancienne URL pour ces données.

Le crawling devant se déclencher à l'étape 2) suite à la màj, l'URL utilisée devrait pourtant être la bonne avant que l'étape 3) n'arrive.

Possibilité : lors du catalog, toutes les resources sont marquées comme DELETED=TRUE. Si l'update a lieu pendant le load, le crawling ne se déclenche donc pas, jusqu'à ce que la ligne ait été mise à jour lors du load (et l'URL écrasée).

Edit
Autre possibilité : Il y avait un soucis sur l'étape 2) à cause du payload envoyé à hydra. Un correctif a été effectué depuis : datagouv/hydra#93
On dépriorise le ticket pour l'instant.

@maudetes maudetes added Bug Indique qu’il s’agit d’un problème 💙 Back Les tickets de back labels Mar 11, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
💙 Back Les tickets de back Bug Indique qu’il s’agit d’un problème
Projects
Status: 🛠 Doing
Development

No branches or pull requests

1 participant