Erreur lors de l'import des données

[m-beng]

Bonjour,
Environnement :
Windows 7, ruby 2.4.2, Postgres 11, Git dernière version, bundler installé, Jva Version 8 Update 211.

Dès que j'essaie d'importer les derniers fichiers RNA, j'obtiens les erreurs suivantes (j'obtiens les mêmes erreurs avec l'API SIRENE) :

bundle exec rake rna_as_api:import_last_monthly_stocks

** Invoke db:create (first_time)
** Invoke db:load_config (first_time)
** Invoke environment (first_time)
** Execute environment
** Execute db:load_config
** Execute db:create
Database 'rna_as_api_development' already exists
Database 'rna_as_api_test' already exists

C:\Users\Maria\Desktop\Vera\RNA\ASSO>bundle exec rails db:migrate
** Invoke db:migrate (first_time)
** Invoke db:load_config (first_time)
** Invoke environment (first_time)
** Execute environment
** Execute db:load_config
** Execute db:migrate
== 20180725135711 CreateAssociations: migrating ===============================
-- create_table(:associations)
-> 0.3362s
-- execute("create index on associations (id_association);")
-> 0.0104s
-- execute("create index on associations (id_ex_association);")
-> 0.0097s
-- execute("create index on associations (siret);")
-> 0.0093s
== 20180725135711 CreateAssociations: migrated (0.3720s) ======================

** Invoke db:_dump (first_time)
** Execute db:_dump
** Invoke db:structure:dump (first_time)
** Invoke db:load_config
** Execute db:structure:dump

C:\Users\Maria\Desktop\Vera\RNA\ASSO>bundle exec rake rna_as_api:import_last_mon
thly_stocks
** Invoke rna_as_api:import_last_monthly_stocks (first_time)
** Invoke environment (first_time)
** Execute environment
** Execute rna_as_api:import_last_monthly_stocks
------> Visiting distant repository (https://www.data.gouv.fr/fr/)
✓ Retrieved last monthly stock links : ["https://media.interieur.gouv.fr
/rna/rna_waldec_20190603.zip", "https://media.interieur.gouv.fr/rna/rna_import_2
0190603.zip"]
✓ Link https://media.interieur.gouv.fr/rna/rna_waldec_20190603.zip was s
uccessfully reached
✓ Link https://media.interieur.gouv.fr/rna/rna_import_20190603.zip was s
uccessfully reached
------> Parsing monthly stocks...
------> Monthly stocks parsed :
last waldec is {:link=>"https://media.interieur.gouv.fr/rna/rna_waldec_201
90603.zip", :name=>"rna_waldec_20190603.zip", :date=>mon, 03 jun 2019},
last import is {:link=>"https://media.interieur.gouv.fr/rna/rna_import_201
90603.zip", :name=>"rna_import_20190603.zip", :date=>mon, 03 jun 2019}
------> Checking which monthly stock to apply...
✓ New waldec file will be imported
------> Database waldec will be deleted
✓ Database waldec successfully deleted
------> Attempting to download waldec
✓ Downloaded rna_waldec_20190603.zip successfuly
✓ Unzipped file tmp/files/rna_waldec_20190603.csv successfully
------> Converting tmp/files/rna_waldec_20190603.csv to correct encoding...
✓ File tmp/files/rna_waldec_20190603.csv converted correctly to tmp/file
s/rna_waldec_20190603_reencoded.csv !
------> Starting csv import of tmp/files/rna_waldec_20190603_reencoded.csv
------> Computing number of rows...
C:/Ruby24-x64/bin/rake: No such file or directory - wc -l tmp/files/rna_waldec_2
0190603_reencoded.csv
rake aborted!
NoMethodError: undefined method split' for nil:NilClass C:/Users/Maria/Desktop/Vera/RNA/ASSO/app/interactors/import_monthly_stock_csv.rb :48:in compute_row_number'
C:/Users/Maria/Desktop/Vera/RNA/ASSO/app/interactors/import_monthly_stock_csv.rb
:5:in block in <class:ImportMonthlyStockCsv>' C:/Users/Maria/Desktop/Vera/RNA/ASSO/app/interactors/start_import_if_needed.rb:2 7:in import_file_waldec_if_needed'
C:/Users/Maria/Desktop/Vera/RNA/ASSO/app/interactors/start_import_if_needed.rb:1
5:in call' C:/Users/Maria/Desktop/Vera/RNA/ASSO/app/interactors/start_import_if_needed.rb:8 :in block in class:StartImportIfNeeded'
C:/Users/Maria/Desktop/Vera/RNA/ASSO/lib/tasks/rna_as_api.rake:4:in `block (2 le
vels) in <top (required)>'
Tasks: TOP => rna_as_api:import_last_monthly_stocks
(See full trace by running task with --trace)

Merci par avance pour toute l'aide que vous pourrez m'apporter.

Cdt.

[Samuelfaure]

Bonjour,

Je vois dans les logs :

File tmp/files/rna_waldec_20190603.csv converted correctly to tmp/file
s/rna_waldec_20190603_reencoded.csv !

Et par la suite :

C:/Ruby24-x64/bin/rake: No such file or directory - wc -l tmp/files/rna_waldec_2
0190603_reencoded.csv

Le fichier est supposé être bien réencodé dans rna_as_api/tmp/files (Pouvez vous verifier ?)
Sinon je vois que vous êtes sous windows, nous n'avons pas prévu l'utilisation de cet outil dans un environnement non-UNIX. Beaucoup de choses peuvent mal se passer...

[m-beng]

Bonjour,

Merci pour cette réponse rapide.

Le fichier est bien présent. J'avais réussi à résoudre cette difficulté avec l'api SIRENE en éditant cette ligne (ligne 48) context.number_of_rows = wc -l #{context.csv_filename}.split.first.to_i - 1, dans le fichier "/app/interactors/import_monthly_stock_csv.rb". Le processus évoluait alors mais finissait par échouer en levant l'erreur suivante : "undefined method split...".

J'avais espéré qu'un autre utilisateur windows ait résolu le problème, je vais installer une machine virtuelle Linux (Ubuntu Server), ou essayer sous Mac, ce sera plus simple.
Mais je vais continuer en parallèle à essayer de résoudre ce problème, je n'aime pas m'avouer vaincu.

Un grand merci encore pour votre réponse rapide et pour votre travail !

[Samuelfaure]

Avec plaisir. Je dois vous prévenir que la plupart des développeurs Ruby que j'ai rencontré disent qu'il est plus simple d'installer un dual boot linux que de tenter d'utiliser Ruby sous windows ;)

(sinon pour votre cas en particulier, le script utilise le programme wc présent a priori sur toutes les distribs unix, c'est probablement là le soucis...)

[Samuelfaure]

(je ferme, mais vous pouvez reecrire au besoin)