Skip to content
Snippets Groups Projects

Faster import of data (can now handle large datasets quickly)

Merged Elise Maigné requested to merge dev-fastimport into master
  • Optimisation côté R (passage par data.table si ça marche, sinon ancien comportement)
  • Optimisation côté backend (ne plus envoyer les 5 premières lignes - si bcp de colonnes ça ne passait pas). On écrit le fichier en entier, puis R se charge de lire les 5 premères lignes tout seul. Fichier non réécrit à chaque changement de paramètres !

Les tests sont OK

Edited by Elise Maigné

Merge request reports

Loading
Loading

Activity

Filter activity
  • Approvals
  • Assignees & reviewers
  • Comments (from bots)
  • Comments (from users)
  • Commits & branches
  • Edits
  • Labels
  • Lock status
  • Mentions
  • Merge request status
  • Tracking
  • Loading
  • Loading
  • Loading
Please register or sign in to reply
Loading