Gestion des exports : Différence entre versions

De Wiki Biolovision
Sauter à la navigation Sauter à la recherche
(Nouvelle page : Nous avons ajouté en 2010 un nouvel export symbolisé par une sorte de petite disquette bleue sur fond de cylindre gris (BDD). Cet export est un export TXT (séparé par des tabula...)
 
Ligne 1 : Ligne 1 :
Nous avons ajouté en 2010 un nouvel export symbolisé par une sorte de petite disquette bleue sur fond de cylindre gris (BDD).
+
Nous avons ajouté en 2010 un nouvel export symbolisé par une sorte de petite disquette bleue sur fond de cylindre gris (BDD).  
  
Cet export est un export TXT (séparé par des tabulations), comme celui déjà existant mais qui a la particularité de ne pas utiliser de mémoire. Vous pouvez donc télécharger toute la base de donnée si cela vous chante (et si vous en avez les droits), il n’y aura plus de message « plus de mémoire ». Par contre, il y a une contrepartie : les données ne sont plus triées, elles sont plus ou moins dans l’ordre de saisie (mais c’est pas garanti, c’est le système qui choisit en fonction de ce qui l’arrange). Corolaire de ce non-tri, les données contiennent « des doublons ». En fait, les données ne peuvent pas être agrégées (car pas de tri), il y a donc une ligne pour chaque détail (par ex : si une donnée contient 11 individus, 8 migrateurs, 1 local et 2 possibles, il y aura 3 lignes
+
Cet export est un export TXT (séparé par des tabulations), comme celui déjà existant mais qui a la particularité de ne pas utiliser de mémoire. Vous pouvez donc télécharger toute la base de donnée si cela vous chante (et si vous en avez les droits), il n’y aura plus de message « plus de mémoire ». Par contre, il y a une contrepartie : les données ne sont plus triées, elles sont plus ou moins dans l’ordre de saisie (mais c’est pas garanti, c’est le système qui choisit en fonction de ce qui l’arrange). Corolaire de ce non-tri, les données contiennent « des doublons ». En fait, les données ne peuvent pas être agrégées (car pas de tri), il y a donc une ligne pour chaque détail (par ex : si une donnée contient 11 individus, 8 migrateurs, 1 local et 2 possibles, il y aura 3 lignes  
  
(11 individus et 8 migrateurs, 11 individus et 1 local, 11 individus et 2 possibles). Idem s’il y a des photos, les lignes sont dupliquées pour chaque photo (3 photos => 3x la même ligne).
+
(11 individus et 8 migrateurs, 11 individus et 1 local, 11 individus et 2 possibles). Idem s’il y a des photos, les lignes sont dupliquées pour chaque photo (3 photos =&gt; 3x la même ligne).<br>
  
 +
Toutefois, c’est assez facilement traitable par Excel en filtrant sur le numéro de référence de la donnée.
  
 +
<br>
  
Toutefois, c’est assez facilement traitable par Excel en filtrant sur le numéro de référence de la donnée.
+
[[Image:Export excel BDD.png|frame|center]]
  
  
  
[[Image:Export_excel_BDD.png|frame|center]]
+
Cela apporte toutefois aussi un avantage&nbsp;: il est beaucoup plus facile de traiter les données concernant les âges ou les phases car il n’y a qu’une info par ligne et en utilisant l’outil de suppression des doublons d’Excel, c’est facile d’extraire ces données pour analyse séparée.<br>
 
 
Cela apporte toutefois aussi un avantage : il est beaucoup plus facile de traiter les données concernant les âges ou les phases car il n’y a qu’une info par ligne et en utilisant l’outil de suppression des doublons d’Excel, c’est facile d’extraire ces données pour analyse séparée.
 
 
 
 
 
 
 
Au passage, j’ai constaté un bug concernant les exports contenant des formulaires (c’est le cas de TOUTES les données de migraction, donc migraction était particulièrement touché), en effet, les exports contenant des formulaires utilisaient beaucoup trop de mémoire et donc les exports qui pouvaient être réalisé étaient ridiculeusement petits. Ce problème est maintenant corrigé et vous devriez pouvoir utiliser les autres exports pour un volume plus important qu’avant.
 
 
 
 
 
 
 
Le nouvel export n’a bien sûr pas cette limitation et vous pouvez télécharger 1 million de donnée si vous voulez. J’ai toutefois mis une limite de temps car il faut environ 5 minutes par bloc de 300'000 données. Pour ne pas surcharger les systèmes en cas de dysfonctionnement (téléchargement avorté par exemple), j’ai mis une limite à 30 minutes ce qui devrait quand même permettre de télécharger 2 millions de données, soit 4x ce qui est actuellement dans la base. Je changerais quand la limite sera trop limitante J
 
  
 +
Au passage, j’ai constaté un bug concernant les exports contenant des formulaires (c’est le cas de TOUTES les données de migraction, donc migraction était particulièrement touché), en effet, les exports contenant des formulaires utilisaient beaucoup trop de mémoire et donc les exports qui pouvaient être réalisé étaient ridiculeusement petits. Ce problème est maintenant corrigé et vous devriez pouvoir utiliser les autres exports pour un volume plus important qu’avant.<br>
  
 +
Le nouvel export n’a bien sûr pas cette limitation et vous pouvez télécharger 1 million de donnée si vous voulez. J’ai toutefois mis une limite de temps car il faut environ 5 minutes par bloc de 300'000 données. Pour ne pas surcharger les systèmes en cas de dysfonctionnement (téléchargement avorté par exemple), j’ai mis une limite à 30 minutes ce qui devrait quand même permettre de télécharger 2 millions de données, soit 4x ce qui est actuellement dans la base. Je changerais quand la limite sera trop limitante J<br>
  
 
Attention toutefois, n’utilisez pas cette fonction à tort et à travers, faire des exports utilise quand même pas mal de ressource et il ne faudrait pas que cela surcharge trop.
 
Attention toutefois, n’utilisez pas cette fonction à tort et à travers, faire des exports utilise quand même pas mal de ressource et il ne faudrait pas que cela surcharge trop.

Version du 19 janvier 2012 à 18:13

Nous avons ajouté en 2010 un nouvel export symbolisé par une sorte de petite disquette bleue sur fond de cylindre gris (BDD).

Cet export est un export TXT (séparé par des tabulations), comme celui déjà existant mais qui a la particularité de ne pas utiliser de mémoire. Vous pouvez donc télécharger toute la base de donnée si cela vous chante (et si vous en avez les droits), il n’y aura plus de message « plus de mémoire ». Par contre, il y a une contrepartie : les données ne sont plus triées, elles sont plus ou moins dans l’ordre de saisie (mais c’est pas garanti, c’est le système qui choisit en fonction de ce qui l’arrange). Corolaire de ce non-tri, les données contiennent « des doublons ». En fait, les données ne peuvent pas être agrégées (car pas de tri), il y a donc une ligne pour chaque détail (par ex : si une donnée contient 11 individus, 8 migrateurs, 1 local et 2 possibles, il y aura 3 lignes

(11 individus et 8 migrateurs, 11 individus et 1 local, 11 individus et 2 possibles). Idem s’il y a des photos, les lignes sont dupliquées pour chaque photo (3 photos => 3x la même ligne).

Toutefois, c’est assez facilement traitable par Excel en filtrant sur le numéro de référence de la donnée.


Export excel BDD.png


Cela apporte toutefois aussi un avantage : il est beaucoup plus facile de traiter les données concernant les âges ou les phases car il n’y a qu’une info par ligne et en utilisant l’outil de suppression des doublons d’Excel, c’est facile d’extraire ces données pour analyse séparée.

Au passage, j’ai constaté un bug concernant les exports contenant des formulaires (c’est le cas de TOUTES les données de migraction, donc migraction était particulièrement touché), en effet, les exports contenant des formulaires utilisaient beaucoup trop de mémoire et donc les exports qui pouvaient être réalisé étaient ridiculeusement petits. Ce problème est maintenant corrigé et vous devriez pouvoir utiliser les autres exports pour un volume plus important qu’avant.

Le nouvel export n’a bien sûr pas cette limitation et vous pouvez télécharger 1 million de donnée si vous voulez. J’ai toutefois mis une limite de temps car il faut environ 5 minutes par bloc de 300'000 données. Pour ne pas surcharger les systèmes en cas de dysfonctionnement (téléchargement avorté par exemple), j’ai mis une limite à 30 minutes ce qui devrait quand même permettre de télécharger 2 millions de données, soit 4x ce qui est actuellement dans la base. Je changerais quand la limite sera trop limitante J

Attention toutefois, n’utilisez pas cette fonction à tort et à travers, faire des exports utilise quand même pas mal de ressource et il ne faudrait pas que cela surcharge trop.