Module d'import : Différence entre versions

De Wiki Biolovision
Sauter à la navigation Sauter à la recherche
Ligne 51 : Ligne 51 :
 
Il y a plusieurs choses à savoir :  
 
Il y a plusieurs choses à savoir :  
  
- Pour la '''localisation''', il y a plusieurs options, mais le système essaie de trouver la meilleure. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière.&nbsp;Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant que le lieu-dit est introuvable. <u>Si le nom du lieu-dit est donné (code de l'ancienne base, code de la base actuelle ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées</u>.'''Voir le 3ème volet ci-dessous'''
+
- Pour la '''localisation''', il y a plusieurs options, mais le système essaie de trouver la meilleure. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière.&nbsp;Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant que le lieu-dit est introuvable. <u>Si le nom du lieu-dit est donné (code de l'ancienne base, code de la base actuelle ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées</u>.'''Voir le 3ème volet ci-dessous'''  
  
 
- Il y des '''champs qui peuvent être dupliqués '''(ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.  
 
- Il y des '''champs qui peuvent être dupliqués '''(ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.  
Ligne 61 : Ligne 61 :
 
'''[[Image:Masque import detail 2.jpg|frame|center]]<br>Détails de la colonne "Paramètres":'''  
 
'''[[Image:Masque import detail 2.jpg|frame|center]]<br>Détails de la colonne "Paramètres":'''  
  
<u>''Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "Ignorer"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.</u>  
+
<u>''Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "Ignorer"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.''</u>  
  
 
- Il y a 6 possibilités de format pour la '''Date'''&nbsp;: date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. Vous devez en choisir un.  
 
- Il y a 6 possibilités de format pour la '''Date'''&nbsp;: date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. Vous devez en choisir un.  
Ligne 95 : Ligne 95 :
 
- Le champs '''"code atlas" '''apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. [http://www.biolovision.net/wiki/index.php/Correspondance_codes_atlas lien suivant]). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 =&gt; 0; 1 =&gt; 2; 2 =&gt; 3, ... 30 =&gt; 30 ...))  
 
- Le champs '''"code atlas" '''apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. [http://www.biolovision.net/wiki/index.php/Correspondance_codes_atlas lien suivant]). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 =&gt; 0; 1 =&gt; 2; 2 =&gt; 3, ... 30 =&gt; 30 ...))  
  
<br> '''
 
  
'''- Type de localisation précise'''
 
  
''<u>Il y a 3 manières d'interpréter les informations de localisation contenues dans le fichier source:<br></u>''
+
'''Le 3ème volet permet de faire des réglages supplémentaires et de procéder à des validations du fichier.
  
"'''P''''''récise'''" : les coordonnées sont précises, il faut donc obligatoirement les coord X et Y. Un lieu-dit ou une commune ne suffisent pas et ne sont d'ailleurs pas utilisés. Donc, sans coordonnées précises, ce mode n'est pas utilisable<br>"'''L''''''ieu-dit'''" : les données sont associées au lieu-dit le plus proche (il n'y a pas de pointeur rouge qui signe une localisation précise). Ici on peut exploiter le nom du lieu-dit, l'ID actuel ou l'ID de l'ancienne base si cela avait été chargé initialement (mais c'est rarement le cas). On peut aussi utiliser des coordonnées (comme en choisissant l'option précédente), mais dans ce cas, il cherchera le lieu-dit le plus proche et ignorera les coordonnées.<br>"'''C''''''ommune'''" : les données seront associées à la commune (centroïde, point vert). Tout est alors exploitable (code de l'ancienne base, code de la base actuelle, nom du lieu-dit complet,&nbsp;nom de la commune, numéro INSEE ou coordonnées XY (la couche spatiale est alors interrogée pour trouver la commune).
+
- Type de localisation précise  
  
Le but de tout cela, c'est de ne pas avoir des données faussement précises. Avec les testeurs, nous avons constaté qu'il y avait beaucoup de données placées au centroïde d'une commune qui se retrouvaient chargées en "donnée précise" sur le site, ce qui est complètement faux (espèce pélagique sur l'église du village par exemple).
+
''<u>Il y a 3 manières d'interpréter les informations de'''localisation''' contenues dans le fichier source:<br></u>''  
  
'''<u>Attention, ces trois types de localisation ne peuvent pas être mixés, donc si vous avez des données des 3 types, il faudra faire l'import en trois fichiers séparés.</u>''''''<u></u>'''
+
"''''P''''''récise'''"&nbsp;: les coordonnées sont précises, il faut donc obligatoirement les coord X et Y. Un lieu-dit ou une commune ne suffisent pas et ne sont d'ailleurs pas utilisés. Donc, sans coordonnées précises, ce mode n'est pas utilisable<br>"'''Lieu-dit'''"&nbsp;: les données sont associées au lieu-dit le plus proche (il n'y a pas de pointeur rouge qui signe une localisation précise). Ici on peut exploiter le nom du lieu-dit, l'ID actuel ou l'ID de l'ancienne base si cela avait été chargé initialement (mais c'est rarement le cas). On peut aussi utiliser des coordonnées (comme en choisissant l'option précédente), mais dans ce cas, il cherchera le lieu-dit le plus proche et ignorera les coordonnées.'''''<br>"'''''<b>Commune</b>"&nbsp;: les données seront associées à la commune (centroïde, point vert). Tout est alors exploitable (code de l'ancienne base, code de la base actuelle, nom du lieu-dit complet,&nbsp;nom de la commune, numéro INSEE ou coordonnées XY (la couche spatiale est alors interrogée pour trouver la commune).
  
 +
Le but de tout cela, c'est de ne pas avoir des données faussement précises. Avec les testeurs, nous avons constaté qu'il y avait beaucoup de données placées au centroïde d'une commune qui se retrouvaient chargées en "donnée précise" sur le site, ce qui est complètement faux (espèce pélagique sur l'église du village par exemple).
  
 +
'''<u>Attention, ces trois types de localisation ne peuvent pas être mixés, donc si vous avez des données des 3 types, il faudra faire l'import en trois fichiers séparés.</u>''''''<u></u>'''<br>
  
- Vous pouvez '''cacher toutes les données''' (vous pouvez aussi choisir de les cacher selon votre fichier en utilisant le champ "Donnée cachée" du volet précédent. Il faudra alors mettre un 1 dans votre colonne "obs cachée" pour que le système la cache en l'important et un 0 pour qu'elle ne le soit pas.&nbsp;Ceci-dit, les filtres automatiques de votre base sont actifs (et non désactivables), donc, par exemple, une donnée de Grand Tétras en Suisse sera masquée même si la valeur de la colonne "obs cachée" est à 0.)
+
- Vous pouvez '''cacher toutes les données''' (vous pouvez aussi choisir de les cacher selon votre fichier en utilisant le champ "Donnée cachée" du volet précédent. Il faudra alors mettre un 1 dans votre colonne "obs cachée" pour que le système la cache en l'important et un 0 pour qu'elle ne le soit pas.&nbsp;Ceci-dit, les filtres automatiques de votre base sont actifs (et non désactivables), donc, par exemple, une donnée de Grand Tétras en Suisse sera masquée même si la valeur de la colonne "obs cachée" est à 0.)  
  
- Vous pouvez demander au système de faire une vérification automatique de&nbsp;vos données en utilisant les filtres automatiques de votre base.  
+
- Vous pouvez demander au système de faire une '''vérification automatique''' de&nbsp;vos données en utilisant les filtres automatiques de votre base.  
  
- Vous pouvez demander à ce que le système valide uniquement votre fichier, sans l'importer.  
+
- Vous pouvez demander à ce que le '''système valide uniquement votre fichier, sans l'importer.'''
  
 
<br>  
 
<br>  

Version du 23 novembre 2013 à 22:06

Le module d'import se trouve dans le menu "Participer", puis "importer un fichier".

Il permet à l'utilisateurayant le droit d'importde pouvoir importer dans sa base des fichiers xls ou xlsx. 

Avant de commencer l'import, vous devez créer un compte d'archivage. Vous pouvez en créer plusieurs, mais vous ne pouvez importer votre fichier que sur un seul. Un compte d'archivage est un compte normal que vous créez, mais nous devons ensuite le transformer pour qu'il puisse recevoir vos archives (écrire à cyril@biolovision.net en donnant le nom du compte à transformer). Cela est très rapide, mais il faut passer par cette étape avant de pouvoir faire des imports.

Ensuite, vous pouvez commencer l'import :

1) Vous devez choisir votre fichier excel en cliquant sur "Choisissez un fichier".

2) Puis, choisir le compte d'archivage. S'il n'y a qu'un seul compte d'archivage paramétré, la fenêtre de sélection du compte d'archivage n'apparaît pas

3) Vous pouvez sélectionner le groupe taxonomique de votre fichier. Si vous sélectionnez "tous", vous ne pourrez importer que des champs standards (site, espèces, date, etc..). Si vous sélectionnez un groupe taxonomique, vous pouvez importer plus de données détaillées (combinaison âge et sexe, code atlas).

Une fois que vous avez séléctionné un fichier, un compte et le ou les groupes taxonomiques, vous pouvez "démarrer l'import".


Masque import.jpg


L'historique des imports se trouvent en-dessous. Si vous êtes admin, vous voyez tous les imports. Si vous n'êtes pas admin, vous ne voyez que vos propres imports.

- Rouge : échec de l'import
- Vert : succès de l'import
- Bleu : configuration en cours (prochaine étape)
- Jaune : validation ou import en cours
- Orange : import validé, mais pas importé

L'import est fait en deux étapes :

1) validation
2) import

Aucun import n'est effectué s'il y a quelque chose de faux dans le fichier.

La phase suivante vous permet de paramétrer plus en détail votre import. Elle se présente ainsi, avec les 3 volets ouverts.


Masque import ferme.jpg


Le 1er volet vous montre les 5 premières lignes de votre fichier


Masque import detail 1.jpg


Le 2ème volet vous permet de faire les correspondances entre vos colonnes, leurs contenus et le système

Il y a plusieurs choses à savoir :

- Pour la localisation, il y a plusieurs options, mais le système essaie de trouver la meilleure. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière. Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant que le lieu-dit est introuvable. Si le nom du lieu-dit est donné (code de l'ancienne base, code de la base actuelle ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées.Voir le 3ème volet ci-dessous

- Il y des champs qui peuvent être dupliqués (ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.

- La 3ème colonne "Paramètres" est une manière de décrire plus précisément le contenu, par exemple, le système de coordonnées utilisé ou la langue du nom des espèces (les majuscules ou les accents ne sons pas importants).


Masque import detail 2.jpg


Détails de la colonne "Paramètres":

Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "Ignorer"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.

- Il y a 6 possibilités de format pour la Date : date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. Vous devez en choisir un.

- Pour le Code du lieu-dit, vous devez choisir le code de l'ancienne base ou le code de la base en ligne actuelle

- Le champ Commune doit être le Numéro INSEE ou le nom de la commune

- Le champ Département doit être le nom du département ou son code (correspond aux cantons en Suisse)

- Les champs Longitude / X(m) et Latitude / X(m) doivent être précisés. Vous devez donc choisir quel est le format des coordonnées de votre fichier d'import parmi les possibilités suivantes, liées à la couverture géographique de votre site :

  • WGS84 géographique [D.d]
  • WGS84 géographique [DMS]
  • WGS84 planes - UTM (GRS80) [m]
  • RGF93 planes - Lambert 93 [m]
  • NTF planes - Lambert II étendu [m]
  • NTF planes - Lambert I Nord [m]
  • NTF planes - Lambert II Centre [m]
  • NTF planes - Lambert III Sud [m]
  • NTF géographique (Paris) [Grades]
  • NTF planes - Lambert IV Corse [m]
  • CH 1903 [m]

- Pour l'espèce, il faut préciser si vous utilisez le code Biolovision ou bien le nom de l'espèce en français, allemand, anglais, scientifique, espagnol, italien, catalan, néerlandais ou basque (la liste dépend des langues ouvertes sur votre site)

- Vous pouvez ajouter autant de champs commentaire et commentaire caché que vous le souhaitez, en ajoutant ou non le titre de la colonne de votre fichier. Par exemple, si vous paramétrez plusieurs champs "commentaire", vous aurez dans votre base l'ensemble de ces champs (avec ou non leur titre de colonne) dans votre champ commentaire : "ceci est un test / Numéro nichoir : 345 / météo : beau". C'est une manière de pouvoir importer toutes les infos de votre fichier même si elles ne correspondent pas aux champs disponibles de la 1ère colonne du module d'import. Le principe est le même avec les commentaires cachés.

- Le champ "Age et sexe" n'apparaîtra que si vous avez choisi un groupe taxonomique unique. Là encore, les choix du menu déroulant dépendront de votre site et du groupe taxonomique choisi.

- Pour l'observateur, vous avez trois possibiltés : soit c'est un e-mail, soit le nom et le prénom, soit vous demandez au système de mettre le nom de l'observateur en remarque cachée pour pouvoir ensuite réattribuer les données à un compte d'un observateur déjà inscrit (c'est la fonction "remapper les archives de cet observateur"  dans la gestion des utilisateurs - cf : l'article suivant du Wiki).

- Le champs "code atlas" apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. lien suivant). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 => 0; 1 => 2; 2 => 3, ... 30 => 30 ...))


Le 3ème volet permet de faire des réglages supplémentaires et de procéder à des validations du fichier.

- Type de localisation précise

Il y a 3 manières d'interpréter les informations delocalisation contenues dans le fichier source:

"''P'récise" : les coordonnées sont précises, il faut donc obligatoirement les coord X et Y. Un lieu-dit ou une commune ne suffisent pas et ne sont d'ailleurs pas utilisés. Donc, sans coordonnées précises, ce mode n'est pas utilisable
"Lieu-dit" : les données sont associées au lieu-dit le plus proche (il n'y a pas de pointeur rouge qui signe une localisation précise). Ici on peut exploiter le nom du lieu-dit, l'ID actuel ou l'ID de l'ancienne base si cela avait été chargé initialement (mais c'est rarement le cas). On peut aussi utiliser des coordonnées (comme en choisissant l'option précédente), mais dans ce cas, il cherchera le lieu-dit le plus proche et ignorera les coordonnées.
"
Commune" : les données seront associées à la commune (centroïde, point vert). Tout est alors exploitable (code de l'ancienne base, code de la base actuelle, nom du lieu-dit complet, nom de la commune, numéro INSEE ou coordonnées XY (la couche spatiale est alors interrogée pour trouver la commune).

Le but de tout cela, c'est de ne pas avoir des données faussement précises. Avec les testeurs, nous avons constaté qu'il y avait beaucoup de données placées au centroïde d'une commune qui se retrouvaient chargées en "donnée précise" sur le site, ce qui est complètement faux (espèce pélagique sur l'église du village par exemple).

'Attention, ces trois types de localisation ne peuvent pas être mixés, donc si vous avez des données des 3 types, il faudra faire l'import en trois fichiers séparés.'

- Vous pouvez cacher toutes les données (vous pouvez aussi choisir de les cacher selon votre fichier en utilisant le champ "Donnée cachée" du volet précédent. Il faudra alors mettre un 1 dans votre colonne "obs cachée" pour que le système la cache en l'important et un 0 pour qu'elle ne le soit pas. Ceci-dit, les filtres automatiques de votre base sont actifs (et non désactivables), donc, par exemple, une donnée de Grand Tétras en Suisse sera masquée même si la valeur de la colonne "obs cachée" est à 0.)

- Vous pouvez demander au système de faire une vérification automatique de vos données en utilisant les filtres automatiques de votre base.

- Vous pouvez demander à ce que le système valide uniquement votre fichier, sans l'importer.


Masque import detail 3.jpg


Une fois l'import démarré, le système montre l'état d'avancement, puis le résultat et les erreurs

Il n'y a presque pas de limite de taille pour le fichier, c'est simplement une question de temps : plus le fichier est volumineux, plus l'import sera long. Vous pouvez compter sur 1000 données par minute, mais le timing varie si vous ne donnez pas l'altitude et la commune (ils sont alors calculés automatiquement par la matrice altitude et la couche des communes, mais cela prend plus de temps).

Le système procède à l'import (ou à la validation) de tout le fichier, mais s'arrête dès qu'il a trouvé 15 lignes avec des erreurs. Une description précise des erreurs est donnée pour chaque ligne ou cellule. Si la validation est menée avec succès, l'import proprement dit commence. Dans le cas contraire, vous pouvez modifier le fichier localement sur votre ordinateur et le télécharger de nouveau lorsque les erreurs sont corrigées, jusqu'à ce qu'il passe la validation.

Dans l'exemple ci-dessous, le Code Biolovision était paramétré pour le nom de l'espèce au lieu du nom français, d'où les erreurs.

Masque import detail 4.jpg