Module d'import : Différence entre versions

De Wiki Biolovision
Sauter à la navigation Sauter à la recherche
Ligne 1 : Ligne 1 :
'''Le module d'import se trouve dans le menu "Participer", puis "importer un fichier".'''  
+
Le module d'import se trouve dans le menu "'''Participer -> importer un fichier'''".
  
Il permet à l'utilisateur'''<u>ayant le droit d'import</u>'''de pouvoir importer dans sa base des fichiers xls ou xlsx.&nbsp;<br>  
+
<br>  
  
Avant de commencer l'import, vous devez créer&nbsp;'''un compte d'archivage'''. Vous pouvez en créer plusieurs, mais vous ne pouvez importer votre fichier que sur un seul. Un compte d'archivage est un compte normal que vous créez, mais nous devons ensuite le transformer pour qu'il puisse recevoir vos archives (écrire à [mailto:cyril@biolovision.net cyril@biolovision.net] en donnant le nom du compte à transformer). Cela est très rapide, mais il faut passer par cette étape avant de pouvoir faire des imports.  
+
Il permet à l'utilisateur&nbsp;ayant le droit "'''Droit d'import'''"&nbsp;de pouvoir importer dans sa base des fichiers xls ou xlsx. Vous devez donc attribuer ce droit aux personnes qui seront habilitées à utiliser le module d'import, ce n'est pas lié au droit d'admin.<br>
  
Ensuite, vous pouvez commencer l'import&nbsp;:
+
<br>
  
1) Vous devez choisir votre '''fichier excel''' en cliquant sur "Choisissez un fichier".<br>
+
Avant de commencer l'import, vous devez créer&nbsp;'''un compte d'archive'''. Vous pouvez en créer plusieurs, mais vous ne pouvez importer votre fichier que sur un seul à la fois. Un compte d'archivage est un compte normal que vous créez selon la procédure habituelle, mais nous devons ensuite le transformer pour qu'il puisse être utilisé pour vos archives (écrire à [mailto:cyril@biolovision.net cyril@biolovision.net] en donnant le nom du compte à transformer). Cela est très rapide, mais il faut passer par cette étape avant de pouvoir faire des imports.  
  
2) Puis, choisir le compte d'archivage.&nbsp;S'il n'y a qu'un seul compte d'archivage paramétré, la fenêtre de sélection du compte d'archivage n'apparaît pas
+
En effet, chaque donnée à toujours deux comptes utilisateurs associés: le compte de celui qui à fait l'observation (observateur) et le compte de celui qui à transmis l'observation sur le site (transmetteur). Pour les données saisies directement sur le site, ces deux comptes sont bien souvent les mêmes. Une donnée est alors marquée&nbsp;:
  
3) Vous pouvez '''sélectionner le groupe taxonomique de votre fichier'''. Si vous sélectionnez "tous", vous ne pourrez importer que des champs standards (site, espèces, date, etc..). Si vous sélectionnez un groupe taxonomique, vous pouvez importer plus de données détaillées (combinaison âge et sexe, code atlas).  
+
<br> '''1 merle noir '''''(Turdus merula)''&nbsp;[Bernard Cravant] pour une donnée transmise par l'observateur "Bernard Cravant" directement sur le site.  
  
Une fois que vous avez séléctionné un fichier, un compte et le ou les groupes taxonomiques, vous pouvez "'''démarrer l'import'''".  
+
<br>
 +
 
 +
Lors de l'utilisation du module d'import, ce compte d'archive servira de compte "transmetteur", cela permet de charger des données de personne non inscrite sur le site et cela permet aussi de différencier des données rentrées par l'observateur lui-même et des données chargées par un tiers en passant par une importation. Il est possible, lors du processus d'import d'assigner automatiquement les données à un observateur existant.&nbsp;Par exemple&nbsp;:
  
 
<br>  
 
<br>  
  
[[Image:Masque import.jpg|frame|center]]
+
'''1 merle noir''' (Turdus merula) [Bernard Cravant par Archive LPO] dans le cas où l'observateur "Bernard Cravant" est identifié et la donnée chargée par le compte "Archive LPO"
 +
 
 +
ou
 +
 
 +
'''1 merle noir''' (Turdus merula) [Archive LPO] dans le cas où l'observateur n'est pas connu. La donnée reste sur le compte "Archive LPO"
  
 
<br>  
 
<br>  
  
'''L'historique des imports se trouvent en-dessous'''. Si vous êtes admin, vous voyez tous les imports. Si vous n'êtes pas admin, vous ne voyez que vos propres imports.
+
'''Ensuite, vous pouvez commencer l'import&nbsp;:'''  
 +
 
 +
<br>
  
- Rouge&nbsp;: échec de l'import<br>- Vert&nbsp;: succès de l'import<br>- Bleu&nbsp;: configuration en cours (prochaine étape)<br>- Jaune&nbsp;: validation ou import en cours<br>- Orange&nbsp;: import validé, mais pas importé
+
#Vous devez choisir votre '''fichier excel''' en cliquant sur "Choisissez un fichier".<br>  
 +
#Puis, choisir le compte d'archivage.&nbsp;S'il n'y a qu'un seul compte d'archivage paramétré, la fenêtre de sélection du compte d'archivage n'apparaît pas
 +
#Vous pouvez '''sélectionner le groupe taxonomique de votre fichier'''. Si vous sélectionnez "tous", vous ne pourrez importer que des champs standards (site, espèces, date, etc..) mais de tous les groupes taxonomiques confondu. Si vous sélectionnez un groupe taxonomique, vous pouvez importer plus de détail (combinaison âge et sexe, code atlas) mais seulement pour le groupe concerné (des données d'un autre groupe dans le fichier provoqueront l'échec de l'import).
  
L'import est fait en deux étapes&nbsp;:
+
<br>
  
1) validation<br>2) import<br>
+
Une fois que vous avez séléctionné un fichier, un compte et le groupe taxonomique, vous pouvez "'''démarrer l'import'''".
  
Aucun import n'est effectué s'il y a quelque chose de faux dans le fichier.<br><br>  
+
<br>  
  
'''La phase suivante vous permet de paramétrer plus en détail votre import. Elle se présente ainsi, avec les 3 volets ouverts.'''
+
[[Image:Import start.png|frame|center]]
  
 
<br>  
 
<br>  
  
[[Image:Masque import ferme.jpg|frame|center]]
+
'''L'import est fait en deux étapes&nbsp;:'''
  
 
<br>  
 
<br>  
  
'''Le 1er volet vous montre les 5 premières lignes de votre fichier'''
+
#validation du fichier  
 +
#import des données<br>
  
 
<br>  
 
<br>  
  
[[Image:Masque import detail 1.jpg|frame|center]]
+
Aucun import n'est effectué tant qu'il y a des erreurs détectées lors de la validation.<br><br>
 +
 
 +
Pour lancer la phase de validation il faut paramétrer en détail votre import. Elle se présente ainsi, avec les 3 volets ouverts.  
  
 
<br>  
 
<br>  
  
'''Le 2ème volet vous permet de faire les correspondances entre vos colonnes, leurs contenus et le système'''
+
[[Image:Masque import ferme.jpg|frame|center]]
  
Il y a plusieurs choses à savoir&nbsp;:
+
<br>
  
- Pour la '''localisation''', il y a plusieurs options, mais le système essaie de trouver la meilleure. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière.&nbsp;Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant que le lieu-dit est introuvable. <u>Si le nom du lieu-dit est donné (code de l'ancienne base, code de la base actuelle ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées</u>.'''Voir le 3ème volet ci-dessous'''
+
Le 1er volet vous montre les 5 premières lignes de votre fichier, avec les colonnes lues (votre fichier doit obligatoirement contenir une et une seule ligne de titre)&nbsp;:
  
- Il y des '''champs qui peuvent être dupliqués '''(ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.
+
<br>
  
- La 3ème colonne "Paramètres" est une manière de '''décrire plus précisément le contenu''', par exemple, le système de coordonnées utilisé ou la langue du nom des espèces (les majuscules ou les accents ne sons pas importants).'''<br>'''
+
[[Image:Masque import detail 1.jpg|frame|center]]
  
 
<br>  
 
<br>  
  
'''[[Image:Masque import detail 2.jpg|frame|center]]<br>Détails de la colonne "Paramètres":'''
+
Le 2ème volet vous permet de faire les correspondances entre le contenu de vos colonnes et le système&nbsp;:  
  
<u>''Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "Ignorer"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.''</u>  
+
<br>  
  
- Il y a 6 possibilités de format pour la '''Date'''&nbsp;: date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. Vous devez en choisir un.
+
Il y a plusieurs choses à savoir&nbsp;:  
  
- Pour le '''Code du lieu-dit''', vous devez choisir le code de l'ancienne base ou le code de la base en ligne actuelle
+
<br>
  
- Le champ '''Commune''' doit être le Numéro INSEE ou le nom de la commune
+
*Pour la '''localisation''', il y a plusieurs options, mais le système essaie toujours de trouver la meilleure localisation. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière.&nbsp;Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant qu'aucun lieu-dit n'est trouvable. <u>Si le nom du lieu-dit est donné (code de l'ancienne base (renseigné au moment de l'import de lieudits), code du lieudit sur le site ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées</u>. Notez qui si plusieurs lieudits on le même nom, le système génère une erreur et l'import n'est pas effectué.&nbsp;'''Voir également le 3ème volet ci-dessous.'''  
 +
*Il y des '''champs qui peuvent être dupliqués '''(ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.
 +
*La 3ème colonne "Paramètres" est une manière de '''décrire le format de la colonne '''quand c'est nécessaire.&nbsp;Par exemple, le système de coordonnées utilisé ou la langue du nom des espèces (les majuscules ou les accents ne sons pas importants).'''<br>'''
  
- Le champ '''Département'''&nbsp;doit être le nom du département ou son code (correspond aux '''cantons''' en Suisse)
+
<br>
  
- Les champs '''Longitude / X(m) et Latitude / X(m)''' doivent être précisés. Vous devez donc choisir quel est le format des coordonnées de votre fichier d'import parmi les possibilités suivantes, liées à la couverture géographique de votre site&nbsp;:  
+
'''[[Image:Masque import detail 2.jpg|frame|center]]<br>Détails de la colonne "Paramètres":'''
 
 
*WGS84 géographique [D.d]
 
*WGS84 géographique [DMS]
 
*WGS84 planes - UTM (GRS80) [m]
 
*RGF93 planes - Lambert 93 [m]
 
*NTF planes - Lambert II étendu [m]
 
*NTF planes - Lambert I Nord [m]
 
*NTF planes - Lambert II Centre [m]
 
*NTF planes - Lambert III Sud [m]
 
*NTF géographique (Paris) [Grades]
 
*NTF planes - Lambert IV Corse [m]
 
*CH 1903 [m]
 
  
- Pour '''l'espèce''', il faut préciser si vous utilisez le code Biolovision ou bien le nom de l'espèce en français, allemand, anglais, scientifique, espagnol, italien, catalan, néerlandais ou basque (la liste dépend des langues ouvertes sur votre site)
+
<u>''Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "--IGNORER--"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.''</u>
  
- Vous pouvez ajouter autant de champs '''commentaire et commentaire caché'''&nbsp;que vous le souhaitez, en ajoutant ou non le titre de la colonne de votre fichier. Par exemple, si vous paramétrez plusieurs champs "commentaire", vous aurez dans votre base l'ensemble de ces champs (avec ou non leur titre de colonne) dans votre champ commentaire&nbsp;: "ceci est un test / Numéro nichoir&nbsp;: 345 / météo&nbsp;: beau". C'est une ''manière de pouvoir importer toutes les infos de votre fichier même si elles ne correspondent pas aux champs disponibles'' de la 1ère colonne du module d'import. Le principe est le même avec les commentaires cachés.
+
*Il y a 6 possibilités de format pour la '''Date'''&nbsp;: date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. En principe, "date excel" convient dans la plupart des cas. Il est toutefois possible pour certain fichier non généré par Excel, par exemple lors d'un export d'une autre base de donnée ou d'un site web. Dans ce cas de figure, il faut choisir une des autres options proposées. Il n'y a malheureusement pas vraiment de moyen simple de savoir si la colonne est correctement encodée. D'une manière générale, on peut dire que si Excel est capable de changer le format de la date sur la colonne en question, alors elle est encodée correctement. Si le format ne change pas quelque soit le choix fait dans Excel, alors il y a sans doute un problème et il faut choisir une des autres options. Le séparateur
 +
*Pour le '''Code du lieu-dit''', vous devez choisir le code de l'ancienne base ou le code de la base en ligne actuelle
 +
*Le champ '''Commune''' doit être le Numéro INSEE ou le nom de la commune
 +
*Le champ '''Département'''&nbsp;doit être le nom du département ou son code (correspond aux '''cantons''' en Suisse)
 +
*Les champs '''Longitude / X(m) et Latitude / X(m)''' doivent être précisés. Vous devez donc choisir quel est le format des coordonnées de votre fichier d'import parmi les possibilités suivantes, liées à la couverture géographique de votre site, par exemple&nbsp;:<br>
  
- Le champ "'''Age et sexe'''" n'apparaîtra que si vous avez choisi un groupe taxonomique unique. Là encore, les choix du menu déroulant dépendront de votre site et du groupe taxonomique choisi.  
+
{| width="400" border="1" cellpadding="2" cellspacing="0"
 +
|-
 +
| WGS84 géographique [D.d]
 +
|-
 +
| WGS84 géographique [DMS]
 +
|-
 +
| WGS84 planes - UTM (GRS80) [m]
 +
|-
 +
| RGF93 planes - Lambert 93 [m]
 +
|-
 +
| NTF planes - Lambert II étendu [m]
 +
|-
 +
| NTF planes - Lambert I Nord [m]
 +
|-
 +
| NTF planes - Lambert II Centre [m]
 +
|-
 +
| NTF planes - Lambert III Sud [m]
 +
|-
 +
| NTF géographique (Paris) [Grades]
 +
|-
 +
| NTF planes - Lambert IV Corse [m]
 +
|-
 +
| CH 1903 [m]
 +
|}
  
- Pour l''''observateur''', vous avez trois possibiltés&nbsp;: soit c'est un e-mail, soit le nom et le prénom, soit vous demandez au système de mettre le nom de l'observateur en remarque cachée pour pouvoir ensuite réattribuer les données à un compte d'un observateur déjà inscrit (c'est la fonction "remapper les archives de cet observateur" &nbsp;dans la gestion des utilisateurs - cf&nbsp;: [http://www.biolovision.net/wiki/index.php/Gestion_des_utilisateurs#utilisateurs l'article suivant du Wiki]).<br>  
+
si vous choisissez UTM, le champs "fuseau UTM" doit être renseigné. Attention de ne pas oublier la lettre "U32" et pas seulement "32".<br>  
  
- Le champ&nbsp;'''"code atlas" '''apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. [http://www.biolovision.net/wiki/index.php/Correspondance_codes_atlas lien suivant]). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 =&gt; 0; 1 =&gt; 2; 2 =&gt; 3, ... 30 =&gt; 30 ...))  
+
*Pour '''l'espèce''', il faut préciser si vous utilisez le code Biolovision ou bien le nom de l'espèce en français, allemand, anglais, scientifique, espagnol, italien, catalan, néerlandais ou basque (la liste dépend des langues ouvertes sur votre site)
 +
*Vous pouvez ajouter autant de champs '''commentaire et commentaire caché'''&nbsp;que vous le souhaitez, en ajoutant ou non le titre de la colonne de votre fichier. Par exemple, si vous paramétrez plusieurs champs "commentaire", vous aurez dans votre base l'ensemble de ces champs (avec ou non leur titre de colonne) dans votre champ commentaire&nbsp;: "ceci est un test / Numéro nichoir&nbsp;: 345 / météo&nbsp;: beau". "Numéro nichoir" et "météo" sont ici les titres de la colonne. C'est une ''manière de pouvoir importer toutes les infos de votre fichier même si elles ne correspondent pas aux champs disponibles'' de la 1ère colonne du module d'import. Le principe est le même avec les commentaires cachés.
 +
*Le champ "'''Age et sexe'''" n'apparaîtra que si vous avez choisi un groupe taxonomique unique. Là encore, les choix du menu déroulant dépendront de votre site et du groupe taxonomique choisi. Pour être compatible avec le système vous devez fournir une colonne de chiffre. Cela indique par exemple le nombre de "mâle adulte", "femelle", "1ère année". Il faudra donc probablement adapter votre fichier pour que l'import de cette information soit possible.
 +
*Pour l''''observateur''', vous avez trois possibiltés&nbsp;: soit c'est un e-mail, soit le nom et le prénom, soit vous demandez au système de mettre le nom de l'observateur en remarque cachée pour pouvoir ensuite réattribuer les données à un compte d'un observateur déjà inscrit (c'est la fonction "remapper les archives de cet observateur" &nbsp;dans la gestion des utilisateurs - cf&nbsp;: [http://www.biolovision.net/wiki/index.php/Gestion_des_utilisateurs#utilisateurs l'article suivant du Wiki]). Si vous choisissez "email" ou "nom prénom", le système recherche la personne en question. Si la personne à un homonyme, l'import est impossible. Idem si une personne n'est pas trouvée.<br>
 +
*Le champ&nbsp;'''"code atlas" '''apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. [http://www.biolovision.net/wiki/index.php/Correspondance_codes_atlas lien suivant]). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 =&gt; 0; 1 =&gt; 2; 2 =&gt; 3, ... 30 =&gt; 30 ...))<br>
  
 
<br>  
 
<br>  
  
'''Le 3ème volet permet de faire des réglages supplémentaires et de procéder à des validations du fichier.'''
+
Le 3ème volet permet de faire des réglages supplémentaires et de procéder à des validations du fichier.  
  
- Type de localisation précise  
+
<br> - Type de localisation précise  
  
 
''<u>Il y a 3 manières d'interpréter les informations de&nbsp;'''localisation''' contenues dans le fichier source:<br></u>''  
 
''<u>Il y a 3 manières d'interpréter les informations de&nbsp;'''localisation''' contenues dans le fichier source:<br></u>''  
Ligne 129 : Ligne 163 :
 
Dans l'exemple ci-dessous, le Code Biolovision était paramétré pour le nom de l'espèce au lieu du nom français, d'où les erreurs.<br>  
 
Dans l'exemple ci-dessous, le Code Biolovision était paramétré pour le nom de l'espèce au lieu du nom français, d'où les erreurs.<br>  
  
[[Image:Masque import detail 4.jpg|frame|center]]
+
[[Image:Masque import detail 4.jpg|frame|center]]  
 +
 
 +
[[Image:Masque import.jpg|frame|center]]
 +
 
 +
<br>
 +
 
 +
'''L'historique des imports se trouvent en-dessous'''. Si vous êtes admin, vous voyez tous les imports. Si vous n'êtes pas admin, vous ne voyez que vos propres imports.
 +
 
 +
- Rouge&nbsp;: échec de l'import<br>- Vert&nbsp;: succès de l'import<br>- Bleu&nbsp;: configuration en cours (prochaine étape)<br>- Jaune&nbsp;: validation ou import en cours<br>- Orange&nbsp;: import validé, mais pas importé
 +
 
 +
<br>

Version du 27 novembre 2013 à 18:48

Le module d'import se trouve dans le menu "Participer -> importer un fichier".


Il permet à l'utilisateur ayant le droit "Droit d'import" de pouvoir importer dans sa base des fichiers xls ou xlsx. Vous devez donc attribuer ce droit aux personnes qui seront habilitées à utiliser le module d'import, ce n'est pas lié au droit d'admin.


Avant de commencer l'import, vous devez créer un compte d'archive. Vous pouvez en créer plusieurs, mais vous ne pouvez importer votre fichier que sur un seul à la fois. Un compte d'archivage est un compte normal que vous créez selon la procédure habituelle, mais nous devons ensuite le transformer pour qu'il puisse être utilisé pour vos archives (écrire à cyril@biolovision.net en donnant le nom du compte à transformer). Cela est très rapide, mais il faut passer par cette étape avant de pouvoir faire des imports.

En effet, chaque donnée à toujours deux comptes utilisateurs associés: le compte de celui qui à fait l'observation (observateur) et le compte de celui qui à transmis l'observation sur le site (transmetteur). Pour les données saisies directement sur le site, ces deux comptes sont bien souvent les mêmes. Une donnée est alors marquée :


1 merle noir (Turdus merula) [Bernard Cravant] pour une donnée transmise par l'observateur "Bernard Cravant" directement sur le site.


Lors de l'utilisation du module d'import, ce compte d'archive servira de compte "transmetteur", cela permet de charger des données de personne non inscrite sur le site et cela permet aussi de différencier des données rentrées par l'observateur lui-même et des données chargées par un tiers en passant par une importation. Il est possible, lors du processus d'import d'assigner automatiquement les données à un observateur existant. Par exemple :


1 merle noir (Turdus merula) [Bernard Cravant par Archive LPO] dans le cas où l'observateur "Bernard Cravant" est identifié et la donnée chargée par le compte "Archive LPO"

ou

1 merle noir (Turdus merula) [Archive LPO] dans le cas où l'observateur n'est pas connu. La donnée reste sur le compte "Archive LPO"


Ensuite, vous pouvez commencer l'import :


  1. Vous devez choisir votre fichier excel en cliquant sur "Choisissez un fichier".
  2. Puis, choisir le compte d'archivage. S'il n'y a qu'un seul compte d'archivage paramétré, la fenêtre de sélection du compte d'archivage n'apparaît pas
  3. Vous pouvez sélectionner le groupe taxonomique de votre fichier. Si vous sélectionnez "tous", vous ne pourrez importer que des champs standards (site, espèces, date, etc..) mais de tous les groupes taxonomiques confondu. Si vous sélectionnez un groupe taxonomique, vous pouvez importer plus de détail (combinaison âge et sexe, code atlas) mais seulement pour le groupe concerné (des données d'un autre groupe dans le fichier provoqueront l'échec de l'import).


Une fois que vous avez séléctionné un fichier, un compte et le groupe taxonomique, vous pouvez "démarrer l'import".


Import start.png


L'import est fait en deux étapes :


  1. validation du fichier
  2. import des données


Aucun import n'est effectué tant qu'il y a des erreurs détectées lors de la validation.

Pour lancer la phase de validation il faut paramétrer en détail votre import. Elle se présente ainsi, avec les 3 volets ouverts.


Masque import ferme.jpg


Le 1er volet vous montre les 5 premières lignes de votre fichier, avec les colonnes lues (votre fichier doit obligatoirement contenir une et une seule ligne de titre) :


Masque import detail 1.jpg


Le 2ème volet vous permet de faire les correspondances entre le contenu de vos colonnes et le système :


Il y a plusieurs choses à savoir :


  • Pour la localisation, il y a plusieurs options, mais le système essaie toujours de trouver la meilleure localisation. Par exemple, si vous donnez les coordonnées précises en lat/lon et la commune, il utilisera lat/lon, car c'est plus précis. Si vous ne donnez que la commune, il chargera les données au centroïde de cette dernière. Le système importera sur le lieu-dit le plus proche. Si c'est vraiment catastrophique (genre 10km), le système refuse la donnée en disant qu'aucun lieu-dit n'est trouvable. Si le nom du lieu-dit est donné (code de l'ancienne base (renseigné au moment de l'import de lieudits), code du lieudit sur le site ou nom du lieu-dit complet) c'est lui qui prend la priorité sur les coordonnées. Notez qui si plusieurs lieudits on le même nom, le système génère une erreur et l'import n'est pas effectué. Voir également le 3ème volet ci-dessous.
  • Il y des champs qui peuvent être dupliqués (ceux avec un "+" à la fin de la ligne), ainsi vous pouvez paramétrer plusieurs commentaires ou combinaison de sexe/âge.
  • La 3ème colonne "Paramètres" est une manière de décrire le format de la colonne quand c'est nécessaire. Par exemple, le système de coordonnées utilisé ou la langue du nom des espèces (les majuscules ou les accents ne sons pas importants).


Masque import detail 2.jpg


Détails de la colonne "Paramètres":

Si vous précisez un champ de "Colonnes du fichier" (donc, en mettant autre chose que "--IGNORER--"), vous devez remplir la 3ème colone à chaque fois quand celle-ci existe.

  • Il y a 6 possibilités de format pour la Date : date excel, date (jj.mm.aaaa), date (mm.jj.aaaa), date (aaaa.mm.jj), date (aaaa.jj.mm) et Timestamp. En principe, "date excel" convient dans la plupart des cas. Il est toutefois possible pour certain fichier non généré par Excel, par exemple lors d'un export d'une autre base de donnée ou d'un site web. Dans ce cas de figure, il faut choisir une des autres options proposées. Il n'y a malheureusement pas vraiment de moyen simple de savoir si la colonne est correctement encodée. D'une manière générale, on peut dire que si Excel est capable de changer le format de la date sur la colonne en question, alors elle est encodée correctement. Si le format ne change pas quelque soit le choix fait dans Excel, alors il y a sans doute un problème et il faut choisir une des autres options. Le séparateur
  • Pour le Code du lieu-dit, vous devez choisir le code de l'ancienne base ou le code de la base en ligne actuelle
  • Le champ Commune doit être le Numéro INSEE ou le nom de la commune
  • Le champ Département doit être le nom du département ou son code (correspond aux cantons en Suisse)
  • Les champs Longitude / X(m) et Latitude / X(m) doivent être précisés. Vous devez donc choisir quel est le format des coordonnées de votre fichier d'import parmi les possibilités suivantes, liées à la couverture géographique de votre site, par exemple :
WGS84 géographique [D.d]
WGS84 géographique [DMS]
WGS84 planes - UTM (GRS80) [m]
RGF93 planes - Lambert 93 [m]
NTF planes - Lambert II étendu [m]
NTF planes - Lambert I Nord [m]
NTF planes - Lambert II Centre [m]
NTF planes - Lambert III Sud [m]
NTF géographique (Paris) [Grades]
NTF planes - Lambert IV Corse [m]
CH 1903 [m]

si vous choisissez UTM, le champs "fuseau UTM" doit être renseigné. Attention de ne pas oublier la lettre "U32" et pas seulement "32".

  • Pour l'espèce, il faut préciser si vous utilisez le code Biolovision ou bien le nom de l'espèce en français, allemand, anglais, scientifique, espagnol, italien, catalan, néerlandais ou basque (la liste dépend des langues ouvertes sur votre site)
  • Vous pouvez ajouter autant de champs commentaire et commentaire caché que vous le souhaitez, en ajoutant ou non le titre de la colonne de votre fichier. Par exemple, si vous paramétrez plusieurs champs "commentaire", vous aurez dans votre base l'ensemble de ces champs (avec ou non leur titre de colonne) dans votre champ commentaire : "ceci est un test / Numéro nichoir : 345 / météo : beau". "Numéro nichoir" et "météo" sont ici les titres de la colonne. C'est une manière de pouvoir importer toutes les infos de votre fichier même si elles ne correspondent pas aux champs disponibles de la 1ère colonne du module d'import. Le principe est le même avec les commentaires cachés.
  • Le champ "Age et sexe" n'apparaîtra que si vous avez choisi un groupe taxonomique unique. Là encore, les choix du menu déroulant dépendront de votre site et du groupe taxonomique choisi. Pour être compatible avec le système vous devez fournir une colonne de chiffre. Cela indique par exemple le nombre de "mâle adulte", "femelle", "1ère année". Il faudra donc probablement adapter votre fichier pour que l'import de cette information soit possible.
  • Pour l'observateur, vous avez trois possibiltés : soit c'est un e-mail, soit le nom et le prénom, soit vous demandez au système de mettre le nom de l'observateur en remarque cachée pour pouvoir ensuite réattribuer les données à un compte d'un observateur déjà inscrit (c'est la fonction "remapper les archives de cet observateur"  dans la gestion des utilisateurs - cf : l'article suivant du Wiki). Si vous choisissez "email" ou "nom prénom", le système recherche la personne en question. Si la personne à un homonyme, l'import est impossible. Idem si une personne n'est pas trouvée.
  • Le champ "code atlas" apparaîtra si vous avez uniquement choisi les oiseaux comme groupe taxonomique. Vous devez préciser si c'est la liste à 16 ou 19 codes atlas que vous utilisez (en principe les codes proposés sont ceux valables dans le pays. En France, il y a deux choix (16 ou 19 codes). L'option 19 codes est pour les sites qui utilisent les codes Suisses (Rhône-Alpes principalement). Les autres utilisent +/- les codes officiels de l'EBCC, c'est à dire les 16 codes. En interne, nous utilisons 25 codes pour pouvoir coller à toutes les options (cf. lien suivant). Donc un fichier utilisant le mode 16 codes doit transmettre les codes 0 à 16 ou 30/40/50/99. C'est ensuite automatiquement modifié pour coller à nos codes internes. (0 => 0; 1 => 2; 2 => 3, ... 30 => 30 ...))


Le 3ème volet permet de faire des réglages supplémentaires et de procéder à des validations du fichier.


- Type de localisation précise

Il y a 3 manières d'interpréter les informations de localisation contenues dans le fichier source:

"Précise" : les coordonnées sont précises, il faut donc obligatoirement les coord X et Y. Un lieu-dit ou une commune ne suffisent pas et ne sont d'ailleurs pas utilisés. Donc, sans coordonnées précises, ce mode n'est pas utilisable
"Lieu-dit" : les données sont associées au lieu-dit le plus proche (il n'y a pas de pointeur rouge qui signe une localisation précise). Ici on peut exploiter le nom du lieu-dit, l'ID actuel ou l'ID de l'ancienne base si cela avait été chargé initialement (mais c'est rarement le cas). On peut aussi utiliser des coordonnées (comme en choisissant l'option précédente), mais dans ce cas, il cherchera le lieu-dit le plus proche et ignorera les coordonnées.
"Commune
" : les données seront associées à la commune (centroïde, point vert). Tout est alors exploitable (code de l'ancienne base, code de la base actuelle, nom du lieu-dit complet, nom de la commune, numéro INSEE ou coordonnées XY (la couche spatiale est alors interrogée pour trouver la commune).

Le but de tout cela, c'est de ne pas avoir des données faussement précises. Avec les testeurs, nous avons constaté qu'il y avait beaucoup de données placées au centroïde d'une commune qui se retrouvaient chargées en "donnée précise" sur le site, ce qui est complètement faux (espèce pélagique sur l'église du village par exemple).

'Attention, ces trois types de localisation ne peuvent pas être mixés, donc si vous avez des données des 3 types, il faudra faire l'import en trois fichiers séparés.'

- Vous pouvez cacher toutes les données (vous pouvez aussi choisir de les cacher selon votre fichier en utilisant le champ "Donnée cachée" du volet précédent. Il faudra alors mettre un 1 dans votre colonne "obs cachée" pour que le système la cache en l'important et un 0 pour qu'elle ne le soit pas. Ceci-dit, les filtres automatiques de votre base sont actifs (et non désactivables), donc, par exemple, une donnée de Grand Tétras en Suisse sera masquée même si la valeur de la colonne "obs cachée" est à 0.)

- Vous pouvez demander au système de faire une vérification automatique de vos données en utilisant les filtres automatiques de votre base.

- Vous pouvez demander à ce que le système valide uniquement votre fichier, sans l'importer.


Masque import detail 3.jpg


Une fois l'import démarré, le système montre l'état d'avancement, puis le résultat et les erreurs

Il n'y a presque pas de limite de taille pour le fichier, c'est simplement une question de temps : plus le fichier est volumineux, plus l'import sera long. Vous pouvez compter sur 1000 données par minute, mais le timing varie si vous ne donnez pas l'altitude et la commune (ils sont alors calculés automatiquement par la matrice altitude et la couche des communes, mais cela prend plus de temps).

Le système procède à l'import (ou à la validation) de tout le fichier, mais s'arrête dès qu'il a trouvé 15 lignes avec des erreurs. Une description précise des erreurs est donnée pour chaque ligne ou cellule. Si la validation est menée avec succès, l'import proprement dit commence. Dans le cas contraire, vous pouvez modifier le fichier localement sur votre ordinateur et le télécharger de nouveau lorsque les erreurs sont corrigées, jusqu'à ce qu'il passe la validation.

Dans l'exemple ci-dessous, le Code Biolovision était paramétré pour le nom de l'espèce au lieu du nom français, d'où les erreurs.

Masque import detail 4.jpg
Masque import.jpg


L'historique des imports se trouvent en-dessous. Si vous êtes admin, vous voyez tous les imports. Si vous n'êtes pas admin, vous ne voyez que vos propres imports.

- Rouge : échec de l'import
- Vert : succès de l'import
- Bleu : configuration en cours (prochaine étape)
- Jaune : validation ou import en cours
- Orange : import validé, mais pas importé