Presque tous les problèmes d’import commencent dans le fichier : un séparateur différent, une date au format local, un nombre avec une virgule, une colonne dont le nom a changé. Ce guide passe en revue les quatre formats que DeepMiner importe et indique ce qu’il faut vérifier dans chacun avant l’envoi.
Avant le fichier, le schéma
Le schéma dit quels champs l’index possède, de quel type est chacun et quel champ identifie l’enregistrement. Le définir d’abord évite d’importer une base qui ne sert pas aux questions que vous allez poser.
Dans DeepMiner, le plus rapide est de coller un enregistrement d’exemple en JSON et d’utiliser Déduire les champs. Les types disponibles sont texte, nombre, date, booléen, objet et liste. Relisez le type de chaque champ et marquez le champ clé : grâce à lui, réimporter le même enregistrement le met à jour au lieu de le dupliquer. Les champs déjà enregistrés passent en lecture seule, et de nouveaux champs peuvent être ajoutés ensuite.
Les noms de colonnes du fichier doivent être identiques à ceux des champs du schéma, avec la même graphie. Les noms qui commencent par un tiret bas sont réservés.
CSV
Le CSV est le format le plus courant et celui qui varie le plus. Vérifiez :
- L’en-tête sur la première ligne, avec les noms des champs.
- Un seul séparateur : point-virgule ou virgule. Si l’en-tête contient des points-virgules, DeepMiner utilise le point-virgule pour tout le fichier.
- Aucun séparateur à l’intérieur des valeurs. Une adresse avec une virgule dans un CSV séparé par des virgules coupe la ligne en colonnes en trop. Préférez le point-virgule comme séparateur ou retirez le caractère de la valeur.
- Une ligne par enregistrement, sans saut de ligne à l’intérieur d’un champ.
- L’encodage UTF-8, pour que les accents arrivent intacts.
XLSX
Le tableur règle une partie des problèmes du CSV, puisque chaque cellule est déjà une valeur distincte. La précaution porte sur la structure : DeepMiner lit le premier onglet, utilise la première ligne remplie comme en-tête et importe les lignes en dessous. Les lignes entièrement vides sont ignorées.
Avant d’exporter, retirez les titres, les lignes de total et les cellules fusionnées au-dessus de l’en-tête, et laissez les données dans le premier onglet.
JSON et NDJSON
Quand l’enregistrement a de la structure, comme un client avec une liste de commandes, JSON et NDJSON conservent cette structure sans aplatir les colonnes. Le schéma de l’index accepte les objets et les listes d’objets, et les champs de l’intérieur deviennent des champs imbriqués.
Le JSON doit être un tableau d’objets, chaque objet étant un enregistrement. Le NDJSON a un objet complet par ligne, sans virgule entre les lignes et sans crochets autour. Si une ligne du NDJSON est invalide, l’import indique son numéro.
Les deux formats suivent les spécifications publiques citées dans les sources. Les fichiers générés par des bibliothèques standard sont en général corrects. Ceux écrits à la main sont ceux qui échouent le plus.
Dates, nombres et booléens
Les valeurs sont validées d’après le type du champ. Trois formats évitent la plupart des enregistrements invalides :
- Les dates en AAAA-MM-JJ, comme 2025-01-31. Les formats locaux risquent d’être lus avec le jour et le mois inversés.
- Les nombres avec le point comme séparateur décimal et sans séparateur de milliers : 1234.56.
- Les booléens sous la forme true ou false, 1 ou 0, oui ou non.
L’enregistrement dont un champ contient une valeur invalide est importé avec la marque d’invalide et le message d’erreur, pour que vous sachiez quel champ corriger. Le champ clé ne peut pas rester vide.
Après l’import
L’écran d’import affiche le total d’enregistrements, les traités, les échecs et le statut, avec un avancement qui se met à jour tout seul. L’Historique d’import garde chaque fichier, son origine (fichier ou API) et le rapport d’erreurs.
Vérifiez quelques enregistrements dans l’index avant d’utiliser la base dans des flux. Si quelque chose est faux, corrigez le fichier et importez à nouveau : avec le champ clé, les enregistrements sont mis à jour.
Vous voulez importer un échantillon de votre base pendant la démonstration ? Planifiez-la et apportez un fichier de données fictives.
Questions fréquentes
Quel format choisir pour importer ?
Pour des données en table simple, CSV ou XLSX. Pour des données dont l’enregistrement contient de la structure, comme une liste de commandes par client, JSON en tableau ou NDJSON.
Qu’est-ce que le NDJSON ?
C’est un format avec un objet JSON complet par ligne. Il est courant dans les exports de systèmes et permet de lire de gros fichiers ligne par ligne.
Pourquoi ma date a-t-elle été rejetée ?
Les dates aux formats locaux, comme 31/01/2025, peuvent être lues autrement que prévu. Le format AAAA-MM-JJ, comme 2025-01-31, supprime l’ambiguïté.