Notes
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article explique comment utiliser l’activité de copie dans les pipelines de données pour copier des données depuis et vers MongoDB.
Configuration prise en charge
Pour la configuration de chaque onglet sous activité de copie, accédez respectivement aux sections suivantes.
Généralités
Reportez-vous aux instructions relatives aux paramètres Général pour configurer l’onglet Paramètres Général .
Origine
Accédez à l’onglet Source pour configurer votre source d’activité de copie. Consultez le contenu suivant pour obtenir la configuration détaillée.
Les propriétés suivantes sont requises :
- Connexion : sélectionnez une connexion MongoDB dans la liste de connexions. Si aucune connexion n’existe, créez une connexion MongoDB en sélectionnant Nouveau.
- Base de données : sélectionnez votre base de données dans la liste déroulante.
- Nom de la collection : spécifiez le nom de la collection dans la base de données MongoDB. Vous pouvez sélectionner la collection dans la liste déroulante ou sélectionner Modifier pour l’entrer manuellement.
- Version : version que vous spécifiez. Recommandez la mise à niveau vers la dernière version pour tirer parti des dernières améliorations. Pour découvrir la différence entre différentes versions, accédez à cette section.
Sous Avancé, vous pouvez spécifier les champs suivants :
- Filtre : spécifie le filtre de sélection à l’aide d’opérateurs de requête. Pour renvoyer tous les documents d’une collection, omettez ce paramètre ou transmettez un document vide ({}).
-
Méthodes de curseur : Sélectionnez + Nouveau pour spécifier la façon dont la requête sous-jacente est exécutée. Les méthodes d’exécution de la requête sont les suivantes :
- projet : spécifie les champs à retourner dans les documents pour la projection. Pour renvoyer tous les champs des documents correspondants, omettez ce paramètre.
- tri : spécifie l’ordre dans lequel la requête retourne des documents correspondants. Pour plus d’informations, accédez à cursor.sort().
- limite : spécifie le nombre maximal de documents retournés par le serveur. Pour plus d’informations, accédez à cursor.limit().
- skip : spécifie le nombre de documents à ignorer et à partir duquel MongoDB commence à retourner les résultats. Accédez à cursor.skip() pour plus d’informations.
- Taille du lot : spécifie le nombre de documents à retourner dans chaque lot de la réponse de l’instance MongoDB. Dans la plupart des cas, la modification de la taille du lot n’affecte pas l’utilisateur ou l’application.
- Colonnes supplémentaires: Ajoutez des colonnes de données supplémentaires pour stocker le chemin relatif ou la valeur statique des fichiers sources. L’expression est prise en charge pour ce dernier.
Destination
Accédez à l'onglet Destination de
Les propriétés suivantes sont requises :
- Type de magasin de données: sélectionnez Externe .
- Connexion : sélectionnez une connexion MongoDB dans la liste de connexions. Si aucune connexion n’existe, créez une connexion MongoDB en sélectionnant Nouveau.
- Base de données : sélectionnez votre base de données dans la liste déroulante.
- Nom de la collection : spécifiez le nom de la collection dans la base de données MongoDB. Vous pouvez sélectionner la collection dans la liste déroulante ou sélectionner Modifier pour l’entrer manuellement.
Sous Avancé, vous pouvez spécifier les champs suivants :
Comportement d’écriture : décrit comment écrire des données dans MongoDB. Valeurs autorisées : Insertion et Upsert.
Le comportement d’Upsert consiste à remplacer le document s’il en existe déjà un
_id; autrement, à insérer le document.Remarque
Le service génère automatiquement un
_idpour un document si un_idn’est pas spécifié dans le document initial ou par un mappage de colonnes. Cela signifie que vous devez vous assurer que, pour que Upsert fonctionne comme prévu, votre document a un ID.Délai d'attente du lot d'écriture : Temps d’attente pour que l’opération d’insertion par lot soit terminée avant d’expirer. La valeur autorisée est timespan.
Taille de lot d’écriture : cette propriété contrôle la taille des documents à écrire dans chaque lot. Vous pouvez essayer d’augmenter la valeur pour améliorer les performances et diminuer la valeur si la taille de votre document est volumineuse.
Cartographie
Pour la configuration de l’onglet Mappage , consultez Configurer vos mappages sous l’onglet Mappage. Le mappage n’est pas pris en charge lorsque la source et la destination sont des données hiérarchiques.
Mappage de type de données pour MongoDB
Lors de la copie de données à partir de MongoDB, les mappages suivants sont utilisés des types de données MongoDB vers les types de données temporaires utilisés par le service en interne.
| Type de données MongoDB | Type de données de service intermédiaire (pour la version 1.1) | Type de données de service intermédiaire (pour la version 1.0) |
|---|---|---|
| Date (Jour/Mois/Année) | Date et heure | Chaîne |
| Identifiant d'objet (ObjectId) | Chaîne | Chaîne |
| Decimal128 | Chaîne | Chaîne |
| Horodatage | Les 32 bits les plus significatifs -> DateTime Les 32 bits les moins significatifs -> Int32 |
Int32 |
| Chaîne | Chaîne | Chaîne |
| Tableau | Tableau | Tableau |
| Double | Double | Chaîne |
| Int32 | Int32 | Chaîne |
| Int64 | Int64 | Chaîne |
| Booléen | Booléen | Booléen |
| Données nulles | Zéro | Zéro |
| Document | Dictionnaire | Dictionnaire |
| javaScript | Chaîne | Chaîne |
| Regex | Chaîne | Chaîne |
| minKey | Chaîne | Int32 |
| maxKey | Chaîne | Int32 |
| Binaire | GUID (lorsque SubType est « 04 » ) Chaîne |
Chaîne |
Paramètres
Pour configurer l’onglet Paramètres , allez à Configurer vos autres paramètres sous l’onglet .
Différences entre les versions de MongoDB
Le tableau ci-dessous présente les différences de fonctionnalités entre différentes versions.
| Version 1.1 | Version 1.0 |
|---|---|
| Les mappages suivants sont utilisés à partir des types de données MongoDB pour les types de données de service intermédiaires. Date -> Date et heure TimeStamp -> Les 32 bits les plus significatifs -> DateTime ; Les 32 bits les moins significatifs -> Int32 Double -> Double Int32 -> Int32 Int64 -> Int64 minKey -> String maxKey -> String Binaire -> GUID (quand SubType est « 04 ») / String |
Les mappages suivants sont utilisés à partir des types de données MongoDB pour les types de données de service intermédiaires. Date -> Chaîne TimeStamp -> Int32 Double -> Chaîne de caractères Int32 -> String Int64 -> String minKey -> Int32 maxKey -> Int32 Binaire -> Chaîne |
Résumé du tableau
Le tableau suivant contient plus d’informations sur l’activité de copie dans MongoDB.
Informations sur la source
| Nom | Descriptif | Valeur | Obligatoire | Propriété de script JSON |
|---|---|---|---|---|
| type de stockage de données | Type de magasin de données. | Externe | Oui | / |
| Connexion | Votre connexion au magasin de données source. | < votre connexion MongoDB > | Oui | connexion |
| Base de données | Votre base de données que vous utilisez comme source. | < votre base de données > | Oui | base de données |
| Nom de la collection | Nom de la collection dans la base de données MongoDB. | < votre collection > | Oui | collection |
| Version | Version que vous spécifiez. | • 1.1 • 1.0 |
Oui | Version: • 1.1 • 1.0 |
| Filtre | Filtre de sélection à l’aide d’opérateurs de requête. Pour renvoyer tous les documents d’une collection, omettez ce paramètre ou transmettez un document vide ({}). | < votre filtre de sélection > | Non | Filter |
| Méthodes de curseur | La façon dont la requête sous-jacente est exécutée. | • projet • trier • limite • ignorer |
Non | cursorMethods : •projet • trier •limite • passer |
| Taille du lot | Nombre de documents à retourner dans chaque lot de la réponse de l’instance MongoDB. |
< votre taille de lot d’écriture > (la valeur par défaut est 100) |
Non | taille de lot |
| Colonnes supplémentaires | Ajoutez des colonnes de données supplémentaires pour stocker le chemin d’accès relatif ou la valeur statique des fichiers sources. L’expression est prise en charge pour ce dernier. | •Nom •Valeur |
Non | colonnes supplémentaires : • nom •valeur |
Informations de destination
| Nom | Descriptif | Valeur | Obligatoire | Propriété de script JSON |
|---|---|---|---|---|
| type de stockage de données | Type de magasin de données. | Externe | Oui | / |
| Connexion | Votre connexion au magasin de données de destination. | < votre connexion MongoDB > | Oui | connexion |
| Base de données | Votre base de données que vous utilisez comme destination. | < votre base de données > | Oui | base de données |
| Nom de la collection | Nom de la collection dans la base de données MongoDB. | < votre collection > | Oui | collection |
| Comportement d’écriture | Décrit comment écrire des données dans MongoDB. Valeurs autorisées : Insertion et Upsert. Le comportement d’Upsert consiste à remplacer le document s’il en existe déjà un _id ; autrement, à insérer le document.Remarque : le service génère automatiquement un identifiant _id pour un document si un _id document n’est pas spécifié dans le document d'origine ou par le mappage de colonnes. Cela signifie que vous devez vous assurer que, pour que Upsert fonctionne comme prévu, votre document a un ID. |
• Insertion (par défaut) • Upsert |
Non | writeBehavior : • insérer • insertion ou mise à jour |
| Délai d’expiration du lot d’écritures | Temps d’attente pour que l’opération d’insertion de lot soit terminée avant d’expirer. | intervalle de temps (la valeur par défaut est 00:30:00 - 30 minutes) |
Non | writeBatchTimeout |
| Écrire la taille du lot | Contrôle la taille des documents à écrire dans chaque lot. Vous pouvez essayer d’augmenter cette valeur pour améliorer les performances et diminuer la valeur si la taille de votre document est volumineuse. | < votre taille de lot d’écriture > | Non | writeBatchSize |