Ferramentas de ingestão de dados da Máquina Virtual de Ciência de Dados
Em um estágio inicial em um projeto de ciência de dados ou IA, você deve identificar os conjuntos de dados necessários e, em seguida, trazê-los para seu ambiente de análise. A Máquina Virtual de Ciência de Dados (DSVM) fornece ferramentas e bibliotecas para trazer dados de diferentes fontes para recursos de armazenamento de dados analíticos locais na DSVM. A DSVM também pode trazer dados para uma plataforma de dados localizada na nuvem ou no local.
A DSVM oferece estas ferramentas de movimentação de dados:
CLI do Azure
| Categoria | Value |
|---|---|
| O que é? | Uma ferramenta de gerenciamento para o Azure. Ele oferece verbos de comando para mover dados de plataformas de dados do Azure - por exemplo, armazenamento de Blob do Azure e Repositório Azure Data Lake |
| Versões DSVM suportadas | Windows, Linux |
| Utilizações típicas | Importar e exportar dados entre o Armazenamento do Azure e o Repositório Azure Data Lake |
| Como usá-lo / executá-lo? | Abra um prompt de comando e digite az para obter ajuda. |
| Links para exemplos | Utilizar a CLI do Azure |
AzCopy
| Categoria | Value |
|---|---|
| O que é? | Uma ferramenta para copiar dados entre arquivos locais, armazenamento de Blob do Azure, arquivos e tabelas |
| Versões DSVM suportadas | Windows |
| Utilizações típicas | Copiar arquivos para o armazenamento de Blob do Azure Copiar blobs entre contas |
| Como usá-lo / executá-lo? | Abra um prompt de comando e digite azcopy para obter ajuda. |
| Links para exemplos | AzCopy no Windows |
Ferramenta de migração de dados do Azure Cosmos DB
| Categoria | Value |
|---|---|
| O que é? | Ferramenta para importar dados de várias fontes para o Azure Cosmos DB, um banco de dados NoSQL na nuvem. Essas fontes incluem arquivos JSON Ficheiros CSV SQL MongoDB Armazenamento de Tabelas do Azure Amazon DynamoDB Azure Cosmos DB para coleções NoSQL |
| Versões DSVM suportadas | Windows |
| Utilizações típicas | Importar arquivos de uma VM para o Azure Cosmos DB importar dados do armazenamento de tabelas do Azure para o Azure Cosmos DB importar dados de um banco de dados do Microsoft SQL Server para o Azure Cosmos DB |
| Como usá-lo / executá-lo? | Para usar a versão de linha de comando, abra um prompt de comando e digite dt. Para usar a ferramenta GUI, abra um prompt de comando e digite dtui |
| Links para exemplos | Import data into Azure Cosmos DB (Importar dados para o Azure Cosmos DB). |
Explorador de Armazenamento do Azure
| Categoria | Value |
|---|---|
| O que é? | Interface gráfica do usuário para interagir com arquivos armazenados na nuvem do Azure |
| Versões DSVM suportadas | Windows |
| Utilizações típicas | Importar e exportar dados da DSVM |
| Como usá-lo / executá-lo? | Pesquisar "Azure Storage Explorer" no menu Iniciar |
| Links para exemplos | Explorador do Storage do Azure |
bcp
| Categoria | Value |
|---|---|
| O que é? | Ferramenta SQL Server para copiar dados entre o SQL Server e um arquivo de dados |
| Versões DSVM suportadas | Windows |
| Utilizações típicas | Importar um arquivo CSV para uma tabela do SQL Server Exportar uma tabela do SQL Server para um arquivo |
| Como usá-lo / executá-lo? | Abra um prompt de comando e digite bcp para obter ajuda |
| Links para exemplos | utilitário bcp |
blobfuse
| Categoria | Value |
|---|---|
| O que é? | Uma ferramenta para montar um contêiner de armazenamento de Blob do Azure no sistema de arquivos Linux |
| Versões DSVM suportadas | Linux |
| Utilizações típicas | Ler e gravar em blobs em um contêiner |
| Como usá-lo e executá-lo? | Executar blobfuse em um terminal |
| Links para exemplos | blobfuse no GitHub |