Ferramentas de ingestão de dados de Máquina Virtual de Ciência de Dados
Em um estágio inicial de um projeto de ciência de dados ou IA, você deve identificar os conjuntos de dados necessários e, em seguida, trazê-los para o seu ambiente de análise. A Máquina Virtual de Ciência de Dados (DSVM) fornece ferramentas e bibliotecas para trazer dados de diferentes fontes para recursos de armazenamento de dados analíticos locais na DSVM. A DSVM também pode trazer dados para uma plataforma de dados localizada na nuvem ou no local.
A DSVM oferece essas ferramentas de movimentação de dados:
CLI do Azure
| Categoria | Valor |
|---|---|
| O que é? | Uma ferramenta de gerenciamento para o Azure. Oferece verbos de comando para mover dados de plataformas de dados do Azure, por exemplo, o Armazenamento de Blobs do Azure e o Azure Data Lake Store |
| Versões da DSVM com suporte | Windows, Linux |
| Usos típicos | Importar e exportar dados entre o Armazenamento do Microsoft Azure e o Azure Data Lake Store |
| Como usar/executar? | Abra um prompt de comando e digite az para obter ajuda. |
| Links para exemplos | Usando a CLI do Azure |
AzCopy
| Categoria | Valor |
|---|---|
| O que é? | Uma ferramenta para copiar dados entre arquivos locais, Armazenamento de Blobs do Azure, arquivos e tabelas |
| Versões da DSVM com suporte | Windows |
| Usos típicos | Copiar arquivos para o Armazenamento de Blobs do Azure Copiar blobs entre contas |
| Como usar/executar? | Abra um prompt de comando e digite azcopy para obter ajuda. |
| Links para exemplos | AzCopy no Windows |
Ferramenta de migração de dados do Azure Cosmos DB
| Categoria | Valor |
|---|---|
| O que é? | Ferramenta para importar dados de várias fontes para o Azure Cosmos DB, um banco de dado do NoSQL na nuvem. Essas fontes incluem arquivos JSON Arquivos CSV SQL MongoDB Armazenamento de Tabelas do Azure Amazon DynamoDB Coleções do Azure Cosmos DB for NoSQL |
| Versões da DSVM com suporte | Windows |
| Usos típicos | Importar arquivos de uma VM para o Microsoft Azure Cosmos DB importar dados do armazenamento de tabelas do Azure para o Microsoft Azure Cosmos DB importar dados de um banco de dados do Microsoft SQL Server para o Azure Cosmos DB |
| Como usar/executar? | Para usar a versão de linha de comando, abra um prompt de comando e digite dt. Para usar a ferramenta GUI, abra um prompt de comando e digite dtui |
| Links para exemplos | Importar dados no Azure Cosmos DB |
Gerenciador de Armazenamento do Azure
| Categoria | Valor |
|---|---|
| O que é? | Interface Gráfica do Usuário para interagir com arquivos armazenados na nuvem do Azure |
| Versões da DSVM com suporte | Windows |
| Usos típicos | Importar dados para e exportar dados da DSVM |
| Como usar/executar? | Procure pelo "Gerenciador de Armazenamento do Microsoft Azure" no menu Iniciar |
| Links para exemplos | Gerenciador de Armazenamento do Azure |
bcp
| Categoria | Valor |
|---|---|
| O que é? | Ferramenta do SQL Server para copiar dados entre o SQL Server e um arquivo de dados |
| Versões da DSVM com suporte | Windows |
| Usos típicos | Importar um arquivo CSV para uma tabela do SQL Server Exportar uma tabela do SQL Server para um arquivo |
| Como usar/executar? | Abra um prompt de comando e digite bcp para obter ajuda |
| Links para exemplos | utilitário bcp |
blobfuse
| Categoria | Valor |
|---|---|
| O que é? | Uma ferramenta para montar um contêiner de Armazenamento de Blobs do Azure no sistema de arquivos do Linux |
| Versões da DSVM com suporte | Linux |
| Usos típicos | Leitura e gravação em blobs em um contêiner |
| Como usá-lo e executá-lo? | Execute o blobfuse em um terminal |
| Links para exemplos | blobfuse no GitHub |