Ferramentas de ingestão de dados de máquina virtual de ciência de dados de dados

Como um dos primeiros passos técnicos de um projeto de ciência de dados ou IA, você deve identificar os conjuntos de dados a serem usados e trazê-los para o seu ambiente de análise. A Máquina Virtual de Ciência de Dados (DSVM) fornece ferramentas e bibliotecas para trazer dados de diferentes fontes para o armazenamento de dados analíticos localmente no DSVM, ou para uma plataforma de dados na nuvem ou no local.

Aqui estão algumas ferramentas de movimento de dados que estão disponíveis no DSVM.

CLI do Azure

Categoria Valor
Que passa? Uma ferramenta de gestão para o Azure. Também contém verbos de comando para mover dados de plataformas de dados Azure, como o armazenamento de Azure Blob e a Azure Data Lake Store.
Versões DSVM suportadas Windows, Linux
Usos típicos Importar e exportar dados de e para a Azure Storage e Azure Data Lake Store.
Como usá-lo/ executá-lo? Abra um pedido de comando e escreva az para obter ajuda.
Ligações a amostras Utilizar a CLI do Azure

AzCopy

Categoria Valor
Que passa? Uma ferramenta para copiar dados de e para ficheiros locais, armazenamento, ficheiros e tabelas Azure Blob.
Versões DSVM suportadas Windows
Usos típicos Copiar ficheiros para o armazenamento da Azure Blob e copiar bolhas entre contas.
Como usá-lo/ executá-lo? Abra um pedido de comando e escreva azcopy para obter ajuda.
Ligações a amostras AzCopy no Windows

Ferramenta de migração de dados Azure Cosmos DB

-- --
Que passa? Ferramenta para importar dados de várias fontes para Azure Cosmos DB, uma base de dados NoSQL na nuvem. Estas fontes incluem ficheiros JSON, ficheiros CSV, SQL, MongoDB, armazenamento de mesa Azure, Amazon DynamoDB e azure Cosmos DB SQL API coleções.
Versões DSVM suportadas Windows
Usos típicos Importar ficheiros de um VM para CosmosDB, importar dados do armazenamento de mesas Azure para cosmosDB, e importar dados de uma base de dados do Microsoft SQL Server para CosmosDB.
Como usá-lo/ executá-lo? Para utilizar a versão da linha de comando, abra um pedido de comando e escreva dt. Para utilizar a ferramenta GUI, abra um pedido de comando e escreva dtui.
Ligações a amostras Dados de importação do CosmosDB

Explorador de Armazenamento do Azure

Categoria Valor
Que passa? Interface gráfica do utilizador para interagir com ficheiros armazenados na nuvem Azure.
Versões DSVM suportadas Windows
Usos típicos Dados de importação e exportação do DSVM.
Como usá-lo/ executá-lo? Procure "Azure Storage Explorer" no menu Iniciar.
Ligações a amostras Explorador do Storage do Azure

bcp

Categoria Valor
Que passa? Ferramenta SQL Server para copiar dados entre o SQL Server e um ficheiro de dados.
Versões DSVM suportadas Windows
Usos típicos Importar um ficheiro CSV numa tabela do SQL Server e exportar uma tabela SQL Server para um ficheiro.
Como usá-lo/ executá-lo? Abra um pedido de comando e escreva bcp para obter ajuda.
Ligações a amostras utilidade bcp

blobfuse

Categoria Valor
Que passa? Uma ferramenta para montar um recipiente de armazenamento Azure Blob no sistema de ficheiros Linux.
Versões DSVM suportadas Linux
Usos típicos Ler e escrever para bolhas num recipiente.
Como usá-lo e executá-lo? Executar blobfuse em um terminal.
Ligações a amostras blobfuse no GitHub