資料科學虛擬機器資料擷取工具
資料科學或 AI 專案中初期,您必須識別需要的資料集,並將該資料集匯入分析環境。 資料科學虛擬機器 (DSVM) 提供工具和程式庫,可將不同來源的資料匯入 DSVM 的分析資料儲存體資源。 DSVM 也可以將資料帶入位於雲端或內部部署的資料平台。
DSVM 提供下列資料移動工具:
Azure CLI
類別 | 值 |
---|---|
這是什麼? | Azure 的管理工具。 提供從 Azure 資料平台 (例如 Azure Blob 儲存體和 Azure Data Lake Store) 移動資料的動詞命令 |
支援的 DSVM 版本 | Windows、Linux |
一般用法 | 在 Azure 儲存體與 Azure Data Lake Store 之間匯入和匯出資料 |
如何使用/執行它? | 開啟命令提示字元,然後輸入 az 以取得協助。 |
範例的連結 | 使用 Azure CLI |
AzCopy
類別 | 值 |
---|---|
這是什麼? | 此工具可在本機檔案、Azure Blob 儲存體、檔案和資料表之間進行複製 |
支援的 DSVM 版本 | Windows |
一般用法 | 將檔案複製到 Azure Blob 儲存體 在帳戶之間複製 blob |
如何使用/執行它? | 開啟命令提示字元,然後輸入 azcopy 以取得協助。 |
範例的連結 | AzCopy on Windows |
Azure Cosmos DB 資料移轉工具
類別 | 值 |
---|---|
這是什麼? | 此工具可將資料從各種來源匯入 Azure Cosmos DB,也就是雲端中的 NoSQL 資料庫。 資料來源包括 JSON 檔案 CSV 檔案 SQL MongoDB Azure 資料表儲存體 Amazon DynamoDB Azure Cosmos DB for NoSQL 集合 |
支援的 DSVM 版本 | Windows |
一般用法 | 將檔案從 VM 匯入至 Azure Cosmos DB 將資料從 Azure 表格儲存體匯入至 Azure Cosmos DB 將資料從 Microsoft SQL Server 資料庫匯入至 Azure Cosmos DB |
如何使用/執行它? | 若要使用命令列版本,請開啟命令提示字元,然後輸入 dt 。 若要使用 GUI 工具,請開啟命令提示字元,並輸入 dtui |
範例的連結 | 將資料匯入到 Azure Cosmos DB |
Azure 儲存體總管
類別 | 值 |
---|---|
這是什麼? | 用於和儲存在 Azure 雲端中的檔案進行互動的圖形化使用者介面 |
支援的 DSVM 版本 | Windows |
一般用法 | 將資料匯入 DSVM,並從 DSVM 匯出資料 |
如何使用/執行它? | 在 [開始] 功能表中搜尋「Azure 儲存體總管」 |
範例的連結 | Azure 儲存體總管 |
bcp
類別 | 值 |
---|---|
這是什麼? | 在 SQL Server 和資料檔案之間複製資料的 SQL Server 工具 |
支援的 DSVM 版本 | Windows |
一般用法 | 將 CSV 檔案匯入 SQL Server 資料表 將 SQL Server 資料表匯出至檔案 |
如何使用/執行它? | 開啟命令提示字元,然後輸入 bcp 以取得說明 |
範例的連結 | bcp 公用程式 |
blobfuse
類別 | 值 |
---|---|
這是什麼? | 在 Linux 檔案系統中掛接 Azure Blob 容器的工具 |
支援的 DSVM 版本 | Linux |
一般用法 | 讀取和寫入容器中的 blob |
如何使用和執行? | 在終端機執行 blobfuse |
範例的連結 | GitHub 上的 blobfuse |