在本文中,您將瞭解線上和離線移轉資料的各種類型的解決方案。 某些解決方案也提供可重複的同步、合併和混合式部署功能。 通常,這些工具帶來了重疊的技術能力,並且適用於類似的用例。 本文提供針對您需求選取適當移轉工具的指引,並識別原生 Azure 工具,以及合作夥伴和獨立軟體廠商 (ISV) 解決方案。
本文討論每個工具最適合的各種案例。 它還提供了比較和對比這些工具的廣闊視角。
線上工具
線上網路傳輸
提供線上網路傳輸的工具可讓您透過網路連線或公用因特網將資料傳輸至 Azure。 這種傳輸可以通過多種方式完成,並使用各種工具。
Azure Storage Mover
Azure 儲存體 Mover 是一項完全受控的移轉服務,可協助您透過網路將 TB 到 PB 規模的資料移轉至 Azure 儲存體。 Storage Mover 是一種混合雲服務,由雲端服務元件和內部部署移轉代理程式虛擬機器 (VM) 組成。 Storage Mover 用於像是 lift-and-shift 的移轉案例,以及您定期執行的雲端移轉。
下列清單醒目提示 Storage Mover 的許多關鍵案例和功能,這可能會使其成為某些使用案例的建議工具。
- 由 Azure 中完全受控、自動化、復原的工具所組成。
- 單一 Azure Storage Mover 資源可以全域管理和協調多個代理,從而在單一儀表板中提供所有遷移的可見性。
- 適用於數個 TB 的相對較小的數據大小,以及 PB 規模的大型文件、文件夾和文件共享。 對於一次性資料傳輸和小於 1 TB 的小型資料集,請改用
AzCopy。 - 適合一次性傳輸,例如隨即轉移,或重複的定期同步和傳輸。
- 提供簡單、可靠的程序,預設組態就足夠了。
- 保留檔案中繼資料。
- 移轉來源和目的地包括:
- 伺服器訊息區 (SMB) 或網路檔案系統 (NFS) 來源至 Azure Blob 目標
- SMB 來源至 Azure 檔案儲存體目標
- S3 來源至 Azure Blob 目標
- 「僅限中繼資料」複製功能,其中僅複製檔案中繼資料或結構,而不複製檔案內容。 例如,植入權限或執行「試執行」移轉。
您可以在 服務概觀 一文中深入瞭解 Azure 儲存體 Mover。 下列文章也可協助您利用 Azure 儲存體移動器進行雲端移轉:
同步和分層工具
Azure 檔案同步
Azure 檔案同步可讓您以接近零停機時間移轉 Windows 檔案伺服器,並提供混合式儲存解決方案。 Azure 檔案同步可讓您將組織的檔案共用集中在 Azure 檔案儲存體中,同時保留 Windows 檔案伺服器的彈性、效能和相容性。 Azure 檔案同步主要是同步處理和分層工具,而儲存體移動程式的主要功能是作為移轉服務。
選擇 Azure 檔案同步,以取得傳統檔案伺服器擴充功能,以及與 Azure 檔案共用的多站點同步處理。 此選項包括 Entra ID 整合和雙向同步。它也會自動保留新技術檔案系統 (NTFS) 權限和屬性。 如果您想要保留內部部署快取並利用 雲端分層,或您的伺服器必須在移轉期間繼續提供服務,這些功能會讓 Azure 檔案同步成為理想的方法。
您可以使用任何可用的 Windows Server 通訊協定在本機存取您的數據,包括 SMB、NFS 和 FTPS。 您還可以在世界各地擁有任意數量的緩存。
您可以在 移轉概觀 一文中找到檔案同步所有支援的移轉案例。
深入瞭解 Azure 檔案同步 和各種 移轉案例 請點擊這裡.
Data Box Gateway
Data Box Gateway 是一種雲端儲存體解決方案,可作為虛擬裝置,可在內部部署基礎結構與 Azure 之間實現無縫的單向資料傳輸。 它由本機環境中的 VM 組成,並透過 SMB 或 NFS 等標準通訊協定連線到 Azure。
閘道會高效且安全地快取並將資料上傳至 Azure Blob 或檔案儲存體。 Data Box Gateway 是長期性、持續數據流的閘道,非常適合混合式雲端工作流程。
選擇 Data Box 閘道,將單向大量資料匯流至 Azure,特別是針對 NFS 資料或連續摘要。 當您不需要保持資料的多個內部部署副本同步時,Data Box Gateway 是適合的選擇。Data Box Gateway 的主要功能是快速將資料移至外部並進入 Azure,特別適用於資料處理或封存。 它也支援手動同步選項,以使用來自 Azure 的內容重新整理內部部署共用。
如需 Azure Data Box 閘道的詳細資訊,請參閱 使用案例 一文。
Azure Data Factory
Azure Data Factory (ADF)可讓您準備和轉換來自各種來源的資料,包括資料庫、資料倉儲、「Lakehouse」和即時串流。 然後,它會將此資料擷取到您的網路中以供進一步使用。 當您需要下列一或多項特性或功能時,ADF 是理想的選擇:
- 自訂工作流程
- 移轉期間的資料轉換
- 複雜或可重複的管線
- 將巨量資料工作負載、資料湖或企業資料倉儲 (EDW) 移轉至 Microsoft Azure
在使用 ADF 開始移轉之前,您應該執行概念驗證 (POC),以確保服務符合您的需求,因為涉及的複雜性數量較多。 ADF 移轉指引一文中討論了多個支援的情境。
非受控工具
AzCopy
AzCopy 是可用於在儲存體帳戶間往來複製資料的命令列公用程式。 它非常適合快速、可編寫腳本的一次性傳輸,特別是對於物件資料或較小的檔案集。 如果您需要對傳輸進行精細控制,或需要透過腳本實作自動化,AzCopy 是絕佳的選擇。 它對於可以在相對較短的時間內完成的較小數據傳輸也很有用。
不過,作為非受管理工具,它無法自動同步處理變更或追蹤傳輸狀態。 沒有錯誤處理功能,因此您需要手動檢閱日誌並自行重試任何失敗的操作。 AzCopy 可能不適合用於數十億物件的大規模遷移,因為其效能限制尤其表現在列舉和掃描作業上。
備註
AzCopy 不支援「僅限中繼資料」複本,其中只會複製檔案中繼資料或結構,而不需要相關聯的檔案內容。 例如,不支援植入權限或執行試執行移轉。 相反地,請針對這些類型的使用案例使用 Storage Mover。
您可以在 AzCopy 入門 一文中閱讀 AzCopy 的詳細資訊。
合作夥伴為專業能力提供解決方案
合作夥伴和獨立軟體廠商 (ISV) 工具
如果您需要原生 Azure 工具未涵蓋的進階功能,請考慮 合作夥伴或 ISV 工具。 這些功能可能包括:
- 警報。
- 每一檔案處理。
- 深度評估。
- 專用來源檔案系統。
- 基於政策的措施。
- 使用最小完全移轉的差異同步。
- 支援訊息來源和功能。
如需協助您選擇適當工具的詳細資訊,請檢閱提供的 建議和功能矩陣 一節。
離線工具
當您想要將大量資料傳輸至 Azure 而不依賴網路連線時,會使用離線資料傳輸工具。 這些工具對於網路頻寬有限、昂貴或無法使用的情況非常有用。 它們可讓您以實體方式將資料傳送至 Azure,這可大幅加快移轉程式。
當您想要執行一次性離線大量資料傳輸時,實體可運送的裝置是理想的選擇。 這些使用案例涉及將資料複製到磁碟或專用裝置,並將其運送到上傳資料的安全 Microsoft 設施。 您可以購買並運送自己的磁碟,也可以選擇訂購 Microsoft 提供的磁碟或裝置。 Microsoft 提供的離線傳輸解決方案包括 Azure Data Box Next-Gen 和 Data Box Disk。
Azure Data Box 和 Data Box 磁碟
基礎 Azure Data Box 服務可讓您離線將資料移轉至慣用的 Azure 儲存體服務。 選擇使用 Azure Data Box 移轉時,有數個重要考慮。 當透過網路進行資料複製受到限制、速度太慢、成本太高或不是選項時,Azure Data Box 是邏輯選擇。
由於 Data Box 與其他合作夥伴和 ISV 工具整合良好,因此您可以使用稱為 離線植入的方法。 使用 Data Box 移轉初始資料集之後,您可以使用線上工具更快速地同步處理檔案變更。
Azure Data Box 支援直接跨區域資料匯入,因此您的資料來源可以位於與儲存體帳戶完全不同的區域。 例如,此功能可讓您將位於英國的資料移轉至美國的新目的地。 此功能有助於管理涉及多個地理位置的大型移轉,同時避免區域間網路費用的成本。
下列範例醒目提示 Azure Data Box 可能是正確選擇的常見使用案例:
使用 Azure Migrate 移轉計算基礎結構時
透過使用離線模式移轉非結構化資料,您可以減少時間、成本和網路頻寬使用率。 這種並行執行可以加速整體遷移過程,減少網路負載。執行初始資料植入時
您可以一開始使用 Azure 資料箱移轉大型資料集,然後切換至線上傳輸工具,以同步最近的變更或稱為差異。從 Azure 儲存體匯出資料時
如果您有雲端資料儲存在 Azure 上,您可以使用 Data Box 離線傳輸匯出並帶回內部部署。傳輸大量資料時
Data Box 可以處理每個裝置數十到數百 TB,而且可以平行使用多個裝置。 它對於連線有限或一次性大量移轉的遠端網站特別有用。
- 遷移使用案例包括:
- 來源 SMB/NFS 至 Azure Blob、Azure 檔案儲存體或 Azure Data Lake Storage (ADLS)
- 將內部部署 VM 磁碟轉換為受管理磁碟
- 將資料直接移至一或多個特定存取層: 熱、 冷、 冷或 封存。
您可以在 Microsoft Learn 檔中找到 Azure 資料箱功能的詳細資訊。
Azure 匯入/匯出
Azure 匯入/匯出服務可用來將磁碟驅動器運送至 Azure 資料中心,以安全地將大量資料匯入 Azure Blob 儲存體和 Azure 檔案儲存體。 此服務也可用來將資料從 Azure Blob 儲存體傳輸至磁碟驅動器,並傳送至您的內部部署站點。 您可以提供自己的磁碟機或 Microsoft 提供的磁碟機。
您可以在 服務概觀 一文中深入瞭解 Azure 匯入/匯出。
其他雜項工具
圖形介面
如果您偶爾會傳輸一些檔案,而且不需要將資料傳輸自動化,您可以選擇圖形介面工具,例如 Azure 儲存體總管 或 Azure 入口網站內的 Web 型探索工具 。
腳本或程式化傳輸
您可以使用 Microsoft 的最佳化軟體工具,或直接呼叫 Azure REST API 或軟體開發套件 (SDK)。 可用的可指令碼工具包括 AzCopy、Azure PowerShell 和 Azure CLI。 對於程式設計介面,您可以使用眾多 SDK 之一,並在 .NET、Java、Python、Node/JS、C++、Go、PHP 或 Ruby 之間進行選擇。
建議和能力矩陣
選擇合適的資料遷移工具對於無縫、高效和可靠的傳輸至關重要。 基於檔案共用遷移或服務到服務傳輸等場景的客製化方法有助於優化流程,同時降低風險和中斷。 檢閱關鍵案例,並為您的使用案例選擇最合適且偏好的移轉工具。
根據具體情況可能提供替代方案,但下表為常見場景中最慣用的工具提供了專門的指導。 它們還包括更詳細的功能和支援的功能,使您能夠比較、對比資料遷移過程的下一步並做出明智的決策。
移轉工具
規劃資料移轉至 Azure 時,請務必根據您的特定需求、資料量和移轉複雜度來選取正確的工具。 在最終確定工具選擇之前,請務必確保您閱讀並徹底了解其相應的功能。
下表提供金鑰移轉工具的來源和目標型可支援性矩陣。 提供的表格使用下列圖示來指示支援等級:
| Icon | Description |
|---|---|
| ✅ | 完全支援 |
| 🟦 | 部分支援 |
| ❌ | 尚未支援 |
Microsoft 工具
這很重要
每個 Microsoft 提供的移轉工具都提供各種功能。 沒有一個工具支持每個源和目標組合或網絡協議。
只有 Azure Data Box 支援離線資料傳輸至 Azure 儲存體。 所有其他工具都是在線解決方案。
| Tool | 提供儲存評估 | 來源 | 來源通訊協定 | Azure Blob;ADLS | Azure 檔案儲存體 | Azure NetApp 檔案 | Azure 磁碟 |
|---|---|---|---|---|---|---|---|
| Azure Storage Mover | ❌ | SMB/NFS 伺服器共用;NAS 裝置 | SMB 2.x、3.x | 🟦 1 | 🟦 2 | ❌ | ❌ |
| Azure Storage Mover | ❌ | NAS 設備;檔案共用 | NFS 3.x、4.x | 🟦 1 | ❌ | ❌ | ❌ |
| Azure Storage Mover | ❌ | AWS S3 | S3 | ✅ | ❌ | ❌ | ❌ |
| Azure 資料箱 | ❌ | SMB/NFS 伺服器共用;NAS 裝置 | - | ✅ | 🟦 2 | 🟦 3 | 🟦 4 |
| Data Box Gateway | ❌ | 本地; 本地掛載; SMB 2.x、3.x; NFS v3、v4.1 | - | ✅ | 🟦 2 | ❌ | ❌ |
| Azure 檔案同步 | ❌ | Windows 檔案伺服器 | SMB | ❌ | 🟦 2 | ❌ | ❌ |
| Azure Data Factory | ❌ | 內部部署資料湖;HDFS;AWS S3 | - | ✅ | 🟦 5 | ❌ | ❌ |
| Azure Migrate | 🟦 | 虛擬機管理器;虛擬機磁碟 | - | ❌ | ❌ | ❌ | ✅ |
1 個 HNS 已啟用
2 僅限 SMB
3 需要兩個步驟:先使用 Data Box 移轉至 Azure 檔案儲存體,然後從 Azure 檔案儲存體移至 ANF
4 您可以將分頁 Blob 移轉到受控磁碟,其支援的大小上限為 8 TB;不支援 PV2 和 Ultra 磁碟
5 需要多雲端連接器
6 Azure Blob 和檔案分別僅支援 NFS v3 和 v4.1;考慮相應的應用程式和使用者功能,以及移轉後的可存取性
ISV 合作夥伴工具
這很重要
每個 ISV 合作夥伴提供的移轉工具都會提供各種功能。 沒有一個工具支持每個源和目標組合或網絡協議。
只有 Tape Ark 支援離線資料傳輸至 Azure 儲存體。 所有其他工具都是在線解決方案。
| Tool | 提供儲存評估 | 來源 | 來源通訊協定 | SAN 來源 | NAS 來源 | Azure Blob;ADLS | Azure 檔案儲存體 | Azure NetApp 檔案 | Azure 磁碟 | 電子SAN | Managed Lustre | 由合作夥伴管理 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Komprise | 🟦 | NAS 裝置;雲端文件存儲; S3 | SMB; NFS | ❌ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | 3p1 |
| Atempo | 🟦 | NAS 設備; S3; PFS; Swift | SMB; NFS | ❌ | ✅ | 🟦 2 | ✅ | ✅ | ❌ | ❌ | ✅ | 3p1 |
| 數據動態 | 🟦 | NAS 設備; S3 | SMB; NFS | ❌ | ✅ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | 3p1 |
| Cirrus 數據 | 🟦 | SAN; AWS; 虛擬機管理程式 | - | ✅ | ❌ | ❌ | ❌ | ❌ | ✅ | ✅ | ❌ | 3p1 |
| 西拉塔 | ❌ | Hadoop、符合 POSIX 標準的 FS | - | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ | 3p |
| 磁帶方舟 | ❌ | 磁帶、磁碟和其他離線媒體 | - | ❌ | ❌ | ✅ | ✅ | ✅ | ❌ | ❌ | ❌ | 3p |
1 SMP 的一部分。
2 不支援 ADLS。
其他命令列、非受控工具
這很重要
AzCopy、Robocopy、Rsync 和 DistCP 等非受控命令列工具提供各種功能。 掃描數百萬個檔案、追蹤檔案變更、計算總資料大小、錯誤偵測和處理以及同時執行多個複製作業可能會帶來極端的挑戰。
下表中的命令列工具都無法離線傳輸資料,也不提供儲存體評量。 這些工具都不支援企業 NAS 或 SAN 作為來源,也不支援 Azure E-SAN 或受控 Lustre 作為目的地。
| Tool | 來源 | 來源通訊協定 | Azure Blob;ADLS | Azure 檔案儲存體 | Azure NetApp 檔案 | Azure 磁碟 | 受控 |
|---|---|---|---|---|---|---|---|
| AzCopy | Azure; 本地; 本地掛載; AWS S3, Glacier; GCP | SMB; S3 | ✅ | ✅ | ✅ | 🟦 1 | 未受管理 |
| Robocopy | 本機; 本機裝載; SMB | SMB | ❌ | ✅ | ✅ | 🟦 1 | 未受管理 |
| Rsync; fpsync | 本地;本地掛載;NFS | NFS | ✅ | ✅ | ✅ | 🟦 1 | 未受管理 |
| DistCP | Hadoop | - | ✅ | ❌ | ❌ | ❌ | 未受管理 |