Bant genişliği orta veya yüksek olduğunda büyük veri kümeleri için veri aktarımı
Bu makalede, ortamınızda orta ve yüksek ağ bant genişliğine sahip olduğunuzda ve büyük veri kümelerini aktarmayı planlıyorsanız veri aktarımı çözümlerine genel bir bakış sağlanır. Makalede ayrıca bu senaryo için önerilen veri aktarımı seçenekleri ve ilgili anahtar yetenek matrisi açıklanır.
Tüm kullanılabilir veri aktarımı seçeneklerine genel bir bakış sağlamak için Azure veri aktarımı çözümü seçme bölümüne gidin.
Senaryo açıklaması
Büyük veri kümeleri, TB'lardan PB'lere sırasıyla veri boyutlarına başvurur. Orta ve yüksek ağ bant genişliği 100 Mb/sn ile 10 Gb/sn'yi ifade eder.
Önerilen seçenekler
Bu senaryoda ağ bant genişliğinizin orta veya yüksek olması durumuna göre farklı seçenekler önerilmiştir.
Orta ağ bant genişliği (100 Mb/sn-1 Gb/sn)
Orta ağ bant genişliğiyle, ağ üzerinden veri aktarımı süresini yansıtmanız gerekir.
Zamanı tahmin etmek için aşağıdaki tabloyu kullanın ve buna bağlı olarak çevrimdışı aktarım veya ağ aktarımı arasında seçim yapın. Tabloda, kullanılabilir çeşitli ağ bant genişlikleri için (%90 kullanım varsayılarak) ağ veri aktarımı için öngörülen süre gösterilir.
Ağ aktarımının çok yavaş olacağı tahmin edilirse fiziksel bir cihaz kullanmanız gerekir. Bu durumda önerilen seçenekler, Azure Data Box ailesinden çevrimdışı aktarım cihazları veya kendi disklerinizi kullanarak Azure İçeri/Dışarı Aktarma'dır.
- Çevrimdışı aktarımlar için Azure Data Box ailesi – Zaman, ağ kullanılabilirliği veya maliyetlerle sınırlı olduğunuzda büyük miktarda veriyi Azure'a taşımak için Microsoft tarafından sağlanan Data Box cihazlarından cihazları kullanın. Robocopy gibi araçlarla şirket içindeki verileri kopyalayın. Aktarmak istediğiniz verilerin boyutuna göre Data Box Disk, Data Box veya Data Box Heavy çözümlerinden birini seçebilirsiniz.
- Azure İçeri/Dışarı Aktarma – Büyük miktarda veriyi Azure Blob depolama alanına ve Azure Dosyalar güvenli bir şekilde içeri aktarmak için kendi disk sürücülerinizi göndererek Azure İçeri/Dışarı Aktarma hizmetini kullanın. Bu hizmeti ayrıca Azure Blob depolama alanınızdaki verileri disk sürücülerine aktarıp şirket içi ortamınıza göndermek için de kullanabilirsiniz.
Ağ aktarımının makul olacağı tahmin edilirse , Yüksek ağ bant genişliği bölümünde ayrıntılarıyla belirtilen aşağıdaki araçlardan herhangi birini kullanabilirsiniz.
Yüksek ağ bant genişliği (1 Gb/sn-100 Gb/sn)
Kullanılabilir ağ bant genişliği yüksekse aşağıdaki araçlardan birini kullanın.
- AzCopy - En iyi performansla Azure Blobları, Dosyalar ve Tablo depolama alanına kolayca veri kopyalamak için bu komut satırı aracını kullanın. AzCopy eşzamanlılık ve paralellik desteğine ek olarak kesintiye uğrayan kopyalama işlemlerini sürdürme olanağı sunar.
- Azure Depolama REST API'leri/SDK'ları – Uygulama oluştururken uygulamayı Azure Depolama REST API'lerine karşı geliştirebilir ve birden çok dilde sunulan Azure SDK'larını kullanabilirsiniz.
- Çevrimiçi aktarımlar için Azure Data Box ailesi : Azure Stack Edge ve Data Box Gateway, Azure'a ve Azure'a veri taşıyabilen çevrimiçi ağ cihazlarıdır. Karşıya yüklemeden önce verilerin sürekli alımı ve önceden işlenmesi için aynı anda ihtiyaç duyulduğunda Azure Stack Edge fiziksel cihazını kullanın. Data Box Gateway, cihazın sanal bir sürümüdür ancak aynı veri aktarımı yeteneklerine sahiptir. İki durumda da veri aktarımı cihaz tarafından yönetilir.
- Azure Data Factory – Data Factory bir aktarım işleminin ölçeğini genişletmek için ve düzenleme ve kurumsal düzeyde izleme özelliklerine ihtiyaç duyulacaksa kullanılmalıdır. Data Factory'yi kullanarak birden çok Azure hizmeti, şirket içi ortam veya ikisinin birleşiminin bulunduğu bir ortamda düzenli dosya aktarımı gerçekleştirebilirsiniz. Data Factory ile farklı veri depolarından veri alan veri odaklı iş akışları (işlem hattı olarak adlandırılır) oluşturabilir ve zamanlayabilir, ayrıca veri taşıma ile veri dönüştürme süreçlerini otomatikleştirebilirsiniz.
Önemli özelliklerin karşılaştırması
Aşağıdaki tablolarda, önerilen seçenekler için temel özellikler arasındaki farklar özetlenmiştir.
Orta ağ bant genişliği
Çevrimdışı veri aktarımı kullanıyorsanız, temel özelliklerdeki farkları anlamak için aşağıdaki tabloyu kullanın.
| Data Box Disk | Data Box | Data Box Heavy | İçeri/Dışarı Aktarma | |
|---|---|---|---|---|
| Veri boyutu | En fazla 35 TB | Cihaz başına en fazla 80 TB | Cihaz başına 800 TB'a kadar | Değişken |
| Veri türü | Azure Blobları Azure Dosyalar* |
Azure Blobları Azure Dosyaları |
Azure Blobları Azure Dosyaları |
Azure Blobları Azure Dosyaları |
| Form faktörü | Sipariş başına 5 SSD | 1 X 50 lbs. sipariş başına masaüstü boyutundaki cihaz | 1 X ~500 lbs. sipariş başına büyük cihaz | Sipariş başına en fazla 10 HDD/SSD |
| İlk kurulum zamanı | Düşük (15 dakika) |
Düşük-orta (<30 dakika) |
Orta (1-2 saat) |
Orta ve zor (değişken) |
| Azure'a veri gönderme | Yes | Yes | Yes | Yes |
| Verileri Azure'dan dışarı aktarma | Hayır | Hayır | Hayır | Yes |
| Şifreleme | AES 128 bit | AES 256 bit | AES 256 bit | AES 128 bit |
| Donanım | Microsoft tarafından sağlanan | Microsoft tarafından sağlanan | Microsoft tarafından sağlanan | Müşteri tarafından sağlanan |
| Ağ arabirimi | USB 3.1/SATA | RJ 45, SFP+ | RJ45, QSFP+ | SATA II/SATA III |
| İş ortağı tümleştirmesi | Bazen | Yüksek | Yüksek | Bazen |
| Gönderim | Microsoft tarafından yönetilen | Microsoft tarafından yönetilen | Microsoft tarafından yönetilen | Müşteri tarafından yönetilen |
| Veriler taşınırken kullanma | Bir ticaret sınırı içinde | Bir ticaret sınırı içinde | Bir ticaret sınırı içinde | Coğrafi sınırlar arasında, örneğin ABD'den AB'ye |
| Fiyatlandırma | Fiyatlandırma | Fiyatlandırma | Fiyatlandırma | Fiyatlandırma |
* Data Box Disk Büyük Dosya Paylaşımlarını desteklemez ve dosya meta verilerini korumaz
Çevrimiçi veri aktarımı kullanıyorsanız, yüksek ağ bant genişliği için aşağıdaki bölümdeki tabloyu kullanın.
Yüksek ağ bant genişliği
| Araçlar AzCopy, Azure PowerShell, Azure CLI |
Azure Depolama REST API'leri, SDK'lar | Data Box Gateway veya Azure Stack Edge | Azure Data Factory | |
|---|---|---|---|---|
| Veri türü | Azure Blobları, Azure Dosyalar, Azure Tabloları | Azure Blobları, Azure Dosyalar, Azure Tabloları | Azure Blobları, Azure Dosyalar | Veri depoları ve biçimler için 70'inden fazla veri bağlayıcısını destekler |
| Form faktörü | Komut satırı araçları | Programlı arabirim | Microsoft bir sanal kaynak sağlar veya fiziksel cihaz |
Azure portal'da hizmet |
| İlk tek seferlik kurulum | Kolay | Orta | Kolay (<30 dakika) orta (1-2 saat) | Geniş |
| Verilerin ön işlemesi | Hayır | Hayır | Evet (Edge işlem ile) | Yes |
| Diğer bulutlardan aktarma | Hayır | Hayır | Hayır | Yes |
| Kullanıcı türü | BT Uzmanı veya geliştirme | Geliştirme | BT Profesyoneli | BT Profesyoneli |
| Fiyatlandırma | Ücretsiz veri çıkış ücretleri uygulanır | Ücretsiz veri çıkış ücretleri uygulanır | Azure Stack Edge fiyatlandırması Data Box Gateway fiyatlandırması |
Fiyatlandırma |
Sonraki adımlar
Nasıl yapılacağını anlama:
Verileri aktarmak için REST API'lerini kullanın: