Azure Depolama Mover ile verileri Google Cloud Storage'dan Azure Blob Depolama'a geçirin

Azure Depolama Mover'daki S3 (Basit Depolama Hizmeti) kaynak geçişi özelliği, verileri S3 uyumlu Google Cloud Storage (GCS) nesne depolarından Azure Blob Depolama'a güvenli bir şekilde aktarır.

Azure Arc çok bulutlu bağlayıcı kullanan AWS S3 (Amazon Simple Storage Services) geçişlerinden farklı olarak, S3 uyumlu kaynak geçişleri basitleştirilmiş bir yaklaşım kullanır. Kaynak uç nokta URL'sini ve HMAC (Karma Tabanlı İleti Kimlik Doğrulama Kodu) kimlik bilgilerini Azure Key Vault güvenli bir şekilde depoladığınızda, çoklu bulut bağlayıcısı veya otomatik kaynak bulma gerekmez.

Bu makale, verilerinizi GCS S3 ile uyumlu bir kaynaktan Azure Blob Depolama geçirmek için Depolama Taşıyıcı'yı yapılandırma işleminde size yol gösterir. bu işlem, kaynak kimlik bilgilerini Azure Key Vault depolama, kaynak ve hedef uç noktaları yapılandırma ve geçiş işi oluşturma ve çalıştırma işlemlerinden oluşur.

Prerequisites

Başlamadan önce şunların olduğundan emin olun:

  • Azure Depolama Taşıyıcı kaynaklarını oluşturma ve yönetme izinlerine sahip etkin bir Azure aboneliği.
  • Taşımak istediğiniz GCS bucket’ına erişimi olan bir Google Cloud hesabı.
  • Hedef olarak kullanılacak bir Azure Depolama hesabı.
  • Azure aboneliğinizde dağıtılmış bir Storage Mover kaynağı.
  • Kaynak HMAC kimlik bilgilerinizi güvenle depolamak için bir Azure Anahtar Kasası.
  • GCS bucket’ınız için oluşturulan HMAC anahtarları. Bkz. GCS için HMAC anahtarları oluşturma.
  • Kaynak verilerinize yalnızca özel ağ üzerinden erişilebiliyorsa, Azure özel bağlantı kurulumu.

Limits

Azure Depolama Taşıyıcı'daki S3 uyumlu GCS kaynak geçişi özelliği aşağıdaki sınırlara sahiptir:

  • Her geçiş işi 500 milyon nesne aktarımını destekler.
  • Abonelik başına en fazla 10 eşzamanlı iş desteklenir. 10'dan fazla çalıştırmanız gerekiyorsa bir destek isteği oluşturun.
  • S3 uyumlu kaynağa yalnızca HTTPS erişimi desteklenir.
  • S3 uyumlu kaynağın AWS signature Version 4 (SigV4) stili kimlik doğrulamasını desteklemesi gerekir.

Bilinmesi gerekenler

Geçişinize başlamadan önce GCS S3 ile uyumlu kaynak geçişlerine özgü aşağıdaki noktaları gözden geçirin:

Kimlik doğrulama yöntemi

GCS S3 uyumlu erişim, GCS hizmet hesabı veya kullanıcı hesabıyla ilişkili HMAC anahtarlarını (Erişim Anahtarı Kimliği ve Gizli Anahtar) kullanır. Bu anahtarlar, GCS'nin AWS Signature Sürüm 4 kimlik doğrulama işlemini kullanarak standart S3 API isteklerine yanıt vermesini sağlar.

GCS için HMAC anahtarları oluşturma

S3 uyumlu arabirimi kullanarak GCS demetinize erişmek için Google Bulut Konsolu'nda HMAC anahtarları oluşturmanız gerekir.

  1. Google Bulut Konsolu'na gidin.

  2. Bulut Depolama>Ayarları>Birlikte Çalışabilirlik sekmesine gidin.

  3. Henüz yapmadıysanız, Birlikte çalışabilirlik erişimi için varsayılan projeyi ayarla'yı seçin.

  4. Hizmet hesapları için erişim anahtarları bölümünde, kullanmak istediğiniz hizmet hesabını ve ardından Anahtar oluştur'u seçin.

  5. Erişim Anahtarı ve Gizli Anahtar değerlerini not edin. Sonraki adımda bu değerlere ihtiyacınız vardır.

    Important

    Bu anahtarları güvenli bir şekilde depolayın. Gizli Anahtar yalnızca bir kez gösterilir. Anahtar yalnızca ilk oluşturma sırasında görünür ve daha sonra alınamaz.

  6. İşin tamamlanmasını ve en iyi güvenliği sağlamak için HMAC kimlik bilgilerinin en az bir haftalık geçerlilik süresine sahip olduğundan emin olun.

Kaynak kimlik bilgilerini Azure Key Vault'de depolama

GCS bucket’ınız için HMAC anahtarları oluşturduktan sonra, Storage Mover hizmetinin bunlara güvenli bir şekilde erişebilmesi için anahtarları Azure Key Vault’ta gizli anahtarlar olarak depolayın.

  1. Azure portalını kullanarak, Depolama Taşıyıcısı kaynağınızla aynı abonelikte bulunan Azure Key Vault’a gidin.

  2. Soldaki gezinti bölmesinde, Nesneler menüsünü genişletin ve Gizli Bilgiler'i seçin. Ardından Oluştur/İçeri Aktar'ı seçin.

    Sol gezinti bölmesindeki Key Vault gizli diziler menü öğesinin konumunu vurgulayan ekran görüntüsü.

    Key Vault Gizli Dizi Oluştur menü öğesinin konumunu vurgulayan ekran görüntüsü.

  3. Erişim Anahtarı için bir gizli anahtar oluşturun:

    • Ad: Anlamlı bir ad sağlayın (örneğin, gcs-access-key).
    • Gizli değer: HMAC Erişim Anahtarı değerini önceki bölümden yapıştırın.
    • Oluştur'i seçin.

    Erişim anahtarınızı kaydetmek için Key Vault 'Gizli dizi oluştur' penceresiyle ilgili alanları görüntüleyen ekran görüntüsü.

  4. Gizli Anahtar için ikinci bir gizli anahtar oluşturun:

    • Ad: Anlamlı bir ad sağlayın (örneğin, gcs-secret-key).
    • Gizli değer: HMAC Gizli Anahtarı değerini önceki bölümden yapıştırın.
    • Oluştur'i seçin.

    Gizli dizi anahtarınızı kaydetmek için Key Vault 'Gizli dizi oluştur' penceresiyle ilgili alanları görüntüleyen ekran görüntüsü.

  5. Her gizli anahtar için tam Gizli Tanımlayıcı URI'sini not edin. Kaynak uç noktayı oluştururken bu tanımlayıcılara ihtiyacınız vardır.

Uyarı

En iyi güvenliği sağlamak için HMAC gizli dizilerini içeren Key Vault genel erişimi devre dışı bırakmanızı ve Depolama Taşıyıcı'yı güvenilir bir hizmet olarak eklemenizi öneririz.

Daha fazla bilgi için bkz. Azure portalı kullanarak Key Vault’tan gizli dizi ayarlama ve alma.

Kaynak ve hedef uç noktaları yapılandırma

HMAC kimlik bilgilerinizi Azure Key Vault içinde depoladıktan sonra, sonraki adım geçişinizin kaynak ve hedef uç noktalarını oluşturmaktır.

Azure Depolama Mover hizmeti kapsamında uç nokta, bir kaynak ya da hedef konuma giden yolu ve ilgili diğer bilgileri içeren bir kaynaktır. Depolama Taşıyıcı iş tanımları, kopyalama işlemleri için kaynak ve hedef konumları tanımlamak için uç noktaları kullanır.

GCS S3 uyumlu kaynak uç noktası yapılandırma

Kaynak uç noktalar, verilerinizin geçirildiği konumları tanımlar. Kaynak uç noktalar, geçiş projenizde belirtilen verilerin kaynağını tanımlamak için kullanılır.

Aşağıdaki adımlarda kaynak uç nokta oluşturma işlemi açıklanmaktadır.

  1. Azure portalda Depolama Taşıyıcı örneğinize gidin.

  2. Sol gezinti bölmesindeki Kaynak yönetimigrubundan Depolama uç noktaları'nı seçin. Kaynak uç noktaları sekmesini seçin ve ardından Kaynak uç nokta oluştur bölmesini açmak için Uç noktaoluştur'u seçin.

  3. Kaynak uç nokta oluştur bölmesinde:

    • Geçiş türü olarak Çoklu bulut geçişi'ni seçin.
    • Kaynak türü olarak GCS Nesne Depolama- S3 seçeneğini belirleyin.
    • Kaynak URL: GCS demetinizin tam HTTPS URL'sini S3 uyumlu biçimde girin. Yalnızca nesnelerin bir alt kümesini taşımak için https://storage.googleapis.com/<bucket-name>/ veya https://storage.googleapis.com/<bucket-name>/<prefix>/ biçimini kullanın.
    • Key Vault Gizli Dizi URI’sine Erişim: HMAC Erişim Anahtarınızı içeren gizli dizinin tam URI’sini girin
    • Key Vault Gizli Anahtarı URI’si: HMAC gizli anahtarınızı içeren gizli anahtarın tam URI’sini girin
    • İsteğe bağlı olarak, uç nokta için bir Açıklama sağlayın.

  4. Seçimlerinizin doğru olduğunu doğrulayın ve oluştur'u seçerek uç noktayı oluşturun.

    Depolama Taşıyıcı 'Kaynak uç noktası oluştur' penceresiyle ilgili alanları görüntüleyen ekran görüntüsü.

    Uyarı

    Kaynak uç nokta oluşturulduğunda, sistem tarafından atanan yönetilen kimlik otomatik olarak sağlanır. Bu kimlik, geçiş sırasında HMAC kimlik bilgilerini almak için Azure Key Vault’unuzda Key Vault Secrets User Rol Tabanlı Erişim Denetimi (RBAC) rolüne erişim gerektirir. Portal bu rolü otomatik olarak atamayı dener. Atama yetersiz izinler nedeniyle başarısız olursa, bunları el ile atayın veya rolü el ile vermek için Azure yöneticinize başvurun.

Azure Blob Depolama hedef uç noktasını yapılandırma

  1. Sol gezinti bölmesindeki Kaynak yönetimigrubundan Depolama uç noktaları'nı seçin. Hedef uç noktalar sekmesini seçin ve ardından Uç nokta ekle'yi seçerek Hedef uç nokta oluştur bölmesini açın.

  2. Hedef uç nokta oluştur bölmesinde:

    • İlgili açılan listelerden Abonelik ve Depolama hesabınızı seçin.
    • Hedef Türü alanından Blob kapsayıcısı'nı seçin.
    • Açılır listeden taşımak istediğiniz Blob kapsayıcısını seçin.
    • İsteğe bağlı olarak, uç nokta için bir Açıklama sağlayın.

  3. Seçimlerinizin doğru olduğunu doğrulayın ve oluştur'u seçerek uç noktayı oluşturun.

RBAC rolleri atama

Azure portalı aracılığıyla uç noktalar oluşturduğunuzda, gerekli RBAC rolleri sistem tarafından atanan yönetilen kimliklere otomatik olarak atanır:

Bitiş noktası Rolü Hedef kaynak
Kaynak uç nokta Key Vault Sırlar Kullanıcısı Azure Key Vault'unuz
Hedef uç nokta Storage Blob Veri Katılımcısı Azure Blob kapsayıcınız

Otomatik atama başarısız olursa (örneğin, yetersiz izinler nedeniyle), bu rolleri el ile atamanız veya Azure yöneticinize başvurmanız gerekir.

Geçiş projesi ve iş tanımı oluşturma

Geçişiniz için kaynak ve hedef uç noktaları tanımladıktan sonra, sonraki adımlar bir Depolama Taşıyıcı geçiş projesi ve iş tanımı oluşturmaktır.

Geçiş projesi, büyük geçişleri daha küçük ve daha yönetilebilir birimler halinde düzenlemenizi sağlar. İş tanımı, belirli bir kopyalama işlemleri kümesi için kaynakları ve geçiş seçeneklerini açıklar. Bu kaynaklar, örneğin kaynak ve hedef uç noktaları ve uygulamak istediğiniz geçiş ayarlarını içerir.

Geçiş projesi oluşturmak ve bir geçiş işi çalıştırmak için bu bölümdeki adımları izleyin.

Bir proje oluştur

  1. Depolama Taşıyıcı örneğinizde Plan + run migrations altında Projeler bölümüne gidin ve Projeler sekmesinde Proje oluştur'u seçin.

  2. Aşağıdaki alanlar için değerler sağlayın:

    • Ad: Geçiş projesi için anlamlı bir ad.
    • Proje Açıklaması: proje için yararlı bir açıklama.

  3. Projeyi oluşturmak için Oluştur'u seçin.

    Depolama Taşıyıcı 'Proje oluştur' penceresiyle ilgili alanları gösteren ekran görüntüsü.

İş tanımı oluşturma

Proje göründükten sonra seçin ve ardından İş oluştur'u seçin. İş oluşturma sihirbazının dört sekmesi vardır: Temel Bilgiler, Zamanlama, Ayarlar ve Gözden Geçirme.

Temel Bilgiler sekmesi

  1. Aşağıdaki alanlar için değerler sağlayın:

    Alan Değer
    Geçiş türü Çoklu bulut geçişi'ne tıklayın
    Kaynak türü GCS Nesne Depolama - S3 (Önizleme) seçeneğini belirleyin
    S3 kova türü Genel veya Özel 'i seçin (Önizleme)
    İsim İş için anlamlı bir ad
    Tanım (İsteğe bağlı) İşin açıklaması (en fazla 1.024 karakter)

    Depolama Taşıyıcı 'Proje oluştur' penceresinin Temel bilgiler sekmesiyle ilgili alanları gösteren ekran görüntüsü.

  2. Kaynak bölümünde:

    • Kaynak uç nokta: Yeni bir uç nokta oluşturmak için Kaynak uç nokta ekle'yi seçin veya mevcut GCS S3 uyumlu kaynak uç noktasını seçin.
    • Kaynak alt dizin yolu: (İsteğe bağlı) Bucket’ınızın yalnızca bir kısmını taşımak için bir alt klasör yolu belirtin. Boş bırakılırsa, iş demetin kökünden başlar.
    • Gösterilen Tam yolun doğru olduğunu doğrulayın.

  3. Hedef bölümünde:

    • Hedef Uç Nokta: Yeni uç nokta oluşturmak için Hedef uç nokta ekle'yi seçin veya mevcut Azure Blob Depolama hedef uç noktasını seçin.
    • Hedef alt yolu: (İsteğe bağlı) Bir hedef alt klasör belirtin. Boş bırakılırsa, tüm içerik kapsayıcı köküne geçirilir. Benzersiz bir alt yol yeni bir alt klasör oluşturur.

    Temel Bilgiler sekmesindeki Depolama Taşıyıcı 'Proje oluştur' penceresinin alanlarıyla ilgili alanları gösteren ekran görüntüsü.

  4. S3 demet türü için Özel'i seçtiyseniz Özel bağlantılar bölümü görüntülenir:

    • Onaylanan özel bağlantıları bu işle ilişkilendirmek için Ekle'yi seçin.
    • Yalnızca Onaylandı durumundaki bağlantılar eklenebilir.
    • Yük dengeleme için birden çok özel bağlantıyı ilişkilendirebilirsiniz.

    Uyarı

    Özel depolar, özel bağlantılar gerektirir. Özel kova türünde bir işi başlatmadan önce en az bir onaylı özel bağlantınız olmalıdır. Kurulum adımları için bkz. GCS için özel ağ bağlantısı .

  5. Devam etmek için İleri'yi seçin.

Takvim sekmesi

Geçişin ne zaman çalışmasını istediğinizi seçin:

Option Açıklama
Zamanlama yok Geçişi el ile başlatma
Tek seferlik zamanlama Geçişi belirli bir zamanda bir kez çalıştırma
Yinelenen zamanlama Geçişi günlük, haftalık veya aylık bir zamanlamayla çalıştırma

Important

GcS Nesne Depolama - S3 kaynak türü için zamanlama şu anda kullanılamıyor. İşler yalnızca el ile çalıştırılabilir. Devam etmek için "Zamanlama yok" seçeneğini seçin ve "İleri"yi seçin.

Ayarlar sekmesi

  1. Açılan listeden istediğiniz Kopyalama modunu seçin:

    Kopyalama modu Behavior
    İçeriği hedefe birleştir Dosyalar, kaynakta mevcut olmasa bile hedefte tutulur. Adları ve yolları eşleşen dosyalar kaynakla eşleşecek şekilde güncelleştirilir. Kopyalar arasındaki klasör yeniden adlandırmaları hedefte yinelenen içeriğe yol açabilir.
    Kaynağı hedefe yansıt Hedefi kaynağın tıpatıp kopyası hâline getirir. Kaynaktan silinen nesneler de hedeften silinir.

  2. Verilerinizin nasıl eşlenmiş olduğunu anlamak için Geçiş sonuçları bölümünü gözden geçirin:

    Sonuç Açıklama
    Dizin yapısı Hedef , "sanal" klasörleri destekler. Dosyaların adlarının başına kaynak yolu eklenir ve bunlar tek düzeyli bir listeye yerleştirilir. Boş klasörler, özel meta verilerde korunan klasör meta verilerine sahip boş bir blob olarak temsil edilir.
    Zaman damgası oluştur Özel blob meta verileri olarak korunur. Blob’a özgü zaman damgası, dosyanın taşındığı zamanı yansıtır.
    Zaman damgasını değiştirme Özel blob meta verisi olarak korunur. Bu türde blob’a özgü bir zaman damgası yoktur.
    Değiştirilen zaman damgası Özel blob meta verisi olarak korunur. Blob’a özgü zaman damgası, dosyanın taşındığı zamanı yansıtır.
    Son erişilen zaman damgası Kaynakta varsa özel blob meta verileri olarak korunur. Bu türde blob’a özgü zaman damgası yok.
    Diğer meta veriler Hedef blob üzerindeki özel meta verilerde kalıcı olarak depolandı. Yalnızca 4 KiB meta veri depolanabilir. 4 KiB'den büyük meta veriler geçirilmez.
    Buluta geçiş protokolü Blob REST API

  3. Devam etmek için İleri'yi seçin.

Gözden Geçir sekmesi

Yapılandırmanızın özetini gözden geçirin:

  • Temel bilgiler: İş adı, geçiş türü
  • Kaynak: Kaynak türü, demet adıyla kaynak URL'si, bulut adı (GCS), kaynak alt yolu
  • Hedef: Depolama hesabı, Azure blob kapsayıcısı, hedef alt yol
  • Zamanlama: Geçiş sıklığı
  • Ayarlar: Kopyalama modu

Tüm ayarlar doğruysa, işi dağıtmak için Oluştur'u seçin. Değişiklik yapmak için Önceki'yi seçin.

Geçiş işini çalıştır

İş başlatma

Azure portal

  1. Projeler sekmesine gidin. Yeni oluşturduğunuz iş, projenizin altındaki listede görünür.
  2. özellikler sekmesinde ayrıntılarını görüntülemek için iş tanımınızı seçin.
  3. İşi başlat düğmesini seçin.
  4. İşi başlat bölmesinde iş ayrıntılarını onaylayın ve geçişi başlatmak için Başlat'ı seçin.

Görev arka planda çalışır. Geçişe genel bakış sekmesinde ilerleme durumunu izleyebilirsiniz.

Geçiş ilerleme durumunu izleme

Verilerinizi geçirmek için Depolama Taşıyıcı'yı kullanırken olası sorunlar için kopyalama işlemlerini izlemeniz gerekir. Geçiş sırasında gerçekleştirilen işlemlerle ilgili veriler Geçişe genel bakış sekmesinde görüntülenir. Bu veriler, ilerleme durumu ve ilerleme, hız ve tahmini tamamlanma süresi gibi önemli bilgileri sağlayarak geçişinizin ilerleme durumunu izlemenizi sağlar.

Yapılandırıldığında, Azure Depolama Mover ayrıca Kopyalama günlükleri ve İş çalıştırma günlükleri sunar. Bu günlükler, iş çalıştırmalarının ve tek tek dosyaların geçiş sonucunu izlemenize olanak sağlar.

  1. Geçiş İşleri sekmesine gidin.
  2. İlerleme durumunu, hızı ve tahmini tamamlanma süresini görüntülemek için işinizi seçin.
  3. Hataları veya uyarıları denetlemek için Günlükler'i seçin.
  4. Geçiş tamamlandıktan sonra Azure Blob Depolama verilerini doğrulayın.

Depolama Taşıyıcı Kopyalama ve İş günlükleri hakkında daha fazla bilgi edinmek için Azure Depolama Taşıyıcı kopyalama ve iş günlüklerini etkinleştirme makalesine bakın.

Geçiş sonrası doğrulama

Geçiş sonrası veri doğrulama, verilerinizin doğru olmasını ve GCS'den Azure Blob Depolama aktarım işleminin tamamlanmasını sağlar. Bu doğrulama işlemi, geçirilen verileri kaynaktan aynı verilerle karşılaştırarak veri bütünlüğünü doğrular.

El ile doğrulamayı tamamlamak ve kullanılmayan GCS kaynaklarını temizlemek için şu adımları izleyin:

  1. Kaynak ve hedefi karşılaştırma: GCS demeti ile Azure Blob kapsayıcısı arasındaki nesne sayılarını ve toplam veri boyutunu karşılaştırarak tüm beklenen nesnelerin aktarıldığını doğrulayın.
  2. Veri bütünlüğünü örnekleme yoluyla denetleyin: Kaynak ve hedeften temsili bir nesne örneklemi indirin ve sağlama toplamlarını karşılaştırın.
  3. Artımlı eşitlemeyi etkinleştirme (gerekirse): GCS demetinizi ve Azure Blob kapsayıcınızı zaman içinde eşitlenmiş durumda tutmanız gerekiyorsa, yinelenen iş çalıştırmalarını zamanlayın.
  4. Kaynağı devreden çıkarma: Geçiş tamamen tamamlanıp doğrulandıktan sonra GCS bucket'ını ve HMAC anahtarlarını silin. Artık gerekli olmadıklarında ilgili gizli anahtarları Azure Key Vault’tan kaldırın.

Sorun giderme ve destek

Geçiş sırasında sorunlarla karşılaşırsanız aşağıdaki adımları uygulayarak sorun gidermeye başlayın.

Sorun Çözünürlük
Geçiş işi başarısız oldu Ayrıntılı hata iletileri için Kopyalama ve İş günlüklerini denetleyin. Yaygın nedenler, geçersiz kimlik bilgileri veya ağ bağlantısı sorunlarıdır.
Kimlik doğrulama hatası Azure Key Vault depolanan HMAC Erişim Anahtarı ve Gizli Anahtar'ın doğru olduğunu ve süresinin dolmadığını doğrulayın. Kaynak uç noktanın yönetilen kimliğinin Key Vault'unuzda Key Vault Secrets User erişimine sahip olduğundan emin olun.
Hedefte izin hatası Hedef uç noktanın yönetilen kimliğine hedef Blob kapsayıcısı üzerinde Storage Blob Data Contributor rolünün atandığını doğrulayın.
Veri aktarımı yavaş Ağ bant genişliğinizin yeterli olduğundan emin olun. GCS, S3 uyumlu API isteklerine hız sınırları uygulayabilir. Kısıtlama oluşursa eşzamanlı iş sayısını azaltmayı göz önünde bulundurun.
Eşitlemeden sonra eksik nesneler GCS zaman damgasının saniye düzeyindeki ayrıntı hassasiyeti nedeniyle, son eşitlemeyle aynı saniyede değiştirilen nesneler, işin bir sonraki çalıştırılmasına kadar algılanamayabilir. Bekleyin ve ek eşitleme gerçekleştirin.
Hedefte beklenmeyen nesneler GCS dizin yer tutucu nesneleri (sonu / ile biten sıfır baytlık nesneler) otomatik olarak atlanır ve hedefte görünmemelidir. Beklenmeyen nesneler varsa ayrıntılar için Copy günlüklerini gözden geçirin.
Kaynak URL reddedildi Kaynak URL'nin HTTPS kullandığından, sorgu parametreleri, parça tanımlayıcıları veya IP adresleri içermediğinden ve geçerli bir tam nitelikli alan adına işaret ettiğinden emin olun.

Sorununuzu çözemiyorsanız bir Azure desteği isteği oluşturun.

İlgili içerik

Aşağıdaki makaleler, Depolama Taşıyıcı hizmeti hakkında daha fazla bilgi sahibi olmanıza yardımcı olabilir:

  • Last updated on