Özel uç noktaları kullanarak verileri Azure Blob depolamadan SQL veritabanına güvenli bir şekilde kopyalama

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

İpucu

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

• Fabric ücretsiz deneme başlatın.
• Azure Data Factory'den Data Factory'ye Microsoft Fabric'te Upgrade yapın.

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UI) kullanarak bir veri fabrikası oluşturacaksınız. Bu veri fabrikasındaki işlem hattı, Azure Data Factory Yönetilen Sanal Ağ içindeki özel uç noktaları kullanarak verileri Azure Blob depolamadan Azure SQL veritabanına güvenli bir şekilde kopyalar (her ikisi de yalnızca seçili ağlara erişime izin verir). Bu öğreticideki yapılandırma düzeni, dosya tabanlı bir veri deposundan ilişkisel bir veri deposuna kopyalama için geçerlidir. Kaynak ve havuz olarak desteklenen veri depolarının listesi için Desteklenen veri depoları ve biçimleri tablosuna bakın. Özel uç noktalar özelliği tüm Azure Data Factory katmanlarında kullanılabilir, bu nedenle bunları kullanmak için belirli bir katman gerekmez. Fiyatlandırma ve katmanlar hakkında daha fazla bilgi için lütfen Azure Data Factory fiyatlandırma sayfasına bakın.

Not

Data Factory'yi yeni kullanıyorsanız bkz. Azure Data Factory'a giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

• Veri fabrikası oluşturma.
• Kopyalama etkinliğiyle işlem hattı oluşturma.

Önkoşullar

• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce free Azure hesabı oluşturun.
• Azure depolama hesabı. Blob depolama alanını kaynak veri deposu olarak kullanabilirsiniz. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma. Depolama hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.
• Azure SQL Veritabanı. Veritabanını havuz veri deposu olarak kullanabilirsiniz. Azure SQL veritabanınız yoksa, oluşturma adımları için bkz. SQL veritabanı oluşturma. SQL Veritabanı hesabının yalnızca seçili ağlardan erişime izin verdiğinden emin olun.

Bir blob ve SQL tablosu oluşturma

Şimdi aşağıdaki adımları uygulayarak blob depolama alanınızı ve SQL veritabanınızı öğreticiye hazırlayın.

Kaynak blob oluşturma

1. Not Defteri'ne tıklayın. Aşağıdaki metni kopyalayın ve diskinizde emp.txt dosyası olarak kaydedin:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Blob depolama alanınızda adftutorial adlı bir kapsayıcı oluşturun. Bu kapsayıcıda input adlı bir klasör oluşturun. Sonra, emp.txt dosyasını input klasörüne yükleyin. Bu görevleri gerçekleştirmek için Azure portalını veya Azure Depolama Gezgini gibi araçları kullanın.

Havuz SQL tablosu oluşturma

SQL veritabanınızda dbo.emp tablosu oluşturmak için aşağıdaki SQL betiğini kullanın:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

1. Microsoft Edge veya Google Chrome'da açın. Şu anda Data Factory kullanıcı arabirimini yalnızca Microsoft Edge ve Google Chrome web tarayıcıları desteklemektedir.

2. Soldaki menüde Kaynak oluştur, >Analitikler ve >Veri Fabrikası seçeneklerini seçin.

3. Yeni veri fabrikası sayfasındaki Ad bölümüne ADFTutorialDataFactory girin.

   Azure veri fabrikasının adı globally unique olmalıdır. Ad değeri hakkında bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

4. Veri fabrikasını oluşturmak istediğiniz Azure subscription seçin.

5. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

   • Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.
   • Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.

   Kaynak grupları hakkında bilgi edinmek için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

6. Sürüm bölümünde V2'yi seçin.

7. Konum bölümünden veri fabrikası için bir konum seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve hesaplamalar (örneğin, Azure HDInsight) diğer bölgelerde olabilir.

8. Oluştur'u belirleyin.

9. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezinde bildirimi görürsünüz. Kaynağa git'i seçerek Data Factory sayfasına gidin.

10. Data Factory kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Data Factory Yönetilen Sanal Ağ’da Azure tümleştirme zamanlayıcı oluşturma

Bu adımda, bir Azure tümleştirme çalışma zamanı oluşturursunuz ve Data Factory Yönetilen Sanal Ağ'ı etkinleştirirsiniz.

1. Data Factory portalında Manage gidin ve yeni bir Azure tümleştirme çalışma zamanı oluşturmak için New öğesini seçin.

   Yeni bir Azure entegrasyon çalışma zamanı oluşturmayı gösteren ekran görüntüsü.

2. Tümleştirme çalışma zamanı kurulumu sayfasında, gerekli özelliklere göre hangi tümleştirme çalışma zamanının oluşturulacağını seçin. Bu öğreticide, Azure, Şirket İçinde Barındırılan öğesini seçin ve ardından Devam Et öğesine tıklayın.

3. Azure öğesini seçin ve ardından Azure Tümleştirme çalışma zamanı oluşturmak için Continue öğesine tıklayın.

   

4. Sanal ağ yapılandırması (Önizleme) altında Etkinleştir'i seçin.

   yeni bir Azure entegrasyon çalışma zamanını etkinleştirmeyi gösteren ekran görüntüsü.

5. Oluştur'u belirleyin.

Bir işlem hattı oluştur

Bu adımda, veri fabrikasında bir kopyalama etkinliği ile bir veri işlem hattı (pipeline) oluşturacaksınız. Kopyalama etkinliği, verileri Blob depolama alanından SQL Veritabanı'na kopyalar. Hızlı başlangıç eğitiminde, şu adımları izleyerek bir işlem hattı oluşturdunuz:

1. Bağlı hizmeti oluşturun.
2. Giriş ve çıkış veri kümelerini oluşturma.
3. Bir işlem hattı oluşturun.

Bu öğreticide, işlem hattı oluşturarak işe başlarsınız. Daha sonra işlem hattını yapılandırmanız gerektiğinde bağlı hizmetleri ve veri kümelerini oluşturacaksınız.

1. Giriş sayfasında Düzenle'yi seçin.

   

2. İşlem hattının özellikler bölmesinde, işlem hattı adı için CopyPipeline girin.

3. Etkinlikler araç kutusunda Taşı ve Dönüştür kategorisini genişletin ve Veri kopyalama etkinliğini araç kutusundan işlem hattı tasarımcısının yüzeyine sürükleyin. Ad olarak CopyFromBlobToSql girin.

   

Kaynak yapılandırma

İpucu

Bu öğreticide, kaynak veri deponuzun kimlik doğrulama türü olarak Hesap anahtarını kullanacaksınız. Gerekirse SAS URI,Hizmet Sorumlusu ve Yönetilen Kimlik gibi desteklenen diğer kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için, Azure Data Factory kullanarak Azure Blob depolamada veri kopyalama ve dönüştürme hakkında ilgili bölümlere bakın.

Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanmanızı da öneririz. Daha fazla bilgi ve çizim için bkz. Azure Key Vault'da kimlik bilgilerini depolama.

Kaynak veri kümesi ve bağlı hizmet oluşturma

1. Kaynak sekmesine gidin. Kaynak veri kümesi oluşturmak için + Yeni'yi seçin.

2. Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'i seçin ve Continue öğesini seçin. Kaynak veriler Blob depolamada olduğundan, kaynak veri kümesi için Azure Blob Depolama öğesini seçersiniz.

3. Biçim Seç iletişim kutusunda, verilerinizin biçim türünü seçin ve ardından Devam'ı seçin.

4. Özellikleri Ayarla iletişim kutusunda, Ad için SourceBlobDataset yazın. İlk satırı üst bilgi olarak için onay kutusunu seçin. Bağlı hizmet metin kutusunun altında + Yeni'yi seçin.

5. Yeni bağlı hizmet (Azure Blob Depolama) iletişim kutusunda, Name olarak AzureStorageLinkedService girin ve Storage hesap adı listesinden depolama hesabınızı seçin.

6. Etkileşimli yazma özelliğini etkinleştirdiğinizden emin olun. Etkinleştirilmesi yaklaşık bir dakika sürebilir.

   

7. Bağlantıyı sına’yı seçin. Depolama hesabı yalnızca Seçili ağlardan erişime izin verdiğinde ve Data Factory'nin, kullanmadan önce onaylanması gereken özel bir uç nokta oluşturmasını gerektirdiğinde işlem başarısız olmalıdır. Hata iletisinde, yönetilen özel uç nokta oluşturmak için izleyebileceğiniz bir özel uç nokta oluşturma bağlantısını görmeniz gerekir. Alternatif olarak doğrudan Yönet sekmesine gidin ve yönetilen özel uç nokta oluşturmak için sonraki bölümdekiyönergeleri izleyin.

   Not

   Yönet sekmesi tüm veri fabrikası örnekleri için kullanılamayabilir. Bunu görmüyorsanız, Yazar>Bağlantılar>Özel Uç Noktası seçeneklerini seçerek özel uç noktalarına erişebilirsiniz.

8. İletişim kutusunu açık tutun ve depolama hesabınıza gidin.

9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.

10. İletişim kutusuna geri dönün. Bağlantıyı yeniden test et'i ve bağlı hizmeti dağıtmak için Oluştur'u seçin.

11. Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına geri döner. Dosya yolu’nun yanındaki Gözat düğmesine tıklayın.

12. adftutorial/input klasörüne gidin, emp.txt dosyasını ve ardından Tamam'ı seçin.

13. Tamam'ı seçin. İşlem hattı sayfasına otomatik olarak gider. Kaynak sekmesinde SourceBlobDataset'in seçili olduğunu onaylayın. Bu sayfadaki verilerin önizlemesini görüntülemek için Veri önizleme ‘yi seçin.

    

Yönetilen özel uç nokta oluşturma

Bağlantıyı test ederken köprüyü seçmediyseniz yolu izleyin. Şimdi, oluşturduğunuz bağlı hizmete bağlanacağınız yönetilen bir özel uç nokta oluşturmanız gerekir.

1. Yönet sekmesine gidin.

   Not

   Yönet sekmesi tüm Data Factory örnekleri için kullanılamayabilir. Bunu görmüyorsanız, Yazar>Bağlantılar>Özel Uç Noktası seçeneklerini seçerek özel uç noktalarına erişebilirsiniz.

2. Yönetilen özel uç noktalar bölümüne gidin.

3. + Yeni altında Yönetilen özel uç noktalar'ı seçin.

   

4. Listeden Azure Blob Depolama kutucuğunu seçin ve Continue öğesini seçin.

5. Oluşturduğunuz depolama hesabının adını girin.

6. Oluştur'u belirleyin.

7. Birkaç saniye sonra, oluşturulan özel bağlantının bir onay gerektiğini görmeniz gerekir.

8. Oluşturduğunuz özel uç noktayı seçin. Depolama hesabı düzeyinde özel uç noktayı onaylamanıza yol açacak bir köprü görebilirsiniz.

   

Depolama hesabında özel bağlantı onayı

1. Depolama hesabında Ayarlar bölümünün altında Özel uç nokta bağlantıları'nagidin.

2. Oluşturduğunuz özel uç noktanın onay kutusunu seçin ve Onayla'yı seçin.

   

3. Açıklama ekleyin ve evet'i seçin.

4. Data Factory'de Yönet sekmesinin Yönetilen özel uç noktalar bölümüne geri dönün.

5. Yaklaşık bir veya iki dakika sonra Data Factory kullanıcı arabiriminde özel uç noktanızın onayını görmeniz gerekir.

Havuz yapılandırma

İpucu

Bu öğreticide, havuz veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanacaksınız. Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik gibi desteklenen diğer kimlik doğrulama yöntemlerini de seçebilirsiniz. Daha fazla bilgi için Azure Data Factory kullanarak Azure SQL Veritabanı’e veri kopyalama ve dönüştürme bölümündeki ilgili kısımlara bakın.

Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanmanızı da öneririz. Daha fazla bilgi ve çizim için bkz. Azure Key Vault'da kimlik bilgilerini depolama.

Havuz veri kümesi ve bağlı hizmet oluşturma

1. Havuz sekmesine gidin ve havuz veri kümesi oluşturmak için +Yeni seçeneğini belirleyin.

2. Yeni Veri Kümesi iletişim kutusunda, bağlayıcıları filtrelemek için arama kutusuna SQL yazın. Azure SQL Veritabanı'ı seçin ve ardından Continue öğesini seçin. Bu öğreticide verileri bir SQL veritabanına kopyalayacaksınız.

3. Ayarla Özellikleri iletişim kutusunda, Ad için OutputSqlDataset girin. Bağlı hizmet açılan listesinde + Yeni'yi seçin. Bir veri kümesi, bağlı bir hizmetle ilişkilendirilmelidir. Bağlı hizmet, Data Factory'nin çalışma zamanında SQL veritabanına bağlanmak için kullandığı bağlantı dizesine sahiptir. Veri kümesi, verilerin kopyalanacağı kapsayıcıyı, klasörü ve dosyayı (isteğe bağlı) belirtilir.

4. Yeni bağlı hizmet (Azure SQL Veritabanı) iletişim kutusunda aşağıdaki adımları izleyin:

   1. Ad bölümüne AzureSqlDatabaseLinkedService girin.
   2. Server name altında SQL Server örneğinizi seçin.
   3. Etkileşimli yazma özelliğini etkinleştirdiğinizden emin olun.
   4. Veritabanı adı bölümünde SQL veritabanınızı seçin.
   5. Kullanıcı adı bölümüne kullanıcının adını girin.
   6. Parola bölümünde kullanıcının parolasını girin.
   7. Bağlantıyı sına’yı seçin. Başarısız olması gerekir, çünkü SQL sunucusu yalnızca Seçili ağlar üzerinden erişime izin verir ve Data Factory'nin bu sunucuya özel bir uç nokta oluşturmasını gerektirir; bu uç noktanın kullanılmadan önce onaylanması gerekir. Hata iletisinde, yönetilen özel uç nokta oluşturmak için izleyebileceğiniz bir özel uç nokta oluşturma bağlantısını görmeniz gerekir. Alternatif olarak doğrudan Yönet sekmesine gidin ve yönetilen özel uç nokta oluşturmak için sonraki bölümdeki yönergeleri izleyin.
   8. İletişim kutusunu açık tutun ve ardından seçili SQL sunucunuza gidin.
   9. Özel bağlantıyı onaylamak için bu bölümdeki yönergeleri izleyin.
   10. İletişim kutusuna geri dönün. Bağlantıyı yeniden test et'i ve bağlı hizmeti dağıtmak için Oluştur'u seçin.

5. Otomatik olarak Özellikleri Ayarla iletişim kutusuna gider. Tablo’da [dbo].[emp] seçeneğini belirleyin. Ardından Tamam'ı seçin.

6. İşlem hattını içeren sekmeye gidin ve Sink veri kümesinda OutputSqlDataset'in seçili olduğunu onaylayın.

   

İsteğe bağlı olarak kopyalama etkinliğinde Şema eşlemesini izleyerek kaynağın şemasını hedefin ilgili şemasıyla eşleyebilirsiniz.

Yönetilen özel uç nokta oluşturma

Bağlantıyı test ederken köprüyü seçmediyseniz yolu izleyin. Şimdi, oluşturduğunuz bağlı hizmete bağlanacağınız yönetilen bir özel uç nokta oluşturmanız gerekir.

1. Yönet sekmesine gidin.

2. Yönetilen özel uç noktalar bölümüne gidin.

3. + Yeni altında Yönetilen özel uç noktalar'ı seçin.

   

4. Listeden Azure SQL Veritabanı kutucuğunu seçin ve Continue öğesini seçin.

5. Seçtiğiniz SQL sunucusunun adını girin.

6. Oluştur'u belirleyin.

7. Birkaç saniye sonra, oluşturulan özel bağlantının bir onay gerektiğini görmeniz gerekir.

8. Oluşturduğunuz özel uç noktayı seçin. SQL sunucusu düzeyinde özel uç noktayı onaylamanıza yol açacak bir köprü görebilirsiniz.

SQL Server'de özel bağlantı onayı

1. SQL server'da Ayarlar bölümünün altında Özel uç nokta bağlantıları'na gidin.
2. Oluşturduğunuz özel uç noktanın onay kutusunu seçin ve Onayla'yı seçin.
3. Açıklama ekleyin ve evet'i seçin.
4. Data Factory'de Yönet sekmesinin Yönetilen özel uç noktalar bölümüne geri dönün.
5. Onayın özel uç noktanız için görünmesi bir veya iki dakika sürer.

İşlem hattında hata ayıklama ve yayımlama

Yapıtları (bağlı hizmetler, veri kümeleri ve işlem hattı) Data Factory'de veya kendi Azure Repos Git deponuzda yayımlamadan önce işlem hattında hata ayıklayabilirsiniz.

1. İşlem hattında hata ayıklamak için araç çubuğunda Hata Ayıkla'yı seçin. Pencerenin altında bulunan Çıkış sekmesinde pipeline durumunu görürsünüz.
2. İşlem hattı başarıyla çalıştırıldıktan sonra üst araç çubuğunda Tümünü yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) Data Factory'de yayımlar.
3. Başarıyla yayımlandı iletisini görene kadar bekleyin. Bildirim iletilerini görmek için sağ üst köşedeki Bildirimleri Göster'i (zil düğmesi) seçin.

Özet

Bu örnekteki işlem hattı, Data Factory Yönetilen Sanal Ağındaki özel uç noktalarını kullanarak verileri Blob depolamadan SQL Veritabanı'na kopyalar. Şunları öğrendiniz:

• Veri fabrikası oluşturma.
• Kopyalama etkinliğiyle işlem hattı oluşturma.