Öğretici: Azure Data Factory kullanarak Azure Blob depolamadan Azure SQL Veritabanı'ndaki bir veritabanına veri kopyalama

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure Data Factory kullanıcı arabirimini (UI) kullanarak bir veri fabrikası oluşturursunuz. Bu veri fabrikasındaki işlem hattı, Verileri Azure Blob depolamadan Azure SQL Veritabanı bir veritabanına kopyalar. Bu öğreticideki yapılandırma düzeni, dosya tabanlı bir veri deposundan ilişkisel bir veri deposuna kopyalama için geçerlidir. Kaynak ve havuz olarak desteklenen veri depolarının listesi için desteklenen veri depoları tablosuna bakın.

Not

İlk kez Data Factory kullanıyorsanız bkz. Azure Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

• Veri fabrikası oluşturma.
• Kopyalama etkinliği olan bir işlem hattı oluşturun.
• İşlem hattında test çalıştırması yapma.
• İşlem hattını el ile tetikleme.
• Zamanlamaya göre işlem hattını tetikle.
• İşlem hattı ve etkinlik çalıştırmalarını izleme.
• Zamanlanmış tetikleyicinizi devre dışı bırakın veya silin.

Önkoşullar

• Azure aboneliği. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir Azure hesabı oluşturun.
• Azure depolama hesabı. Blob depolama alanını kaynak veri deposu olarak kullanabilirsiniz. Depolama hesabınız yoksa, oluşturma adımları için bkz. Azure depolama hesabı oluşturma.
• Azure SQL Veritabanı. Veritabanını havuz veri deposu olarak kullanabilirsiniz. Azure SQL Veritabanı'da veritabanınız yoksa, oluşturma adımları için Azure SQL Veritabanı'da veritabanı oluşturma bölümüne bakın.

Bir blob ve SQL tablosu oluşturma

Aşağıdaki adımları uygulayarak öğretici için Blob depolama alanınızı ve SQL veritabanınızı hazırlayın.

Kaynak blob oluşturma

1. Not Defteri'ni başlatın. Aşağıdaki metni kopyalayın ve emp.txt dosyası olarak kaydedin:

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Bu dosyayı input adlı bir klasöre taşıyın.

3. Blob depolama alanınızda adftutorial adlı bir kapsayıcı oluşturun. emp.txt dosyasını içeren giriş klasörünüzü bu kapsayıcıya yükleyin. Bu görevleri gerçekleştirmek için Azure portalını veya Azure Depolama Gezgini gibi araçları kullanabilirsiniz.

Havuz SQL tablosu oluşturma

1. Veritabanınızda dbo.emp tablosunu oluşturmak için aşağıdaki SQL betiğini kullanın:

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   
   CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
   

2. Azure hizmetlerinin SQL Server’a erişmesine izin verin. Data Factory’nin SQL Server’ınıza veri yazabilmesi için SQL Server’ınız için Azure hizmetlerine erişime izin ver ayarının AÇIK olduğundan emin olun. Bu ayarı doğrulamak ve açmak için Azure portalında SQL Server'ınıza gidin, Güvenlik>Ağı'nı> etkinleştir Seçili ağlar'ı> seçin ve Özel Durumlar altında Azure hizmetlerinin ve kaynaklarının bu sunucuya erişmesine izin ver seçeneğini işaretleyin.

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

1. Microsoft Edge veya Google Chrome'u açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.

2. Soldaki menüde Kaynak> oluşturAnalytics>Data Factory'yi seçin.

3. Data Factory Oluştur sayfasında, Temel Bilgiler sekmesinde, veri fabrikasını oluşturmak istediğiniz Azure Aboneliği'ni seçin.

4. Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:

   a. Açılan listeden mevcut bir kaynak grubunu seçin.

   b. Yeni oluştur'u seçin ve yeni bir kaynak grubunun adını girin.

   Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.

5. Bölge'nin altında veri fabrikası için bir konum seçin. Gerekirse veri depolarınız veri fabrikanızdan farklı bir bölgede olabilir.

6. İsim alanında, Azure veri fabrikasının adı dünya çapında benzersiz olmalıdır. Ad değeriyle ilgili bir hata iletisi alırsanız, veri fabrikası için farklı bir ad girin. (örneğin, adınızADFDemo). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.

   

7. Sürüm bölümünde V2'yi seçin.

8. Üst kısımdaki Git yapılandırması sekmesini seçin ve Git'i daha sonra yapılandır onay kutusunu seçin.

9. Gözden geçir + oluştur'u ve doğrulama geçirildikten sonra Oluştur'u seçin.

10. Oluşturma işlemi tamamlandıktan sonra Bildirim merkezi'nde bildirimi görürsünüz. Data factory sayfasına gitmek için Kaynağa git'i seçin.

11. Azure Data Factory Studio kutucuğunda Studio'yu Başlat'ı seçin.

İşlem hattı oluşturma

Bu adımda, veri fabrikasında kopyalama etkinliği ile bir işlem hattı oluşturacaksınız. Kopyalama etkinliği, verileri Blob depolama alanından SQL Veritabanı'na kopyalar.

1. Giriş sayfasında Düzenle'yi seçin.

   

2. Genel panelinde, Özellikler'in altında Ad için CopyPipeline değerini belirtin. Ardından sağ üst köşedeki Özellikler simgesine tıklayarak paneli daraltın.

3. Etkinlikler araç kutusunda Taşı ve Dönüştür kategorisini genişletin ve Veri Kopyalama etkinliğini araç kutusundan işlem hattı tasarımcısının yüzeyine sürükleyip bırakın. Ad için CopyFromBlobToSql adını belirtin.

   

Kaynağı yapılandırma

İpucu

Bu öğreticide, kaynak veri deponuzun kimlik doğrulama türü olarak Hesap anahtarını kullanırsınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: GEREKIRSE SAS URI, Hizmet Sorumlusu ve Yönetilen Kimlik . Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.

1. Kaynak sekmesine gidin. Kaynak veri kümesi oluşturmak için + Yeni'yi seçin.

2. Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'yi ve ardından Devam'ı seçin. Kaynak veriler bir Blob depolama alanında olduğundan kaynak veri kümesi olarak Azure Blob Depolama Alanı'nı seçmeniz gerekir.

3. Biçim Seç iletişim kutusunda Sınırlandırılmış Metin'i ve ardından Devam'ı seçin.

4. Özellikleri Ayarla iletişim kutusuna Ad için SourceBlobDataset yazın. İlk satır üst bilgi olarak onay kutusunu seçin. Bağlı hizmet metin kutusunun altında + Yeni'yi seçin.

5. Yeni Bağlı Hizmet (Azure Blob Depolama) iletişim kutusunda ad olarak AzureStorageLinkedService girin, Depolama hesabı adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin, bağlı hizmeti dağıtmak için Oluştur'u seçin.

6. Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına geri gider. Dosya yolu’nun yanındaki Gözat seçeneğini belirleyin.

7. adftutorial/input klasörüne gidin, emp.txt dosyasını seçin ve ardından Tamam'ı seçin.

8. Tamam'ı seçin. İşlem hattı sayfasına otomatik olarak gider. Kaynak sekmesinde SourceBlobDataset'in seçili olduğunu onaylayın. Bu sayfadaki verilerin önizlemesini görüntülemek için Veri önizleme ‘yi seçin.

   

Havuzu yapılandırma

İpucu

Bu öğreticide, havuz veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanacaksınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik. Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.

1. Havuz sekmesine gidin ve havuz veri kümesi oluşturmak için +Yeni seçeneğini belirleyin.

2. Yeni Veri Kümesi iletişim kutusunda, bağlayıcıları filtrelemek için arama kutusuna "SQL" yazın, Azure SQL Veritabanı'ı seçin ve ardından Devam'ı seçin.

3. Özellikleri Ayarla iletişim kutusunda, Ad için OutputSqlDataset girin. Bağlı hizmet açılan listesinde + Yeni'yi seçin. Bağlı hizmeti bir veri kümesi ile ilişkilendirilmelidir. Bağlı hizmet, Data Factory'nin çalışma zamanında SQL Veritabanına bağlanmak için kullandığı bağlantı dizesine sahiptir ve verilerin kopyalanacağı yeri belirtir.

4. Yeni Bağlı Hizmet (Azure SQL Veritabanı) iletişim kutusunda aşağıdaki adımları izleyin:

   a. Ad bölümüne AzureSqlDatabaseLinkedService girin.

   b. Sunucu adı bölümünde SQL Server örneğinizi seçin.

   ç. Veritabanı adı'nın altında veritabanınızı seçin.

   ö. Kullanıcı adı bölümüne kullanıcının adını girin.

   e. Parola bölümünde kullanıcının parolasını girin.

   f. Bağlantıyı test etmek için Bağlantıyı sına’yı seçin.

   r. Bağlı hizmeti dağıtmak için Oluştur'u seçin.

   

5. Otomatik olarak Özellikleri Ayarla iletişim kutusuna gider. Tablo'daManuel olarak gir seçin ve [dbo].[emp] girin. Ardından Tamam'ı seçin.

6. İşlem hattının bulunduğu sekmeye gidin ve Havuz Veri Kümesi’nde OutputSqlDataset seçeneğinin belirlendiğinden emin olun.

   

İsteğe bağlı olarak, kopyalama etkinliğindeki Şema eşlemesini izleyerek kaynağın şemasını ilgili hedef şemasına eşleyebilirsiniz.

İşlem hattını doğrulama

İşlem hattını doğrulamak için araç çubuğundan Doğrula'yı seçin.

Sağ üst taraftaki Kod'a tıklayarak işlem hattıyla ilişkili JSON kodunu görebilirsiniz.

İşlem hattında hata ayıklama ve işlem hattını yayımlama

Yapıtları (bağlı hizmetler, veri kümeleri ve işlem hattı) Data Factory'de veya kendi Azure Repos Git deponuzda yayımlamadan önce işlem hattında hata ayıklayabilirsiniz.

1. İşlem hattında hata ayıklamak için araç çubuğunda Hata Ayıkla'yı seçin. Pencerenin altındaki Çıkış sekmesinde işlem hattı çalıştırmasının durumu görüntülenir.

2. İşlem hattı başarıyla çalıştırıldıktan sonra üst araç çubuğunda Tümünü yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) Data Factory'de yayımlar.

3. Başarıyla yayımlanan bildirim iletisini görene kadar bekleyin. Bildirim iletilerini görmek için sağ üstteki Bildirimleri Göster 'i (zil düğmesi) seçin.

İşlem hattını el ile tetikleme

Bu adımda, önceki adımda yayımladığınız işlem hattını el ile tetiklersiniz.

1. Araç çubuğunda Tetikleyici ekle'yi ve ardından Şimdi Tetikle'yi seçin.

2. İşlem Hattı Çalıştırma sayfasında Tamam'ı seçin.

3. Soldaki İzleyici sekmesine gidin. El ile tetikleme tarafından tetiklenmiş bir işlem hattı çalıştırması görürsünüz. İşlem HATTı ADı sütununun altındaki bağlantıları kullanarak etkinlik ayrıntılarını görüntüleyebilir ve işlem hattını yeniden çalıştırabilirsiniz.

   

4. İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İŞLEM HATTı ADI sütununun altındaki CopyPipeline bağlantısını seçin. Bu örnekte yalnızca bir etkinlik olduğundan listede yalnızca bir girdi görürsünüz. Kopyalama işlemiyle ilgili ayrıntılar için etkinliğin üzerine gelin ve

5. ETKİ ADI sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. İşlem Hattı Çalıştırmaları görünümüne dönmek için üstteki Tüm işlem hattı çalıştırmaları'nı seçin. Görünümü yenilemek için Yenile’yi seçin.

   

6. Veritabanındaki emp tablosuna iki satır daha eklendiğini doğrulayın.

İşlem hattını bir zamanlamaya göre tetikleme

Bu zamanlamada, işlem hattı için bir zamanlayıcı tetikleyicisi oluşturacaksınız. Tetikleyici, işlem hattını saatlik veya günlük gibi belirli bir zamanlamaya göre çalıştırır. Burada tetikleyiciyi belirtilen bitiş tarihi saatine kadar dakikada bir çalışacak şekilde ayarlarsınız.

1. Sol üstte, izleyici sekmesinin üzerindeki Yazar sekmesine gidin.

2. İşlem hattınıza gidin, araç çubuğunda Tetikleyici'yi ve ardından Yeni/Düzenle'yi seçin.

3. Tetikleyici ekle iletişim kutusunda Tetikleyici seç'i ve + Yeni'yi seçin.

4. Yeni Tetikleyici penceresinde aşağıdaki adımları uygulayın:

   a. Ad bölümüne RunEveryMinute girin.

   b. Tetikleyicinizin Başlangıç tarihini güncelleştirin. Tarih geçerli tarih saatinden önceyse, değişiklik yayımlandıktan sonra tetikleyici geçerlilik kazanır.

   ç. Saat dilimi'nin altında açılan listeyi seçin.

   ö. Yinelenme'yi Her 1 Dakikada Bir olarak ayarlayın.

   e. Bitiş tarihi belirtin onay kutusunu seçin ve Bitiş Tarihi bölümünü geçerli tarih saatinden birkaç dakika sonra olacak şekilde güncelleştirin. Tetikleyicinin etkinleştirilmesi için, önce sizin değişiklikleri yayımlamanız gerekir. Bunu yalnızca birkaç dakika arayla ayarlarsanız ve o zamana kadar yayımlamazsanız tetikleyici çalıştırmasını görmezsiniz.

   f. Etkinleştirildi seçeneği için Evet'i seçin.

   r. Tamam'ı seçin.

   Önemli

   Her bir işlem hattı çalıştırması ile bir maliyet ilişkilendirildiğinden bitiş tarihini uygun bir şekilde ayarlayın.

5. Tetikleyiciyi düzenle sayfasında uyarıyı gözden geçirin ve Kaydet'i seçin. Bu örnekteki işlem hattı hiçbir parametre almaz.

6. Değişikliği yayımlamak için Tümünü yayımla'yı seçin.

7. Tetiklenen işlem hattı çalıştırmalarını görmek için sol taraftaki İzleyici sekmesine gidin.

   

8. İşlem Hattı Çalıştırmaları görünümünden Tetikleyici Çalıştırmaları görünümüne geçmek için pencerenin sol tarafındaki Tetikleyici Çalıştırmaları'nı seçin.

9. Listede tetikleyici çalıştırmalarını görürsünüz.

10. Belirtilen bitiş saatine kadar emp tablosuna dakikada iki satır (her işlem hattı çalıştırması için) eklendiğini doğrulayın.

Tetikleyiciyi devre dışı bırakma

Oluşturduğunuz her dakika tetikleyicinizi devre dışı bırakmak için şu adımları izleyin:

1. Sol taraftaki Yönet bölmesini seçin.

2. Yazar'ın altında Tetikleyiciler'i seçin.

3. Oluşturduğunuz RunEveryMinute tetikleyicisinin üzerine gelmek için imleci hareket ettirin.

   1. Tetikleyicinin çalışmasını devre dışı bırakmak için Durdur düğmesini seçin.
   2. Tetikleyiciyi devre dışı bırakmak ve silmek için Sil düğmesini seçin.

4. Değişikliklerinizi kaydetmek için Tümünü yayımla'yı seçin.

İlgili içerik

Bu örnekteki işlem hattı, verileri bir konumdan Blob depolama alanındaki başka bir konuma kopyalar. Şunları öğrendiniz:

• Veri fabrikası oluşturma.
• Kopyalama etkinliğiyle işlem hattı oluşturma.
• İşlem hattında test çalıştırması yapma.
• İşlem hattını el ile tetikleme.
• İşlem hattını bir zamanlamaya göre tetikleme.
• İşlem hattı ve etkinlik çalıştırmalarını izleme.
• Zamanlanmış tetikleyicinizi devre dışı bırakın veya silin.

Verileri şirket içinden buluta kopyalamayı öğrenmek için aşağıdaki öğreticiye geçin:

Şirket içinden buluta veri kopyalama

Azure Blob Depolama ve Azure SQL Veritabanı'na veya Azure SQL Veritabanı'na veri kopyalama hakkında daha fazla bilgi için şu bağlayıcı kılavuzlarına bakın:

• Azure Blob Depolama'da verileri kopyalama ve dönüştürme
• Azure SQL Veritabanı'da verileri kopyalama ve dönüştürme