SQL Server veritabanından Azure Blob depolamaya veri kopyalama

Makale
05/15/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, verileri SQL Server veritabanından Azure Blob depolamaya kopyalayan bir veri fabrikası işlem hattı oluşturmak için Azure Data Factory kullanıcı arabirimini (UI) kullanacaksınız. Verileri şirket içi ile bulut veri depoları arasında taşıyan, şirket içinde barındırılan bir tümleştirme çalışma zamanı oluşturup kullanabilirsiniz.

Dekont

Bu makale, Data Factory’ye giriş konusunda ayrıntılı bilgi sağlamaz. Daha fazla bilgi için bkz. Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

Veri fabrikası oluşturma.
Şirket içinde barındırılan tümleştirme çalışma zamanı oluşturma.
SQL Server ve Azure Depolama bağlı hizmetlerini oluşturma.
SQL Server ve Azure Blob veri kümeleri oluşturma.
Verileri taşımak için kopyalama etkinliği ile işlem hattı oluşturma.
Bir işlem hattı çalıştırması başlatma.
İşlem hattı çalıştırmasını izleme.

Önkoşullar

Azure aboneliği

Başlamadan önce, mevcut bir Azure aboneliğiniz yoksa ücretsiz hesap oluşturun.

Azure rolleri

Veri fabrikası örnekleri oluşturmak için Azure’da oturum açarken kullandığınız kullanıcı hesabına Katkıda bulunan veya Sahip rolü atanmalı ya da bu hesap Azure aboneliğinin yöneticisi olmalıdır.

Abonelikte sahip olduğunuz izinleri görüntülemek için Azure portalına gidin. Sağ üst köşeden kullanıcı adınızı ve sonra İzinler’i seçin. Birden çok aboneliğe erişiminiz varsa uygun aboneliği seçin. Bir role kullanıcı ekleme hakkında örnek yönergeler için bkz . Azure portalını kullanarak Azure rolleri atama.

SQL Server 2014, 2016 ve 2017

Bu öğreticide bir SQL Server veritabanını kaynak veri deposu olarak kullanacaksınız. Bu öğreticide oluşturduğunuz veri fabrikasındaki işlem hattı, verileri bu SQL Server veritabanından (kaynak) Blob depolamaya (havuz) kopyalar. Daha sonra SQL Server veritabanınızda emp adlı bir tablo oluşturur ve tabloya birkaç örnek girdi eklersiniz.

SQL Server Management Studio'yu başlatın. Makinenizde zaten yüklü değilse SQL Server Management Studio'yu indirme sayfasına gidin.
Kimlik bilgilerinizi kullanarak SQL Server örneğinize bağlanın.
Örnek bir veritabanı oluşturun. Ağaç görünümünde Veritabanları'na sağ tıklayın ve Yeni Veritabanı'nı seçin.
Yeni Veritabanı penceresinde, veritabanı için bir ad girin ve Tamam'ı seçin.

emp tablosunu oluşturmak ve içine bazı örnek verileri eklemek için veritabanında aşağıdaki sorgu betiğini çalıştırın. Ağaç görünümünde, oluşturduğunuz veritabanına sağ tıklayın ve Yeni Sorgu'yu seçin.

 CREATE TABLE dbo.emp
 (
     ID int IDENTITY(1,1) NOT NULL,
     FirstName varchar(50),
     LastName varchar(50)
 )
 GO

 INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
 INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
 GO

Azure depolama hesabı

Bu öğreticide, genel amaçlı Azure depolama hesabını (özel olarak Blob depolama) hedef/havuz veri deposu olarak kullanırsınız. Genel amaçlı bir Azure depolama hesabınız yoksa bkz. Depolama hesabı oluşturma. Bu öğreticide oluşturduğunuz veri fabrikasındaki işlem hattı, verileri SQL Server veritabanından (kaynak) Blob depolamaya (havuz) kopyalar.

Depolama hesabı adını ve hesap anahtarını alma

Bu öğreticide, depolama hesabınızın adını ve anahtarını kullanırsınız. Depolama hesabınızın adını ve anahtarını almak için aşağıdaki adımları gerçekleştirin:

Azure kullanıcı adı ve parolanızla Azure portalında oturum açın.
Sol bölmede Tüm hizmetler'i seçin. Depolama anahtar sözcüğünü kullanarak filtreleyin ve Depolama hesapları’nı seçin.
Depolama hesapları listesinde, gerekirse depolama hesabınız için filtreleyin. Sonra depolama hesabınızı seçin.
Depolama hesabı penceresinde Erişim anahtarları'nı seçin.
Depolama hesabı adı ve key1 kutularında değerleri kopyalayın ve ardından onları öğreticide daha sonra kullanmak için Not Defteri'ne veya başka bir düzenleyiciye yapıştırın.

Adftutorial kapsayıcını oluşturma

Bu bölümde, Blob depolama alanınızda adftutorial adlı bir blob kapsayıcısı oluşturursunuz.

Depolama hesap penceresinde Genel Bakış'a gidin ve Kapsayıcılar'ı seçin.
Kapsayıcılar penceresinde + Kapsayıcı'yı seçerek yeni bir tane oluşturun.
Yeni kapsayıcı penceresinde, Ad bölümüne adftutorial adını girin. Daha sonra, Oluştur'u seçin.
Kapsayıcı listesinde yeni oluşturduğunuz adftutorial öğesini seçin.
adftutorial öğesine ait kapsayıcı penceresini açık tutun. Öğreticinin sonundaki çıkışı doğrulamak için bunu kullanırsınız. Data Factory bu kapsayıcıda çıktı klasörünü otomatik olarak oluşturduğundan sizin oluşturmanız gerekmez.

Veri fabrikası oluşturma

Bu adımda, bir veri fabrikası oluşturacak ve veri fabrikasında bir işlem hattı oluşturmak için Data Factory kullanıcı arabirimini başlatacaksınız.

Microsoft Edge veya Google Chrome web tarayıcısını açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.
Sol menüde Kaynak>oluştur Integration>Data Factory'yi seçin:
Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

Veri fabrikasının adı genel olarak benzersiz olmalıdır. Ad alanı için aşağıdaki hata iletisini görürseniz veri fabrikasının adını değiştirin (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.
Veri fabrikasını oluşturmak istediğiniz Azure aboneliğinizi seçin.
Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:
- Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.
- Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.
  
  Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
Sürüm bölümünde V2'yi seçin.
Konum bölümünde veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Data Factory tarafından kullanılan veri depoları (örneğin, Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka bölgelerde olabilir.
Oluştur’u seçin.
Oluşturma işlemi bittikten sonra, resimde gösterildiği gibi Veri Fabrikası sayfası görüntülenir:
Data Factory kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

İşlem hattı oluşturma

Azure Data Factory giriş sayfasında Düzenle'yi seçin. Sizin için otomatik olarak bir işlem hattı oluşturulur. İşlem hattının ağaç görünümünde yer aldığını ve düzenleyicisinin açık olduğunu görürsünüz.
Genel panelinde, Özellikler'in altında Ad için SQLServerToBlobPipeline belirtin. Ardından sağ üst köşedeki Özellikler simgesine tıklayarak paneli daraltın.
Etkinlikler aracı kutusunda Taşı ve Dönüştür'ü genişletin. Kopyalama etkinliğini kopyalayıp işlem hattı tasarım yüzeyine bırakın. Etkinliğin adını CopySqlServerToAzureBlobActivity olarak ayarlayın.
Özellikler penceresinde Kaynak sekmesine gidin ve + Yeni’yi seçin.
Yeni Veri Kümesi iletişim kutusunda SQL Server'ı arayın. SQL Server'ı ve ardından Devam'ı seçin.
Özellikleri Ayarla iletişim kutusundaki Ad alanına SqlServerDataset yazın. Bağlı hizmet'in altında + Yeni'yi seçin. Bu adımda, kaynak veri deposuna (SQL Server veritabanı) yönelik bir bağlantı oluşturursunuz.
Yeni Bağlı Hizmet iletişim kutusunda, Ad'ı SqlServerLinkedService olarak ekleyin. Tümleştirme çalışma zamanı aracılığıyla Bağlan altında +Yeni'yi seçin. Bu bölümde, şirket içinde barındırılan bir tümleştirme çalışma zamanı oluşturur ve SQL Server veritabanını içeren bir şirket içi makine ile ilişkilendirirsiniz. Şirket içinde barındırılan tümleştirme çalışma zamanı, makinenizdeki SQL Server veitabanınızdaki verileri Blob depolama alanına kopyalayan bileşendir.
Tümleştirme Çalışma Zamanı Kurulumu iletişim kutusunda Şirket İçinde Barındırılan'ı ve ardından Devam'ı seçin.
Adın altına TutorialIntegrationRuntime yazın. Daha sonra, Oluştur'u seçin.
Ayarlar için Buraya tıklayın'ı seçerek bu bilgisayarın hızlı kurulumunu başlatın. Bu işlem, tümleştirme çalışma zamanını makinenize yükler ve Data Factory’ye kaydeder. Alternatif olarak, el ile kurulum seçeneğini kullanarak yükleme dosyasını indirip çalıştırabilir ve anahtarı kullanarak tümleştirme çalışma zamanını kaydedebilirsiniz.
Integration Runtime (şirket içinde barındırılan) Hızlı Kurulum penceresinde, işlem tamamlandığında Kapat'ı seçin.
Yeni bağlı hizmet (SQL Server) iletişim kutusunda TutorialIntegrationRuntime öğesinin tümleştirme çalışma zamanı aracılığıyla Bağlan altında seçili olduğunu onaylayın. Ardından aşağıdaki adımları uygulayın:

a. Ad bölümüne SqlServerLinkedService adını girin.

b. Sunucu adı bölümüne SQL Server örneğinizin adını girin.

c. Veritabanı adı alanında, emp tablosunu içeren veritabanının adını belirtin.

d. Kimlik doğrulaması türü bölümünde, Data Factory’nin SQL Server veritabanınıza bağlanmak için kullanması gereken uygun kimlik doğrulaması türünü seçin.

e. Kullanıcı adı ve Parola bölümlerine kullanıcı adını ve parolasını girin. Gerekirse kullanıcı adı olarak mydomain\myuser kullanın.

f. Bağlantıyı sına’yı seçin. Bu adım, Data Factory'nin oluşturduğunuz şirket içinde barındırılan tümleştirme çalışma zamanını kullanarak SQL Server veritabanınıza bağlanabildiğini onaylamaktır.

r. Bağlı hizmeti kaydetmek için Oluştur'u seçin.
Bağlı hizmet oluşturulduktan sonra SqlServerDataset'in Özellikleri ayarla sayfasına dönersiniz. Aşağıdaki adımları izleyin:

a. Bağlı hizmet bölümünde SqlServerLinkedService’i gördüğünüzü onaylayın.

b. Tablo adı'nın altında [dbo].[ öğesini seçin emp].

c. Tamam seçeneğini işaretleyin.
SQLServerToBlobPipeline’ı içeren sekmeye gidin veya ağaç görünümünden SQLServerToBlobPipeline’ı seçin.
Özellikler penceresinin altındaki Havuz sekmesine gidin ve + Yeni’yi seçin.
Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'yi seçin. Daha sonra Devam seçeneğini belirleyin.
Biçim Seç iletişim kutusunda, verilerinizin biçim türünü seçin. Daha sonra Devam seçeneğini belirleyin.
Özellikleri Ayarla iletişim kutusuna Ad için AzureBlobDataset yazın. Bağlı hizmet metin kutusunun yanındaki + Yeni seçeneğini belirleyin.
Yeni Bağlı Hizmet (Azure Blob Depolama) iletişim kutusunda ad olarak Azure Depolama LinkedService girin, Depolama hesap adı listesinden depolama hesabınızı seçin. Bağlantıyı test edin ve ardından Bağlı hizmeti dağıtmak için Oluştur'u seçin.
Bağlı hizmet oluşturulduktan sonra Özellikleri ayarla sayfasına dönersiniz. Tamam seçeneğini işaretleyin.
Havuz veri kümesini açın. Bağlantı sekmesinde aşağıdaki adımları uygulayın:

a. Bağlı hizmet bölümünde AzureStorageLinkedService’in seçildiğini onaylayın.

b. Dosya yolu'nda, Kapsayıcı/ Dizin bölümü için adftutorial/fromonprem girin. Çıktı klasörü adftutorial kapsayıcısında mevcut değilse Data Factory tarafından otomatik olarak oluşturulur.

c. Dosya bölümü için Dinamik içerik ekle'yi seçin.

d. öğesini ekleyin @CONCAT(pipeline().RunId, '.txt')ve ardından Son'u seçin. Bu eylem dosyayı PipelineRunID.txt dosyasıyla yeniden adlandırır.
İşlem hattının açık olduğu sekmeye gidin veya ağaç görünümünde işlem hattını seçin. Havuz Veri Kümesi bölümünde AzureBlobDataset’in seçili olduğunu onaylayın.
İşlem hattı ayarlarını doğrulamak için işlem hattının araç çubuğunda Doğrula’yı seçin. Kanal doğrulama çıkışını kapatmak için simgeyi >> seçin.
Oluşturduğunuz varlıkları Data Factory'de yayımlamak için Tümünü yayımla'yı seçin.
Yayımlama tamamlandı açılır penceresini görene kadar bekleyin. Yayımlama durumunu denetlemek için pencerenin üst kısmındaki Bildirimleri göster bağlantısını seçin. Bildirim penceresini kapatmak için Kapat’ı seçin.

İşlem hattı çalıştırmasını tetikleme

İşlem hattının araç çubuğunda Tetikleyici Ekle'yi ve ardından Şimdi Tetikle'yi seçin.

İşlem hattı çalıştırmasını izleme

İzleyici sekmesine gidin. Önceki adımda el ile tetiklediğiniz işlem hattını görürsünüz.
İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görüntülemek için İŞLEM HATI ADI'nın altındaki SQLServerToBlobPipeline bağlantısını seçin.
Etkinlik çalıştırmaları sayfasında, kopyalama işlemiyle ilgili ayrıntıları görmek için Ayrıntılar (gözlük resmi) bağlantısını seçin. İşlem Hattı Çalıştırmaları görünümüne dönmek için üstteki Tüm işlem hattı çalıştırmaları'nı seçin.

Çıktıyı doğrulama

İşlem hattı, adftutorial blob kapsayıcısında fromonprem adlı çıktı klasörünü otomatik olarak oluşturur. Çıktı klasöründe [pipeline().RunId].txt dosyasını gördüğünüzü onaylayın.

Bu örnekteki işlem hattı, verileri bir konumdan Blob depolama alanındaki başka bir konuma kopyalar. Şunları öğrendiniz:

Veri fabrikası oluşturma.
Şirket içinde barındırılan tümleştirme çalışma zamanı oluşturma.
SQL Server ve Depolama bağlı hizmetlerini oluşturun.
SQL Server ve Blob depolama veri kümeleri oluşturun.
Verileri taşımak için kopyalama etkinliği ile işlem hattı oluşturma.
Bir işlem hattı çalıştırması başlatma.
İşlem hattı çalıştırmasını izleme.

Data Factory tarafından desteklenen veri depolarının listesi için Desteklenen veri depoları konusuna bakın.

Verilerin toplu olarak kaynaktan hedefe nasıl kopyalanacağını öğrenmek için aşağıdaki öğreticiye ilerleyin:

Verileri toplu halde kopyalama

Share via

SQL Server veritabanından Azure Blob depolamaya veri kopyalama