Veri Kopyalama aracını kullanarak sql server veritabanından Azure Blob depolamaya veri kopyalama

Makale
08/10/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bahşiş

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Bu öğreticide, Azure portalını kullanarak bir veri fabrikası oluşturursunuz. Ardından, verileri SQL Server veritabanından Azure Blob depolamaya kopyalayan bir işlem hattı oluşturmak için Veri Kopyalama aracını kullanırsınız.

Dekont

Azure Data Factory’yi ilk kez kullanıyorsanız bkz. Data Factory'ye giriş.

Bu öğreticide, aşağıdaki adımları gerçekleştireceksiniz:

Veri fabrikası oluşturma.
Veri Kopyalama aracını kullanarak bir işlem hattı oluşturun.
İşlem hattı ve etkinlik çalıştırmalarını izleme.

Önkoşullar

Azure aboneliği

Başlamadan önce, mevcut bir Azure aboneliğiniz yoksa ücretsiz hesap oluşturun.

Azure rolleri

Veri fabrikası örnekleri oluşturmak için, Azure’da oturum açarken kullandığınız kullanıcı hesabına Katkıda bulunan veya Sahip rolü atanmalı veya bu hesap Azure aboneliğinin yöneticisi olmalıdır.

Abonelikte sahip olduğunuz izinleri görüntülemek için Azure portalına gidin. Sağ üst köşeden kullanıcı adınızı ve sonra İzinler’i seçin. Birden çok aboneliğe erişiminiz varsa uygun aboneliği seçin. Bir role kullanıcı ekleme hakkında örnek yönergeler için bkz . Azure portalını kullanarak Azure rolleri atama.

SQL Server 2014, 2016 ve 2017

Bu öğreticide bir SQL Server veritabanını kaynak veri deposu olarak kullanacaksınız. Bu öğreticide oluşturduğunuz veri fabrikasındaki işlem hattı, verileri bu SQL Server veritabanından (kaynak) Blob depolamaya (havuz) kopyalar. Daha sonra SQL Server veritabanınızda emp adlı bir tablo oluşturur ve tabloya birkaç örnek girdi eklersiniz.

SQL Server Management Studio'yu başlatın. Makinenizde zaten yüklü değilse SQL Server Management Studio'yu indirme sayfasına gidin.
Kimlik bilgilerinizi kullanarak SQL Server örneğinize bağlanın.
Örnek bir veritabanı oluşturun. Ağaç görünümünde Veritabanları'na sağ tıklayın ve Yeni Veritabanı'nı seçin.
Yeni Veritabanı penceresinde, veritabanı için bir ad girin ve Tamam'ı seçin.

emp tablosunu oluşturmak ve içine bazı örnek verileri eklemek için veritabanında aşağıdaki sorgu betiğini çalıştırın. Ağaç görünümünde, oluşturduğunuz veritabanına sağ tıklayın ve Yeni Sorgu'yu seçin.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO

Azure depolama hesabı

Bu öğreticide, genel amaçlı Azure depolama hesabını (özel olarak Blob depolama) hedef/havuz veri deposu olarak kullanırsınız. Genel amaçlı bir depolama hesabınız yoksa yeni hesap oluşturma yönergeleri için bkz. Depolama hesabı oluşturma. Bu öğreticide oluşturduğunuz veri fabrikasındaki işlem hattı, verileri SQL Server veritabanından (kaynak) bu Blob depolama alanına (havuz) kopyalar.

Depolama hesabı adını ve hesap anahtarını alma

Bu öğreticide, depolama hesabınızın adını ve anahtarını kullanırsınız. Depolama hesabınızın adını ve anahtarını almak için aşağıdaki adımları gerçekleştirin:

Azure kullanıcı adı ve parolanızla Azure portalında oturum açın.
Sol bölmede Tüm hizmetler'i seçin. Depolama anahtar sözcüğünü kullanarak filtreleyin ve Depolama hesapları’nı seçin.
Depolama hesapları listesinde, depolama hesabınız için filtre uygulayın (gerekirse). Sonra depolama hesabınızı seçin.
Depolama hesabı penceresinde Erişim anahtarları'nı seçin.
Depolama hesabı adı ve key1 kutularında değerleri kopyalayın ve ardından onları öğreticide daha sonra kullanmak için Not Defteri'ne veya başka bir düzenleyiciye yapıştırın.

Veri fabrikası oluşturma

Soldaki menüde Kaynak>oluştur Integration>Data Factory'yi seçin.
Yeni veri fabrikası sayfasında Ad bölümüne ADFTutorialDataFactory girin.

Veri fabrikasının adı genel olarak benzersiz olmalıdır. Ad alanı için aşağıdaki hata iletisini görürseniz veri fabrikasının adını değiştirin (örneğin, adınızADFTutorialDataFactory). Data Factory yapıtlarının adlandırma kuralları için bkz.Data Factory adlandırma kuralları.
Veri fabrikasını oluşturmak istediğiniz Azure aboneliğinizi seçin.
Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:
- Var olanı kullan’ı seçin ve ardından açılır listeden var olan bir kaynak grubu belirleyin.
- Yeni oluştur’u seçin ve bir kaynak grubunun adını girin.
  
  Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
Sürüm bölümünde V2'yi seçin.
Konum bölümünde veri fabrikasının konumunu seçin. Açılan listede yalnızca desteklenen konumlar görüntülenir. Veri Fabrikası tarafından kullanılan veri depoları (örneğin, Azure Depolama ve SQL Veritabanı) ve işlemler (örneğin, Azure HDInsight) başka konumlarda/bölgelerde olabilir.
Oluştur’u seçin.
Oluşturma işlemi bittikten sonra, resimde gösterildiği gibi Veri Fabrikası sayfası görüntülenir.
Data Factory kullanıcı arabirimini ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Veri Kopyalama aracını kullanarak işlem hattı oluşturma

Azure Data Factory giriş sayfasında Veri Kopyala aracını başlatmak için Al'ı seçin.
Veri Kopyala aracının Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni seçin ve Görev temposu veya görev zamanlaması altında Şimdi çalıştır'ı ve ardından İleri'yi seçin.
Kaynak veri deposu sayfasında + Yeni bağlantı oluştur'u seçin.
Yeni bağlantı'nın altında SQL Server'ı arayın ve Devam'ı seçin.
Yeni bağlantı (SQL sunucusu) iletişim kutusunda, Ad'ın altında SqlServerLinkedService girin. Tümleştirme çalışma zamanı aracılığıyla bağlan için +Yeni seçeneğini belirleyin. Şirket içinde barındırılan bir tümleştirme çalışma zamanı oluşturup bunu makinenize indirmeniz ve Data Factory’ye kaydetmeniz gerekir. Şirket içinde barındırılan tümleştirme çalışma zamanı, şirket içi ortamınızla bulut arasında veri kopyalar.
Tümleştirme çalışma zamanı kurulumu iletişim kutusunda Şirket İçinde Barındırılan'ı seçin. Daha sonra Devam seçeneğini belirleyin.
Tümleştirme çalışma zamanı kurulumu iletişim kutusundaki Ad alanına TutorialIntegrationRuntime yazın. Daha sonra, Oluştur'u seçin.
Tümleştirme çalışma zamanı kurulumu iletişim kutusunda, Bu bilgisayar için hızlı kurulumu başlatmak için buraya tıklayın'ı seçin. Bu işlem, tümleştirme çalışma zamanını makinenize yükler ve Data Factory’ye kaydeder. Alternatif olarak, el ile kurulum seçeneğini kullanarak yükleme dosyasını indirip çalıştırabilir ve anahtarı kullanarak tümleştirme çalışma zamanını kaydedebilirsiniz.
İndirilen uygulamayı çalıştırın. Pencerede hızlı kurulum durumunu görürsünüz.
Yeni Bağlan ion (SQL Server) iletişim kutusunda TutorialIntegrationRuntime öğesinin integration runtime aracılığıyla Bağlan altında seçili olduğunu onaylayın. Ardından aşağıdaki adımları uygulayın:

a. Ad bölümüne SqlServerLinkedService adını girin.

b. Sunucu adı bölümüne SQL Server örneğinizin adını girin.

c. Veritabanı adı bölümüne şirket içi veritabanınızın adını girin.

d. Kimlik doğrulaması türü bölümünde uygun kimlik doğrulamasını seçin.

e. Kullanıcı adı'nın altında, SQL Server'a erişimi olan kullanıcının adını girin.

f. Kullanıcının Parolasını girin.

r. Bağlantıyı test edin ve Oluştur'u seçin.
Kaynak veri deposu sayfasında, yeni oluşturulan SQL Server bağlantısının Bağlan bloğunda seçildiğinden emin olun. Ardından Kaynak tablolar bölümünde VAR OLAN TABLOLAR'ı seçin ve listeden dbo.emp tablosunu seçin ve İleri'yi seçin. Veritabanınıza göre diğer tablolardan da seçim yapabilirsiniz.
Filtre uygula sayfasında, Verileri önizle düğmesini seçerek verileri önizleyebilir ve giriş verilerinin şemasını görüntüleyebilirsiniz. Sonra İleri'yi seçin.
Hedef veri deposu sayfasında + Yeni bağlantı oluştur'u seçin
Yeni bağlantı'da arama yapın ve Azure Blob Depolama'ı seçin ve ardından Devam'ı seçin.
Yeni bağlantı (Azure Blob Depolama) iletişim kutusunda aşağıdaki adımları izleyin:

a. Ad bölümüne AzureStorageLinkedService adını girin.

b. Tümleştirme çalışma zamanı aracılığıyla Bağlan altında TutorialIntegrationRuntime öğesini seçin ve Kimlik doğrulama yöntemi altında Hesap anahtarı'nıseçin.

c. Azure aboneliği'nin altında, açılan listeden Azure aboneliğinizi seçin.

d. Depolama hesabı adı bölümünde, açılan listeden depolama hesabınızı seçin.

e. Bağlantıyı test edin ve Oluştur'u seçin.
Hedef veri deposu iletişim kutusunda, yeni oluşturulan Azure Blob Depolama bağlantısının Bağlan bloğunda seçili olduğundan emin olun. Ardından Klasör yolu altında adftutorial/fromonprem girin. Ön koşulların bir parçası olarak adftutorial kapsayıcısını oluşturdunuz. Çıkış klasörü yoksa (bu örnekte fromonprem), Data Factory tarafından otomatik olarak oluşturulur. Blob depolamaya ve kapsayıcılarına/klasörlerine göz atmak için Gözat düğmesini de kullanabilirsiniz. Dosya adı bölümünde değer belirtmezseniz varsayılan olarak kaynaktaki ad (bu örnekte dbo.emp) kullanılır.
Dosya biçimi ayarları iletişim kutusunda İleri’yi seçin.
Ayarlar iletişim kutusundaki Görev adı'nın altında CopyFromOnPremSqlToAzureBlobPipeline yazın ve İleri'yi seçin. Veri Kopyalama aracı, bu alan için belirttiğiniz ada sahip bir işlem hattı oluşturur.
Özet iletişim kutusunda tüm ayarların değerlerini gözden geçirin ve İleri’yi seçin.
Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.
İşlem hattı çalıştırması tamamlandığında, oluşturduğunuz işlem hattının durumunu görüntüleyebilirsiniz.
"İşlem hattı çalıştırmaları" sayfasında Yenile'yi seçerek listeyi yenileyin . Etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için İşlem hattı adı altındaki bağlantıyı seçin.
Kopyalama işlemi hakkında daha fazla ayrıntı için "Etkinlik çalıştırmaları" sayfasında Etkinlik adı sütununun altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. "İşlem hattı çalıştırmaları" sayfasına dönmek için içerik haritası menüsünde Tüm işlem hattı çalıştırmaları bağlantısını seçin. Görünümü yenilemek için Yenile’yi seçin.
Çıktı dosyasını adftutorial kapsayıcısının fromonprem klasöründe gördüğünüzü onaylayın.
Düzenleyici moduna geçmek için soldaki Yazar sekmesini seçin. Düzenleyiciyi kullanarak araç tarafından oluşturulan bağlı hizmetleri, veri kümelerini ve işlem hatlarını güncelleştirebilirsiniz. Düzenleyicide açılan varlıkla ilişkili JSON kodunu görüntülemek için Kod’u seçin. Bu varlıklarım Data Factory kullanıcı arabiriminde nasıl düzenleneceği ile ilgili ayrıntılar için bu öğreticinin Azure portalı sürümüne bakın.