Azure Data Factory'yi veya Synapse işlem hattını kullanarak Azure Synapse Analytics'e veri yükleme

Makale
05/15/2024

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Azure Synapse Analytics , hem ilişkisel hem de ilişkisel olmayan çok büyük hacimli verileri işleyebilen bulut tabanlı, ölçeği genişleten bir veritabanıdır. Azure Synapse Analytics, kurumsal veri ambarı iş yükleri için iyileştirilmiş yüksek düzeyde paralel işleme (MPP) mimarisi üzerine kurulmuştur. Depolamayı ve işlemi bağımsız olarak ölçeklendirme esnekliğiyle bulut esnekliği sunar.

Azure Synapse Analytics'i kullanmaya başlamak artık her zamankinden daha kolay. Azure Data Factory ve Azure Synapse'in kendi içindeki eşdeğer işlem hattı özelliği, tam olarak yönetilen bulut tabanlı bir veri tümleştirme hizmeti sağlar. Hizmeti kullanarak Azure Synapse Analytics'i mevcut sisteminizdeki verilerle doldurabilir ve analiz çözümlerinizi oluştururken zaman kazanabilirsiniz.

Azure Data Factory ve Synapse işlem hatları, Azure Synapse Analytics'e veri yüklemek için aşağıdaki avantajları sunar:

Kurulumu kolay: Betik oluşturma gerektirmeden sezgisel bir 5 adımlı sihirbaz.
Zengin veri deposu desteği: Zengin bir şirket içi ve bulut tabanlı veri deposu kümesi için yerleşik destek. Ayrıntılı liste için Desteklenen veri depoları tablosuna bakın.
Güvenli ve uyumlu: Veriler HTTPS veya ExpressRoute üzerinden aktarılır. Genel hizmet varlığı, verilerinizin coğrafi sınırdan asla ayrılmamasını sağlar.
PolyBase kullanarak benzersiz performans: Polybase, verileri Azure Synapse Analytics'e taşımanın en verimli yoludur. Azure Blob depolama ve Data Lake Store dahil olmak üzere tüm veri depolarından yüksek yük hızları elde etmek için hazırlama blobu özelliğini kullanın. (Polybase, Azure Blob depolamayı ve Azure Data Lake Store'ı varsayılan olarak destekler.) Ayrıntılar için bkz. performans Kopyalama etkinliği.

Bu makalede verileri Azure SQL Veritabanı Azure Synapse Analytics'e yüklemek için Veri Kopyalama aracının nasıl kullanılacağı gösterilmektedir. Diğer veri depolarından veri kopyalamak için benzer adımları izleyebilirsiniz.

Not

Daha fazla bilgi için bkz . Azure Synapse Analytics'e veya Azure Synapse Analytics'ten veri kopyalama.

Önkoşullar

Azure aboneliği: Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Azure Synapse Analytics: Veri ambarı, SQL veritabanından kopyalanan verileri barındırıyor. Azure Synapse Analytics'iniz yoksa Azure Synapse Analytics oluşturma başlığı altında yer alan yönergelere bakın.
Azure SQL Veritabanı: Bu öğretici, Azure SQL Veritabanı'daki Adventure Works LT örnek veri kümesinden verileri kopyalar. Azure SQL Veritabanı'de örnek veritabanı oluşturma başlığındaki yönergeleri izleyerek bu örnek veritabanını SQL Veritabanı oluşturabilirsiniz.
Azure depolama hesabı: Azure Depolama, toplu kopyalama işleminde hazırlama blobu olarak kullanılır. Azure depolama hesabınız yoksa Depolama hesabı oluşturma bölümündeki yönergelere bakın.

Veri fabrikası oluşturma

Veri fabrikanızı henüz oluşturmadıysanız Hızlı Başlangıç: Azure portalını ve Azure Data Factory Studio'yu kullanarak veri fabrikası oluşturma bölümünde yer alan adımları izleyin. Oluşturduktan sonra Azure portalında veri fabrikasına göz atın.
Veri Entegrasyonu uygulamasını ayrı bir sekmede başlatmak için Azure Data Factory Studio'yu Aç kutucuğunda Aç'ı seçin.

Azure Synapse Analytics'e veri yükleme

Azure Data Factory veya Azure Synapse çalışma alanının giriş sayfasında Veri Kopyalama aracını başlatmak için Alma kutucuğunu seçin. Ardından Yerleşik kopyalama görevini seçin.
Özellikler sayfasında, Görev türü altında Yerleşik kopyalama görevi'ni ve ardından İleri'yi seçin.
Kaynak veri deposu sayfasında aşağıdaki adımları tamamlayın:

İpucu

Bu öğreticide, kaynak veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanırsınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik. Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.
1. + Yeni bağlantı'yı seçin.
2. Galeriden Azure SQL Veritabanı seçin ve Devam'ı seçin. Bağlayıcıları filtrelemek için arama kutusuna "SQL" yazabilirsiniz.
3. Yeni bağlantı (Azure SQL Veritabanı) sayfasında, açılan listeden sunucu adınızı ve veritabanı adınızı seçin ve kullanıcı adı ile parolayı belirtin. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.
4. Kaynak veri deposu sayfasında, Bağlantı bölümünde yeni oluşturulan bağlantıyı kaynak olarak seçin.
5. Kaynak tablolar bölümünde SalesLT girerek tabloları filtreleyin. Kopyanın tüm tablolarını kullanmak için (Tümünü seç) kutusunu seçin ve ardından İleri'yi seçin.
Filtre uygula sayfasında ayarlarınızı belirtin veya İleri'yi seçin. Bu sayfadaki Verileri önizle düğmesini seçerek verileri önizleyebilir ve giriş verilerinin şemasını görüntüleyebilirsiniz.
Hedef veri deposu sayfasında aşağıdaki adımları tamamlayın:

İpucu

Bu öğreticide, hedef veri deponuzun kimlik doğrulama türü olarak SQL kimlik doğrulamasını kullanırsınız, ancak desteklenen diğer kimlik doğrulama yöntemlerini seçebilirsiniz: Gerekirse Hizmet Sorumlusu ve Yönetilen Kimlik. Ayrıntılar için bu makaledeki ilgili bölümlere bakın. Veri depolarının gizli dizilerini güvenli bir şekilde depolamak için Azure Key Vault kullanılması da önerilir. Ayrıntılı çizimler için bu makaleye bakın.
1. Bağlantı eklemek için + Yeni bağlantı'ya tıklayın.
2. Galeriden Azure Synapse Analytics'i ve ardından Devam'ı seçin.
3. Yeni bağlantı (Azure Synapse Analytics) sayfasında açılan listeden sunucu adınızı ve veritabanı adınızı seçin ve kullanıcı adı ile parolayı belirtin. Ayarları doğrulamak için Bağlantıyı test et'i ve ardından Oluştur'u seçin.
4. Hedef veri deposu sayfasında, Bağlantı bölümünde yeni oluşturulan bağlantıyı havuz olarak seçin.
Tablo eşleme bölümünde içeriği gözden geçirin ve İleri'yi seçin. Akıllı tablo eşlemesi görüntülenir. Kaynak tablolar, tablo adlarına göre hedef tablolara eşlenir. Hedefte bir kaynak tablo yoksa, hizmet varsayılan olarak aynı ada sahip bir hedef tablo oluşturur. Bir kaynak tabloyu var olan bir hedef tabloyla da eşleyebilirsiniz.
Sütun eşleme sayfasında içeriği gözden geçirin ve İleri'yi seçin. Akıllı tablo eşlemesi sütun adını temel alır. Hizmetin tabloları otomatik olarak oluşturmasına izin verirseniz, kaynak ve hedef depolar arasında uyumsuzluklar olduğunda veri türü dönüştürmesi gerçekleşebilir. Kaynak ve hedef sütun arasında desteklenmeyen bir veri türü dönüştürmesi varsa, ilgili tablonun yanında bir hata iletisi görürsünüz.
Ayarlar sayfasında aşağıdaki adımları tamamlayın:
1. Görev adı alanı için CopyFromSQLToSQLDW değerini belirtin.
2. Hazırlama ayarları bölümünde + Yeni'yi seçerek yeni bir hazırlama depolama alanı seçin. Depolama, PolyBase kullanılarak Azure Synapse Analytics'e yüklenmeden önce verileri hazırlamada kullanılır. Kopyalama tamamlandıktan sonra, Azure Blob Depolama'daki ara veriler otomatik olarak temizlenir.
3. Yeni bağlı hizmet sayfasında depolama hesabınızı seçin ve bağlı hizmeti dağıtmak için Oluştur'u seçin.
4. Varsayılan tür kullan seçeneğinin seçimini kaldırın ve İleri'yi seçin.
Özet sayfasında ayarları gözden geçirin ve İleri'yi seçin.
Dağıtım sayfasında, işlem hattını (görev) izlemek için İzleyici’yi seçin.
Soldaki İzleyici sekmesinin otomatik olarak seçildiğine dikkat edin. İşlem hattı çalıştırması başarıyla tamamlandığında, etkinlik çalıştırması ayrıntılarını görüntülemek veya işlem hattını yeniden çalıştırmak için İşlem hattı adı sütununun altındaki CopyFromSQLToSQLDW bağlantısını seçin.
- Azure Data Factory
- Azure Synapse

İşlem hattı çalıştırmaları görünümüne geri dönmek için üstteki Tüm işlem hattı çalıştırmaları bağlantısını seçin. Listeyi yenilemek için Yenile’yi seçin.
Her kopyalama etkinliğinin yürütme ayrıntılarını izlemek için etkinlik çalıştırmaları görünümünde Etkinlik adı'nın altındaki Ayrıntılar bağlantısını (gözlük simgesi) seçin. Kaynaktan havuza kopyalanan veri hacmi, veri aktarım hızı, ilgili süreye sahip yürütme adımları ve kullanılan yapılandırmalar gibi ayrıntıları izleyebilirsiniz.