Veri fabrikası bileşenlerine parametre ekleme
Azure Data Factory'de bağlı hizmetleri parametreleştirme
Azure Data Factory'de, çalışma zamanında dinamik değerleri geçirebileceğiniz bağlı bir hizmeti parametreleştirmek mümkündür. Bu senaryo için bir kullanım örneği, bağlı hizmet tanımında veritabanı adını parametreleştirmeyi düşünebileceğiniz, aynı SQL sunucusundaki birkaç farklı veritabanına bağlanmaktır. Bunu yapmanın avantajı, aynı SQL Server'da bulunan her veritabanı için tek bir bağlı hizmet oluşturmanız gerekmediğindendir.
Bağlı hizmetin diğer özelliklerini kullanıcı adı gibi parametrelendirmek de mümkündür.
Azure Data Factory'de bağlı hizmetleri parametreleştirmeye karar verirseniz, bunu Azure Data Factory kullanıcı arabiriminde, Azure portalında veya tercih ettiğiniz bir programlama arabiriminde yapabilirsiniz.
Bağlı hizmeti kullanıcı arabirimi aracılığıyla yazmayı seçerseniz, Data Factory bazı bağlayıcılar için yerleşik parametreleştirme sağlayabilir:
- Amazon Redshift
- Azure Cosmos DB (SQL API)
- MySQL için Azure Veritabanı
- Azure SQL Veritabanı
- Azure Synapse Analytics (eski adı SQL DW)
- MySQL
- Oracle
- SQL Server
- Genel HTTP
- Genel REST
Bağlı hizmetin oluşturma/düzenleme dikey penceresine giderseniz parametreleştirme seçeneklerini bulursunuz.
Farklı bir bağlayıcı türü kullandığınız için yerleşik parametreleştirmeyi kullanamıyorsanız, JSON'ı kullanıcı arabirimi aracılığıyla düzenleyebilirsiniz.
Bağlı hizmet oluşturma/düzenleme bölmesinde, bölmenin alt kısmındaki Gelişmiş'i genişletin, Dinamik içeriği JSON biçiminde belirtin onay kutusunu seçin ve bağlı hizmet JSON yükünü belirtin.
Veya parametreleme olmadan bağlı bir hizmet oluşturduktan sonra Yönetim hub'ında Bağlı hizmetler'i seçin ve belirli bağlı hizmeti bulun. Ardından JSON'ı düzenlemek için (Kod düğmesi) öğesini seçin {} .
Azure Data Factory’de genel parametreler
Azure Data Factory işlem hattında genel parametreleri ayarlamak, işlem hattı ifadelerinde tüketim için bu sabitleri kullanmanıza olanak tanır. Genel parametreleri ayarlamak için kullanılan bir kullanım örneği, parametre adlarının ve değerlerinin aynı olduğu birden çok işlem hattına sahip olmanızdır.
Azure Data Factory ile sürekli tümleştirme ve sürekli (CI/CD) dağıtım işlemini kullanırsanız, oluşturduğunuz her ortam için isterseniz genel parametreler geçersiz kılınabilir.
Azure Data Factory'de genel parametreler oluşturma
Genel parametre oluşturmak için Yönet bölümündeki Genel parametreler sekmesine gidin. Oluşturma yan menü bölmesini açmak için Yeni'yi seçin.
Yan menü bölmesinde bir ad girin, bir veri türü seçin ve parametrenizin değerini belirtin.
Genel parametre oluşturulduktan sonra, parametrenin adını seçerek bunu düzenleyebilirsiniz. Birden çok parametreyi birlikte değiştirmek için Tümünü düzenle'yi seçin.
İşlem hattında genel parametreleri kullanma
Azure Data Factory'de bir işlem hattında genel parametreler kullanılırken çoğunlukla işlem hattı ifadelerinde başvurulur. Örneğin, bir işlem hattı bir veri kümesi veya veri akışı gibi bir kaynağa başvuruda bulunursa, kaynak parametresi aracılığıyla genel parametre değerini geçirebilirsiniz. Azure Data Factory'deki genel parametrelerin komutu veya başvurusu şu şekilde akar: pipeline().globalParameters.<parameterName>.
CI/CD'de genel parametreler
Azure Data Factory ile CI/CD kullanarak genel parametreleri bir işlem hattıyla tümleştirdiğinizde, bunu yapmak için iki yolunuz vardır:
- Azure Resource Manager şablonuna genel parametreleri ekleme
- PowerShell betiği aracılığıyla genel parametreleri dağıtma
CI/CD uygulamalarının çoğunda Azure Resource Manager şablonuna genel parametreler eklemek yararlı olur. Genel parametrelerin Azure Resource Manager Şablonu parametresi olarak eklendiği CI/CD ile yerel tümleştirmesi nedeniyle önerilir. Bunun nedeni, üzerinde çalışılıyor olan çeşitli ortamlardaki değişikliklerdir.
Azure Resource Manager şablonunda genel parametreleri etkinleştirmek için Yönetim hub'ına gidin. Azure Resource Manager şablonuna genel parametreler ekledikten sonra, git yapılandırmaları gibi diğer ayarları geçersiz kabilen bir Azure Data Factory düzeyi ayarı eklediğini unutmayın.
PowerShell betiği aracılığıyla genel parametreleri dağıtmak için kullanılan kullanım örneği, UAT veya PROD gibi yükseltilmiş bir ortamda daha önce açıklanan ayarları etkinleştirmiş olmanız olabilir.
Eşleme veri akışlarını parametreleştirme
Azure Data Factory'de, parametreleri kullanmanızı sağlayan eşleme veri akışlarını kullanabilirsiniz. Bir veri akışı tanımı içinde parametreler ayarlarsanız, ifadelerde parametreleri kullanabilirsiniz. Parametre değerleri çağıran işlem hattı tarafından Execute Veri Akışı etkinliği aracılığıyla ayarlanır.
Veri akışı etkinlik ifadelerindeki değerleri ayarlamak için üç seçenek vardır:
- Dinamik bir değer ayarlamak için işlem hattı denetim akışı ifade dilini kullanın.
- Dinamik bir değer ayarlamak için veri akışı ifade dilini kullanın.
- Statik değişmez değer ayarlamak için iki ifade dilini kullanın.
Eşleme veri akışlarını parametreleştirmenin nedeni, veri akışlarınızın genelleştirilmiş, esnek ve yeniden kullanılabilir olduğundan emin olmaktır.
Veri akışında parametre oluşturma
Veri akışınıza parametre eklemek için veri akışı tuvalinin boş bölümünü seçerek genel özellikleri görüntüleyin.
Ayarlar bölmesinde bir Parametre sekmesi görürsünüz.
Yeni bir parametre oluşturmak için Yeni'yi seçin. Her parametre için bir ad atamanız, bir tür seçmeniz ve isteğe bağlı olarak bir varsayılan değer ayarlamanız gerekir.
Eşleme veri akışında işlem hattından parametre atama
Parametreleri ayarladığınız bir veri akışı oluşturduysanız, yürütme Veri Akışı Etkinliğini kullanarak bir işlem hattından yürütmeniz mümkündür.
Etkinliği işlem hattı tuvaline ekledikten sonra, veri akışı parametrelerini etkinliğin Parametreler sekmesinde bulabilirsiniz.
Parametre değerleri atamak, parametreleri spark türlerine göre bir işlem hattı ifade dilinde veya veri akışı ifade dilinde kullanabilmenizi sağlar. Ayrıca, işlem hattı ve veri akışı ifade parametrelerini de birleştirebilirsiniz.