Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
GEÇERLİDİR:
Azure Data Factory Azure Synapse Analytics
İpucu
Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!
Bu öğreticide, Azure portalını kullanarak Databricks işleri kümesi üzerinde çalışan bir Databricks notebook'u yürüten bir Azure Data Factory işlem hattı oluşturursunuz. Bu işlem ayrıca yürütme sırasında Databricks not defterine Azure Data Factory parametrelerini geçirir.
Bu öğreticide aşağıdaki adımları gerçekleştireceksiniz:
Veri fabrikası oluşturma.
Databricks Not Defteri Etkinliği’ni kullanan bir işlem hattı oluşturun.
İşlem hattını tetikleyin.
İşlem hattı çalışmasını izle.
Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Not
Kitaplıkları kullanma ve giriş ve çıkış parametrelerini geçirme de dahil olmak üzere Databricks Not Defteri Etkinliği'ni kullanma hakkında ayrıntılı bilgi için Databricks Not Defteri Etkinliği belgelerine bakın.
- Azure Databricks çalışma alanı. Bir Databricks çalışma alanı oluşturun veya var olanı kullanın. Azure Databricks çalışma alanınızda bir Python not defteri oluşturun. Ardından, not defterini yürütün ve Azure Data Factory kullanarak parametreleri not defterine geçirin.
Microsoft Edge veya Google Chrome web tarayıcısını açın. Şu anda Data Factory kullanıcı arabirimi yalnızca Microsoft Edge ve Google Chrome web tarayıcılarında desteklenmektedir.
Azure portalı menüsünde Kaynak oluştur'u ve ardından Analytics>Data Factory'yi seçin:
Data Factory Oluştur sayfasındaki Temel Bilgiler sekmesinde, veri fabrikasını oluşturmak istediğiniz Azure Aboneliğinizi seçin.
Kaynak Grubu için aşağıdaki adımlardan birini uygulayın:
Açılan listeden mevcut bir kaynak grubunu seçin.
Yeni oluştur'u seçin ve yeni bir kaynak grubunun adını girin.
Kaynak grupları hakkında daha fazla bilgi için bkz. Azure kaynaklarınızı yönetmek için kaynak gruplarını kullanma.
Bölge için veri fabrikasının konumunu seçin.
Listede yalnızca Data Factory tarafından desteklenen ve Azure Data Factory meta verilerinizin depolanacağı konumlar gösterilir. Data Factory'nin kullandığı ilişkili veri depoları (Azure Depolama ve Azure SQL Veritabanı gibi) ve hesaplamalar (Azure HDInsight gibi) diğer bölgelerde çalıştırılabilir.
Ad alanına ADFTutorialDataFactory girin.
Azure data factory adı küresel olarak benzersiz olmalıdır. Aşağıdaki hatayı görürseniz, veri fabrikasının adını değiştirin (Örneğin, ADFTutorialDataFactory>). Data Factory yapıtlarının adlandırma kuralları için Data Factory - adlandırma kuralları makalesini inceleyin.
Sürüm bölümünde V2'yi seçin.
İleri: Git yapılandırması seçeneğine tıklayın, ardından Git’i daha sonra yapılandır onay kutusunu seçin.
Gözden geçir + oluştur'u ve doğrulama geçirildikten sonra Oluştur'u seçin.
Oluşturma işlemi tamamlandıktan sonra Data Factory sayfasına gitmek için Kaynağa git'i seçin. Azure Data Factory kullanıcı arabirimi (UI) uygulamasını ayrı bir tarayıcı sekmesinde başlatmak için Azure Data Factory Studio'yu Aç kutucuğunu seçin.
Bu bölümde bir Databricks bağlantılı hizmet oluşturacaksınız. Bu bağlı hizmet, Databricks kümesine bağlantı bilgilerini içerir:
Giriş sayfasında, sol paneldeki Yönet sekmesine geçin.
Bağlantılar'ın altında Bağlı hizmetler'i ve ardından + Yeni'yi seçin.
Yeni bağlı hizmet penceresinde İşlem>Azure Databricks'i seçin ve ardından Devam düğmesine tıklayın.
Yeni bağlı hizmet penceresinde aşağıdaki adımları tamamlayın:
Ad alanına AzureDatabricks_LinkedService girin.
Not defterinizi çalıştırabileceğiniz uygun Databricks çalışma alanını seçin.
Küme seçimi için Yeni iş kümesi'ni seçin.
Databricks Çalışma Alanı URL'si için bilgiler otomatik olarak doldurulmalıdır.
Kimlik doğrulama türü için Erişim Belirteci'ni seçerseniz Azure Databricks çalışma alanından oluşturun. Adımları burada bulabilirsiniz. Yönetilen hizmet kimliği ve Kullanıcı Tarafından Atanan Yönetilen Kimlik için, Azure Databricks kaynağının Erişim denetimi menüsünde her iki kimlik için de Katkıda Bulunan rolü verin.
Küme sürümü için kullanmak istediğiniz sürümü seçin.
Küme düğümü türü için, bu öğreticide Genel Amaçlı (HDD) kategorisinde Standard_D3_v2 seçin.
Çalışanlar alanına 2 yazın.
Oluştur'u belirleyin.
+ (artı) düğmesini seçin ve ardından menüden İşlem Hattı'nı seçin.
İşlem hattı içinde kullanılacak bir parametre oluşturun. Daha sonra bu parametreyi Databricks Not Defteri Etkinliği’ne geçireceksiniz. Boş işlem hattında Parametreler sekmesini seçin, ardından + Yeni'yi seçin ve bunu 'ad' olarak adlandırın.
Etkinlikler araç kutusunda Databricks’i genişletin. Etkinlikler araç kutusundan Not Defteri etkinliğini işlem hattı tasarım yüzeyine sürükleyin.
En alttaki Databricks Not Defteri etkinlik penceresinin özelliklerinde aşağıdaki adımları tamamlayın:
Azure Databricks sekmesine geçin.
AzureDatabricks_LinkedService (önceki yordamda oluşturduğunuz) seçin.
Ayarlar sekmesine geçin.
Tarayarak bir Databricks Not Defteri yolu seçin. Şimdi bir not defteri oluşturup burada yolunu belirtelim. Sonraki birkaç adımı izleyerek Not Defteri Yolunu alın.
Azure Databricks Çalışma Alanınızı başlatın.
Çalışma Alanında Yeni Klasör oluşturun ve adftutorial olarak adlandırın.
Yeni bir not defteri oluşturun, bunu mynotebook olarak adlandıralım. adftutorial Klasörüne sağ tıklayın ve Oluştur'u seçin.
Yeni oluşturulan "mynotebook" adlı not defterine aşağıdaki kodu ekleyin:
# Creating widgets for leveraging parameters, and printing the parameters dbutils.widgets.text("input", "","") y = dbutils.widgets.get("input") print ("Param -\'input':") print (y)Bu örnekte Not Defteri Yolu /adftutorial/mynotebook şeklindedir.
Data Factory UI yazma aracına geri dönün. Not Defteri1 etkinliğinin altındaki Ayarlar Sekmesine gidin.
a. Not Defteri etkinliğine bir parametre ekleyin. Daha önce işlem hattına eklediğiniz parametrenin aynısını kullanın.
b. Parametreyi giriş olarak adlandırın ve değeri @pipeline().parameters.name ifadesi olarak sağlayın.
İşlem hattını doğrulamak için araç çubuğundaki Doğrula düğmesini seçin. Doğrulama penceresini kapatmak için Kapat düğmesini seçin.
Tümünü yayımla'yı seçin. Data Factory kullanıcı arabirimi, varlıkları (bağlı hizmetler ve işlem hattı) Azure Data Factory hizmetinde yayımlar.
Araç çubuğunda Tetikleyici ekle'yi seçin ve ardından Şimdi tetikle'yi seçin.
Boruhattı çalıştırma iletişim kutusu adı parametresini ister. Burada parametre olarak /path/filename seçeneğini kullanın. Tamam'ı seçin.
İzleyici sekmesine geçin. İşlem hattı çalıştırması gördüğünüzden emin olun. Not defterinin yürütüldüğü bir Databricks iş kümesinin oluşturulması yaklaşık 5-8 dakika sürer.
Belirli aralıklarla Yenile'ye tıklayarak işlem hattı yürütme durumunu kontrol edin.
İşlem hattı çalıştırmasıyla ilişkili etkinlik çalıştırmalarını görmek için İşlem hattı adı sütununda pipeline1 bağlantısını seçin.
Etkinlik çalıştırmaları sayfasında Etkinlik adı sütununda Çıkış'ı seçerek her etkinliğin çıkışını görüntüleyin ve daha ayrıntılı Spark günlükleri için Databricks günlüklerinin bağlantısını Çıktı bölmesinde bulabilirsiniz.
Üstteki içerik haritası menüsündeki Tüm işlem hattı çalıştırmaları bağlantısını seçerek işlem hattı çalıştırmaları görünümüne geri dönebilirsiniz.
Azure Databricks çalışma alanında oturum açabilir, İş Çalıştırmaları'na gidebilir ve İş durumunu yürütme bekliyor, çalışıyor veya sonlandırıldı olarak görebilirsiniz.
İş adını seçebilir ve diğer ayrıntıları görmek için gidebilirsiniz. Çalıştırma başarılı olduğunda, geçirilen parametreleri ve Python not defterinin çıktısını doğrulayabilirsiniz.
Bu örnekteki işlem hattı bir Databricks Not Defteri etkinliğini tetikler ve ona bir parametre gönderir. Şunları öğrendiniz:
Veri fabrikası oluşturma.
Databricks Not Defteri etkinliğini kullanan bir işlem hattı oluşturun.
İşlem hattını tetikleyin.
İşlem hattı çalıştırmasını izleme.