Databricks işini çalıştırarak verileri dönüştürme

ŞUNLARA UYGULANIR: Azure Data Factory Azure Synapse Analytics

Tavsiye

Microsoft Fabric'daki Data Factory, daha basit bir mimariye, yerleşik yapay zekaya ve yeni özelliklere sahip yeni nesil Azure Data Factory. Veri tümleştirmeyi yeni kullanmaya başladıysanız Fabric Data Factory ile başlayın. Mevcut ADF iş yükleri veri bilimi, gerçek zamanlı analiz ve raporlama genelinde yeni özelliklere erişmek için Fabric yükseltebilir.

pipeline içindeki Azure Databricks İş Etkinliği, sunucusuz işler de dahil olmak üzere Databricks işlerini Azure Databricks çalışma alanınızda çalıştırır. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur. Azure Databricks, Apache Spark çalıştırmaya yönelik yönetilen bir platformdur.

Databricks işini doğrudan Azure Data Factory Studio kullanıcı arabirimi aracılığıyla oluşturabilirsiniz.

Azure Databricks için bir İş etkinliğini, kullanıcı arabirimi kullanarak bir işlem hattına ekleme

İşlem hattında Azure Databricks için İş etkinliği kullanmak için aşağıdaki adımları tamamlayın:

  1. İşlem hattı Etkinlikleri bölmesinde İş'i arayın ve bir İş etkinliğini işlem hattı tuvaline sürükleyin.

  2. Henüz seçili değilse tuvaldeki yeni İş etkinliğini seçin.

  3. Yeni bir Azure Databricks bağlı hizmeti seçmek veya oluşturmak için Azure Databricks sekmesini seçin.

    Uyarı

    Azure Databricks İşi etkinliği sunucusuz kümelerde otomatik olarak çalıştırıldığından bağlı hizmet yapılandırmanızda küme belirtmeniz gerekmez. Bunun yerine Sunucusuz seçeneğini belirleyin.

    İş etkinliği kullanıcı arabiriminin ekran görüntüsü; Azure Databricks sekmesi vurgulanmış.

  4. Settings sekmesini seçin ve Azure Databricks yürütülecek işi, işe geçirilecek isteğe bağlı temel parametreleri ve işi yürütmek için kümeye yüklenecek diğer kitaplıkları belirtin.

    Ayarlar sekmesinin vurgulandığı bir İş etkinliğinin kullanıcı arabiriminin ekran görüntüsü.

Databricks İş etkinliği tanımı

Databricks İş Etkinliğinin örnek JSON tanımı aşağıda verilmiştir:

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Databricks İş etkinliği özellikleri

Aşağıdaki tabloda JSON tanımında kullanılan JSON özellikleri açıklanmaktadır:

Mülkiyet Açıklama Gerekli
isim İşlem hattındaki etkinliğin adı. Evet
Açıklama Etkinliğin ne yaptığını açıklayan metin. Hayı
tür Databricks İş Etkinliği için etkinlik türü DatabricksJob'tır. Evet
BağlıServisAdı Databricks işinin gerçekleştirildiği Databricks Bağlı Hizmeti'nin adı. Bu bağlı hizmet hakkında bilgi edinmek için bkz. Bağlı hizmetleri hesaplama makalesi. Evet
jobId Databricks Çalışma Alanında çalıştırılacak işin kimliği. Evet
işParametreleri Anahtar-Değer çiftleri dizisi. Her bir etkinliğin çalıştırılması için iş parametreleri kullanılabilir. İş belirtilmemiş bir parametre alırsa, işten gelen varsayılan değer kullanılır. Databricks İşleri'nde parametreler hakkında daha fazla bilgi edinin. Hayı

Görevler ve işlem hatları arasında parametre geçirme

Databricks etkinliğinde jobParameters özelliğini kullanarak işlere parametre geçirebilirsiniz.

Uyarı

İş parametreleri yalnızca Kendi sunucusunda barındırılan IR sürüm 5.52.0.0 veya üzeri sürümlerde desteklenir.

  • Last updated on