Synapse Notebook çalıştırarak verileri dönüştürme

GEÇERLİDİR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

İşlem hattındaki Azure Synapse Notebook Etkinliği, Azure Synapse Analytics çalışma alanınızda bir Synapse not defteri çalıştırır. Bu makale , veri dönüştürme ve desteklenen dönüştürme etkinliklerine genel bir genel bakış sunan veri dönüştürme etkinlikleri makalesini oluşturur.

Azure Synapse Analytics not defteri etkinliğini doğrudan Azure Data Factory Studio kullanıcı arabirimi aracılığıyla oluşturabilirsiniz. Synapse not defteri etkinliğini kullanıcı arabirimini kullanarak adım adım oluşturmak için aşağıdakilere başvurabilirsiniz.

Kullanıcı arabirimiyle bir işlem hattına Synapse için Not Defteri etkinliği ekleme

İşlem hattında Synapse için Not Defteri etkinliğini kullanmak için aşağıdaki adımları tamamlayın:

Genel ayarlar

  1. İşlem hattı Etkinlikleri bölmesinde Not Defteri'ni arayın ve Synapse'in altındaki not defteri etkinliğini işlem hattı tuvaline sürükleyin.
  2. Henüz seçili değilse tuvaldeki yeni Not Defteri etkinliğini seçin.
  3. Genel ayarlarına Ad için örnek girin.
  4. (Seçenek) Ayrıca bir açıklama da girebilirsiniz.
  5. Zaman aşımı: Bir etkinliğin çalıştırabileceği maksimum süre. Varsayılan değer 12 saattir ve izin verilen en fazla süre 7 gündür. Biçim D.HH:MM:SS biçimindedir.
  6. Yeniden Deneme: En fazla yeniden deneme denemesi sayısı.
  7. Yeniden deneme aralığı (sn): Her yeniden deneme girişimi arasındaki saniye sayısı.
  8. Güvenli çıkış: İşaretlendiğinde etkinlik çıktısı günlük kayıtta yakalanmaz.
  9. Güvenli giriş: İşaretlendiğinde, etkinlik girdisi günlükte kaydedilmez.

Azure Synapse Analytics (Artifacts) ayarları

Not Defteri etkinliğini yürütecek yeni bir Azure Synapse Analytics bağlı hizmeti seçmek veya oluşturmak için Azure Synapse Analytics (Yapıtlar) sekmesini seçin.

Not Defteri etkinliğinin bağlı hizmet sekmesinin ekran görüntüsü.

Ayarlar sekmesi

  1. Henüz seçili değilse tuvaldeki yeni Synapse Notebook etkinliğini seçin.

  2. Ayarlar sekmesini seçin.

  3. Not Defteri listesini genişlettiğinizde, bağlı Azure Synapse Analytics'te (Yapıtlar) var olan bir not defterini seçebilirsiniz.

  4. Seçili not defterinin bulunduğu bağlı hizmetin sayfasını açmak için Aç düğmesine tıklayın.

Not

Bağlı hizmetteki Çalışma Alanı kaynak kimliği boşsa Aç düğmesi devre dışı bırakılır.

Aç düğmesinin devre dışı bırakıldığında ekran görüntüsü.

  1. Ayarlar sekmesini seçin ve not defterini ve not defterine geçirmek için isteğe bağlı temel parametreleri seçin.

    Not Defteri etkinliğinin Ayarlar sekmesinin ekran görüntüsü.

  2. (İsteğe bağlı) Synapse not defteri bilgilerini doldurabilirsiniz. Aşağıdaki ayarlar boşsa, Synapse not defterinin kendisi çalıştırmak için kullanılır; aşağıdaki ayarlar boş değilse, bu ayarlar Synapse not defterinin ayarlarının yerini alır.

    Özellik Açıklama
    Spark havuzu Spark havuzuna referans. Listeden Apache Spark havuzunu seçebilirsiniz.
    Çalıştırıcı boyutu Oturum için belirtilen Apache Spark havuzunda ayrılan yürütücüler için kullanılacak çekirdek ve bellek sayısı. Dinamik içerik için geçerli değerler Küçük/Orta/Büyük/XLarge/XXLarge'dir.
    Yürütücüleri dinamik olarak ayırma Bu ayar, Spark yapılandırmasındaki dinamik kaynak ayırma özelliğine, Spark Uygulaması yürütücüleri ayırma için karşılık gelir.
    Minimum yürütücüler İş için belirtilen Spark havuzunda tahsis edilecek en az yürütücü sayısı.
    En fazla yürütücü Belirtilen Spark havuzunda iş için ayrılacak yürütücü sayısının en fazla değeridir.
    Sürücü boyutu İş için belirtilen Apache Spark havuzunda verilen sürücü için kullanılacak çekirdek ve bellek sayısı.

Azure Synapse Analytics Not Defteri etkinlik tanımı

Azure Synapse Analytics Not Defteri Etkinliğinin örnek JSON tanımı aşağıda verilmiştir:

{
    "activities": [
            {
                "name": "demo",
                "description": "description",
                "type": "SynapseNotebook",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [
                    {
                        "name": "testproperties",
                        "value": "test123"
                    }
                ],
                "typeProperties": {
                    "notebook": {
                        "referenceName": {
                            "value": "Notebookname",
                            "type": "Expression"
                        },
                        "type": "NotebookReference"
                    },
                    "parameters": {
                        "test": {
                            "value": "testvalue",
                            "type": "string"
                        }
                    },
                    "snapshot": true,
                    "sparkPool": {
                        "referenceName": {
                            "value": "SampleSpark",
                            "type": "Expression"
                        },
                        "type": "BigDataPoolReference"
                    }
                },
                "linkedServiceName": {
                    "referenceName": "AzureSynapseArtifacts1",
                    "type": "LinkedServiceReference"
                }
            }
        ]
    }

Azure Synapse Analytics Not Defteri etkinlik özellikleri

Aşağıdaki tabloda JSON tanımında kullanılan JSON özellikleri açıklanmaktadır:

Özellik Açıklama Gerekli
Adı İşlem hattındaki etkinliğin adı. Yes
açıklama Etkinliğin ne yaptığını açıklayan metin. Hayır
Tip Azure Synapse Analytics Not Defteri Etkinliği için etkinlik türü SynapseNotebook'tır. Yes
dizüstü bilgisayar Azure Synapse Analytics'te çalıştırılacak not defterinin adı. Yes
sparkPool Azure Synapse Analytics Not Defteri'ni çalıştırmak için gereken spark havuzu. Hayır
parametre Azure Synapse Analytics Not Defteri'ni çalıştırmak için gereken parametre. Daha fazla bilgi için bkz. Synapse not defterini çalıştırarak verileri dönüştürme Hayır

Parametre hücresi belirleme

Azure Data Factory parametreler hücresini arar ve yürütme zamanında geçirilen parametreler için varsayılan olarak değerleri kullanır. Yürütme altyapısı, varsayılan değerlerin üzerine yazmak için giriş parametreleriyle parametreler hücresinin altına yeni bir hücre ekler. Synapse not defteri çalıştırarak verileri dönüştürme bölümüne başvurabilirsiniz.

Synapse notebook hücresi çıkış değerini okuma

Etkinlikte not defteri hücresinin çıktı değerini okuyabilirsiniz, bu konu hakkında daha fazla bilgi için Synapse not defterini çalıştırarak verileri dönüştürme konusuna başvurabilirsiniz.

Başka bir Synapse not defteri çalıştırma

Synapse not defteri etkinliğindeki diğer not defterlerine başvurmak için %run magic veya mssparkutils not defteri yardımcı programlarını çağırabilirsiniz. Her ikisi de iç içe işlev çağrılarını destekler. Senaryonuza göre göz önünde bulundurmanız gereken bu iki yöntemin temel farklılıkları şunlardır:

  • %run magic, atıfta bulunulan not defterindeki tüm hücreleri %run hücresine kopyalar ve değişken bağlamını da paylaşır. Notebook1, %run notebook2 ile Notebook2'ye referans verirken ve Notebook2, bir mssparkutils.notebook.exit işlevini çağırdığında, Notebook1'deki hücre yürütmesi durdurulacaktır. Not defteri dosyasını "eklemek" istediğinizde %run magic kullanmanızı öneririz.
  • mssparkutils not defteri yardımcı programları , başvuruda bulunan not defterini bir yöntem veya işlev olarak çağırır. Değişken bağlamı paylaşılmıyor. Defter1, defter2'ye mssparkutils.notebook.run("notebook2") aracılığıyla referans verdiğinde ve defter2 bir mssparkutils.notebook.exit fonksiyonunu çağırdığında, defter1'deki yürütme devam eder. Not defterini "içeri aktarmak" istediğinizde mssparkutils not defteri yardımcı programlarını kullanmanızı öneririz.

Azure Synapse Analytics Notebook etkinlik çalıştırma geçmişine bakın

İzleyici sekmesinin altındaki İşlem hattı çalıştırmaları'na gidin, tetiklediğiniz işlem hattını görürsünüz. Çalıştırma geçmişini görmek için not defteri etkinliğini içeren işlem hattını açın.

Not Defteri etkinliği için giriş ve çıkışın ekran görüntüsü.

Açık defter anlık görüntüsü için bu özellik şu anda desteklenmemektedir.

Giriş veya Çıkış düğmesini seçerek not defteri etkinlik girişini veya çıkışını görebilirsiniz. İşlem hattınız bir kullanıcı hatasıyla başarısız olduysa, ayrıntılı kullanıcı hatası izlemesini görmek için sonuç alanını gözden geçirmek üzere çıkış verisini seçin.

Not Defteri etkinliği için çıkış kullanıcı hatasının ekran görüntüsü.