Azure Data Factory veya Synapse Analytics ile Machine Learning Studio (klasik) kullanarak tahmine dayalı işlem hattı oluşturma

Makale
08/10/2023

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

İpucu

Kuruluşlar için hepsi bir arada analiz çözümü olan Microsoft Fabric'te Data Factory'yi deneyin. Microsoft Fabric , veri taşımadan veri bilimine, gerçek zamanlı analize, iş zekasına ve raporlamaya kadar her şeyi kapsar. Yeni bir deneme sürümünü ücretsiz olarak başlatmayı öğrenin!

Önemli

Azure Machine Learning Studio (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021 itibarıyla yeni Machine Learning Studio (klasik) kaynakları (çalışma alanı ve web hizmeti planı) oluşturamazsınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Studio (klasik) denemelerini ve web hizmetlerini kullanmaya devam edebilirsiniz. Daha fazla bilgi için bkz.

Machine Learning Studio (klasik) belgeleri kullanımdan kaldırılıyor ve gelecekte güncelleştirilmeyebilir.

Not

Machine Learning Studio (klasik) kaynakları artık 1 Aralık 2021'den sonra oluşturulabildiğinden, kullanıcıların Machine Learning Studio (klasik) toplu işlemlerini yürütmek için Toplu Yürütme etkinliğini kullanmak yerine Azure Machine Learning'i Machine Learning İşlem Hattı Yürütme etkinliğiyle kullanmaları tavsiye edilir.

ML Studio (klasik), tahmine dayalı analiz çözümleri oluşturmanıza, test etmenize ve dağıtmanıza olanak tanır. Üst düzey bir bakış açısından, üç adımda yapılır:

Eğitim denemesi oluşturma. Bu adımı ML Studio (klasik) kullanarak yaparsınız. ML Studio (klasik), eğitim verilerini kullanarak tahmine dayalı analiz modelini eğitmek ve test etmek için kullandığınız işbirliğine dayalı bir görsel geliştirme ortamıdır.
Bunu tahmine dayalı bir denemeye dönüştürün. Modeliniz mevcut verilerle eğitildikten ve yeni verileri puanlama amacıyla kullanmaya hazır olduğunuzda, denemenizi puanlama için hazırlar ve kolaylaştırırsınız.
Web hizmeti olarak dağıtın. Puanlama denemenizi azure web hizmeti olarak yayımlayabilirsiniz. Bu web hizmeti uç noktası aracılığıyla modelinize veri gönderebilir ve modelden sonuç tahminleri alabilirsiniz.

Azure Data Factory veya Synapse Analytics ile Machine Learning Studio'yu (klasik) kullanma

Azure Data Factory ve Synapse Analytics, tahmine dayalı analiz için yayımlanmış bir Machine Learning Studio (klasik) web hizmetini kullanan işlem hatlarını kolayca oluşturmanıza olanak tanır. İşlem hattında Batch Yürütme Etkinliği'ni kullanarak, toplu verilerle ilgili tahminlerde bulunmak için Machine Learning Studio (klasik) web hizmetini çağırabilirsiniz.

Zaman içinde Machine Learning Studio (klasik) puanlama denemelerindeki tahmine dayalı modellerin yeni giriş veri kümeleri kullanılarak yeniden eğitilmesi gerekir. Aşağıdaki adımları uygulayarak bir modeli işlem hattından yeniden eğitebilirsiniz:

Eğitim denemesini (tahmine dayalı deneme değil) bir web hizmeti olarak yayımlayın. Bu adımı ML Studio'da (klasik) önceki senaryoda tahmine dayalı denemeyi web hizmeti olarak kullanıma sunmada yaptığınız gibi yaparsınız.
Eğitim denemesi için web hizmetini çağırmak için ML Studio (klasik) Toplu Yürütme Etkinliği'ni kullanın. Temel olarak, hem eğitim web hizmetini hem de puanlama web hizmetini çağırmak için ML Studio (klasik) Batch Execution etkinliğini kullanabilirsiniz.

Yeniden eğitme işlemini tamamladıktan sonra, ML Studio (klasik) Kaynak Güncelleştirme Etkinliğini kullanarak puanlama web hizmetini (web hizmeti olarak kullanıma sunulan tahmine dayalı deneme) yeni eğitilen modelle güncelleştirin. Ayrıntılar için Kaynak Etkinliğini Güncelleştirme kullanarak modelleri güncelleştirme makalesine bakın.

ML Studio (klasik) bağlı hizmeti

Machine Learning Studio (klasik) Web Hizmetini bağlamak için bir Machine Learning Studio (klasik) bağlı hizmeti oluşturursunuz. Bağlı Hizmet, Machine Learning Studio (klasik) Toplu Yürütme Etkinliği ve Kaynak Etkinliğini Güncelleştir tarafından kullanılır.

{
    "type" : "linkedServices",
    "name": "AzureMLLinkedService",
    "properties": {
        "type": "AzureML",
        "typeProperties": {
            "mlEndpoint": "URL to Azure ML Predictive Web Service",
            "apiKey": {
                "type": "SecureString",
                "value": "api key"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

JSON tanımındaki özellikler hakkında açıklamalar için bkz . İşlem bağlantılı hizmetler makalesi.

Machine Learning Studio (klasik), tahmine dayalı denemeniz için hem Klasik Web Hizmetleri'ni hem de Yeni Web Hizmetleri'ni destekler. Data Factory veya Synapse çalışma alanınızdan kullanılacak doğru olanı seçebilirsiniz. Machine Learning Studio (klasik) Bağlı Hizmeti oluşturmak için gereken bilgileri almak için, tüm (yeni) Web Hizmetlerinizin ve Klasik Web Hizmetlerinizin listelendiği adresine gidin https://services.azureml.net. Erişmek istediğiniz Web Hizmeti'ne ve ardından Tüket sayfasına tıklayın. apiKey özelliği için Birincil Anahtarı ve mlEndpoint özelliği için Batch İsteklerini kopyalayın.

ML Studio (classic) Web Services

ML Studio (klasik) Toplu Yürütme etkinliği

Aşağıdaki JSON kod parçacığı bir ML Studio (klasik) Toplu Yürütme etkinliğini tanımlar. Etkinlik tanımında daha önce oluşturduğunuz ML Studio (klasik) bağlı hizmetine bir başvuru vardır.

{
    "name": "AzureMLExecutionActivityTemplate",
    "description": "description",
    "type": "AzureMLBatchExecution",
    "linkedServiceName": {
        "referenceName": "AzureMLLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "webServiceInputs": {
            "<web service input name 1>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path1"
            },
            "<web service input name 2>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path2"
            }
        },
        "webServiceOutputs": {
            "<web service output name 1>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path3"
            },
            "<web service output name 2>": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"path4"
            }
        },
        "globalParameters": {
            "<Parameter 1 Name>": "<parameter value>",
            "<parameter 2 name>": "<parameter 2 value>"
        }
    }
}

Özellik	Açıklama	Gerekli
Adı	İşlem hattındaki etkinliğin adı	Yes
açıklama	Etkinliğin ne yaptığını açıklayan metin.	Hayır
Tür	Data Lake Analytics U-SQL etkinliği için etkinlik türü AzureMLBatchExecution'dır.	Yes
linkedServiceName	ML Studio (klasik) Bağlı Hizmetine Bağlı Hizmetler. Bu bağlı hizmet hakkında bilgi edinmek için bkz . Bağlı hizmetleri hesaplama makalesi.	Yes
webServiceInputs	Anahtar, Değer çiftleri, ML Studio (klasik) Web Hizmeti Girişlerinin adlarını eşleme. Anahtar, yayımlanan ML Studio (klasik) Web Hizmeti'nde tanımlanan giriş parametreleriyle eşleşmelidir. Değer, giriş Blob konumlarını belirten bir Azure Depolama Bağlı Hizmetler ve FilePath özellikleri çiftidir.	Hayır
webServiceOutputs	Anahtar, Değer çiftleri, ML Studio (klasik) Web Hizmeti Çıkışlarının adlarını eşleme. Anahtar, yayımlanan ML Studio (klasik) Web Hizmeti'nde tanımlanan çıkış parametreleriyle eşleşmelidir. Değer, çıktı Blob konumlarını belirten bir Azure Depolama Bağlı Hizmetler ve FilePath özellikleri çiftidir.	Hayır
globalParameters	ANAHTAR, ML Studio (klasik) Toplu Yürütme Hizmeti uç noktasına geçirilecek değer çiftleri. Anahtarların yayımlanan ML Studio (klasik) web hizmetinde tanımlanan web hizmeti parametrelerinin adlarıyla eşleşmesi gerekir. Değerler ML Studio (klasik) toplu yürütme isteğinin GlobalParameters özelliğinde geçirilir	Hayır

Senaryo 1: Azure Blob Depolama'deki verilere başvuran Web hizmeti girişlerini/çıkışlarını kullanan denemeler

Bu senaryoda Machine Learning Studio (klasik) Web hizmeti, Azure blob depolama alanındaki bir dosyadaki verileri kullanarak tahminler yapar ve tahmin sonuçlarını blob depolama alanında depolar. Aşağıdaki JSON, AzureMLBatchExecution etkinliğine sahip bir işlem hattı tanımlar. Azure Blog Depolama giriş ve çıkış verilerine LinkedName ve FilePath çifti kullanılarak başvurulur. Örnek Bağlı Hizmet'te girişler ve çıkışlar farklıdır, hizmetin doğru dosyaları alabilmesi ve Machine Learning Studio (klasik) Web Hizmeti'ne gönderebilmesi için girişlerinizin/çıkışlarınızın her biri için farklı Bağlı Hizmetler kullanabilirsiniz.

Önemli

ML Studio (klasik) denemenizde web hizmeti giriş ve çıkış bağlantı noktaları ile genel parametrelerin özelleştirebileceğiniz varsayılan adları ("input1", "input2") vardır. webServiceInputs, webServiceOutputs ve globalParameters ayarları için kullandığınız adlar denemelerdeki adlarla tam olarak eşleşmelidir. Beklenen eşlemeyi doğrulamak için ML Studio (klasik) uç noktanızın Toplu Yürütme Yardımı sayfasında örnek istek yükünü görüntüleyebilirsiniz.

{
    "name": "AzureMLExecutionActivityTemplate",
    "description": "description",
    "type": "AzureMLBatchExecution",
    "linkedServiceName": {
        "referenceName": "AzureMLLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "webServiceInputs": {
            "input1": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest/input/in1.csv"
            },
            "input2": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService1",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest/input/in2.csv"
            }
        },
        "webServiceOutputs": {
            "outputName1": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest2/output/out1.csv"
            },
            "outputName2": {
                "LinkedServiceName":{
                    "referenceName": "AzureStorageLinkedService2",
                    "type": "LinkedServiceReference"
                },
                "FilePath":"amltest2/output/out2.csv"
            }
        }
    }
}

Senaryo 2: Çeşitli depolama alanlarındaki verilere başvurmak için Okuyucu/Yazıcı Modüllerini kullanan denemeler

ML Studio (klasik) denemeleri oluştururken sık karşılaşılan bir diğer senaryo da Verileri İçeri Aktarma ve Çıktı Verileri modüllerini kullanmaktır. Verileri İçeri Aktarma modülü bir denemeye veri yüklemek için kullanılır ve Çıkış Verileri modülü ise denemelerinizdeki verileri kaydetmektir. Veri ve Çıktı Verilerini İçeri Aktarma modülleri hakkında ayrıntılı bilgi için MSDN Kitaplığı'nda Verileri ve Çıktı Verilerini İçeri Aktarma konularına bakın .

Verileri İçeri Aktarma ve Çıktı Verileri modüllerini kullanırken, bu modüllerin her özelliği için bir Web hizmeti parametresi kullanmak iyi bir uygulamadır. Bu web parametreleri çalışma zamanı sırasında değerleri yapılandırmanızı sağlar. Örneğin, Azure SQL Veritabanı kullanan verileri içeri aktarma modülüyle bir deneme oluşturabilirsiniz: XXX.database.windows.net. Web hizmeti dağıtıldıktan sonra, web hizmeti tüketicilerinin adlı YYY.database.windows.netbaşka bir mantıksal SQL sunucusu belirtmesini sağlamak istiyorsunuz. Bu değerin yapılandırılmasına izin vermek için bir Web hizmeti parametresi kullanabilirsiniz.

Not

Web hizmeti girişi ve çıkışı, Web hizmeti parametrelerinden farklıdır. İlk senaryoda, ML Studio (klasik) Web hizmeti için giriş ve çıkışın nasıl belirtilebileceğini gördünüz. Bu senaryoda, Verileri İçeri Aktarma/Çıktı Verileri modüllerinin özelliklerine karşılık gelen bir Web hizmeti için parametreleri geçirirsiniz.

Şimdi Web hizmeti parametrelerinin kullanıldığı bir senaryoya göz atalım. ML Studio (klasik) tarafından desteklenen veri kaynaklarından birinden (örneğin: Azure SQL Veritabanı) veri okumak için okuyucu modülü kullanan dağıtılmış bir ML Studio (klasik) web hizmetiniz var. Toplu yürütme gerçekleştirildikten sonra sonuçlar bir Yazıcı modülü (Azure SQL Veritabanı) kullanılarak yazılır. Denemelerde hiçbir web hizmeti girişi ve çıkışı tanımlanmamıştır. Bu durumda, okuyucu ve yazıcı modülleri için ilgili web hizmeti parametrelerini yapılandırmanızı öneririz. Bu yapılandırma, okuyucu/yazıcı modüllerinin AzureMLBatchExecution etkinliği kullanılırken yapılandırılmasını sağlar. Etkinlik JSON'unun globalParameters bölümünde Web hizmeti parametrelerini aşağıdaki gibi belirtirsiniz.

"typeProperties": {
    "globalParameters": {
        "Database server name": "<myserver>.database.windows.net",
        "Database name": "<database>",
        "Server user account name": "<user name>",
        "Server user account password": "<password>"
    }
}

Not

Web hizmeti parametreleri büyük/küçük harfe duyarlıdır, bu nedenle etkinlik JSON'unda belirttiğiniz adların Web hizmeti tarafından kullanıma sunulan adlarla eşleştiğinden emin olun.

Verileri başka şekillerde dönüştürmeyi açıklayan aşağıdaki makalelere bakın: