Azure Synapse bibliothèque cliente Spark pour .NET - version 1.0.0-preview.8

Article
04/22/2023

Ce répertoire contient le open source sous-ensemble du Kit de développement logiciel (SDK) .NET. Pour obtenir de la documentation sur l’ensemble du Kit de développement logiciel (SDK) Azure, consultez le Centre de développement Microsoft Azure .NET.

Utilisez la bibliothèque cliente pour Synapse pour :

Envoyer un travail Spark Batch et un travail de session Spark

Azure Synapse est un service d’analytique illimité qui regroupe l’entreposage des données d’entreprise et l’analytique de Big Data. Il vous donne la possibilité d’interroger les données avec votre propre vocabulaire, en utilisant des ressources serverless à la demande ou des ressources provisionnées, le tout à grande échelle. Azure Synapse rassemble ces deux mondes avec une expérience unifiée pour la réception, la préparation, la gestion et la remise de données pour les besoins immédiats d’apprentissage automatique et décisionnels.

Prise en main

L’intégralité du Kit de développement logiciel (SDK) Microsoft Azure peut être téléchargée à partir de la page Téléchargements Microsoft Azure et fournie avec la prise en charge de la création de packages de déploiement, de l’intégration avec des outils, des outils en ligne de commande enrichis, etc.

Pour une expérience de développement optimale, les développeurs doivent utiliser les packages Microsoft NuGet officiels pour les bibliothèques. Les packages NuGet sont régulièrement mis à jour avec de nouvelles fonctionnalités et correctifs logiciels.

Installer le package

Installez la bibliothèque cliente Spark pour Azure Synapse Analytics pour .NET avec NuGet :

dotnet add package Azure.Analytics.Synapse.Spark --version 0.1.0-preview.1

Prérequis

Abonnement Azure : Pour utiliser les services Azure, y compris Azure Synapse, vous avez besoin d’un abonnement. Si vous ne disposez pas d’un compte Azure existant, vous pouvez vous inscrire à un essai gratuit ou utiliser les avantages de votre abonnement Visual Studio lorsque vous créez un compte.
Espace de travail Azure Synapse existant. Si vous devez créer un espace de travail Azure Synapse, vous pouvez utiliser le portail Azure ou Azure CLI.

Si vous utilisez Azure CLI, la commande ressemble à ce qui suit :

az synapse workspace create \
    --name <your-workspace-name> \
    --resource-group <your-resource-group-name> \
    --storage-account <your-storage-account-name> \
    --file-system <your-storage-file-system-name> \
    --sql-admin-login-user <your-sql-admin-user-name> \
    --sql-admin-login-password <your-sql-admin-user-password> \
    --location <your-workspace-location>

Authentifier le client

Pour interagir avec le service Azure Synapse Analytics, vous devez créer une instance de la classe SparkBatchClient ou SparkSessionClient. Vous avez besoin d’un point de terminaison d’espace de travail, que vous pouvez voir sous le nom de « point de terminaison de développement » dans le portail, et d’informations d’identification de secret client (ID client, secret client, ID de locataire) pour instancier un objet client.

L’authentification des informations d’identification de secret client est utilisée dans cette section de prise en main, mais vous pouvez trouver d’autres façons de vous authentifier avec l’identité Azure. Pour utiliser le fournisseur DefaultAzureCredential indiqué ci-dessous ou d’autres fournisseurs d’informations d’identification fournis avec le Kit de développement logiciel (SDK) Azure, vous devez installer le package Azure.Identity :

Install-Package Azure.Identity

Exemples

Microsoft.Azure.Synapse prend en charge le CRUD de la tâche spark batch.

Répertorier le travail par lots Spark

Répertorier le travail spark batch sous le pool spark spécifique d’un espace de travail synapse spécifique

Response<SparkBatchJobCollection> jobs = client.GetSparkBatchJobs();
foreach (SparkBatchJob job in jobs.Value.Sessions)
{
    Console.WriteLine(job.Name);
}

Créer un travail spark batch

Créez un travail spark batch sous un espace de travail et un pool Spark spécifiques.

string name = $"batch-{Guid.NewGuid()}";
string file = string.Format("abfss://{0}@{1}.dfs.core.windows.net/samples/net/wordcount/wordcount.zip", fileSystem, storageAccount);
SparkBatchJobOptions request = new SparkBatchJobOptions(name, file)
{
    ClassName = "WordCount",
    Arguments =
    {
        string.Format("abfss://{0}@{1}.dfs.core.windows.net/samples/net/wordcount/shakespeare.txt", fileSystem, storageAccount),
        string.Format("abfss://{0}@{1}.dfs.core.windows.net/samples/net/wordcount/result/", fileSystem, storageAccount),
    },
    DriverMemory = "28g",
    DriverCores = 4,
    ExecutorMemory = "28g",
    ExecutorCores = 4,
    ExecutorCount = 2
};

SparkBatchOperation createOperation = client.StartCreateSparkBatchJob(request);
while (!createOperation.HasCompleted)
{
    System.Threading.Thread.Sleep(2000);
    createOperation.UpdateStatus();
}
SparkBatchJob jobCreated = createOperation.Value;

Annuler le travail par lots Spark

Annulez un travail par lots Spark avec l’ID de lot Spark sous un espace de travail et un pool Spark spécifiques.

Response operation = client.CancelSparkBatchJob(jobCreated.Id);

Pour générer

Pour plus d’informations sur la création de la bibliothèque cliente Azure Synapse, consultez Création du kit de développement logiciel Microsoft Azure SDK pour .NET

Versions cibles de .NET Framework

Pour plus d’informations sur les frameworks cibles de la bibliothèque cliente Azure Synapse, reportez-vous aux infrastructures cibles du kit de développement logiciel Microsoft Azure SDK pour .NET.

Concepts clés

Envoyer un travail Spark.

Sécurité des threads

Nous garantissons que toutes les méthodes de instance client sont sécurisées pour les threads et indépendantes les unes des autres (recommandations). Cela garantit que la recommandation de réutilisation des instances clientes est toujours sécurisée, même entre les threads.

Concepts supplémentaires

Dépannage

Ouvrez le problème dans github.

Étapes suivantes

L’étape suivante consiste à ajouter d’autres exemples

Contribution

Ce projet a adopté le Code de conduite Open Source de Microsoft. Pour plus d’informations, consultez les Questions fréquentes (FAQ) sur le code de conduite ou envoyez vos questions ou vos commentaires à opencode@microsoft.com.

Partager via