Bonne lecture

Azure HDInsight est une offre de service cloud Hadoop et Spark qui vous permet de mettre en place des clusters d'analyse open source optimisés pour Spark, Hive, MapReduce, HBase, Storm, Kafka et Microsoft R Server garantis par un SLA de 99.9%

Nous avons reçu de nombreuses demandes quant à la disponibilité d'un guide détaillé sur HDInsight. Ce billet expose ainsi les grandes lignes de ce guide avec quelques autres conseils et ressources sur l'apprentissage du service HDInsight.

Guide du développeur HDInsight

Nous avons reçu de nombreuses demandes de clients pour disposer d'une documentation détaillée sur HDInsight afin de concevoir, déployer, gérer, surveiller et sécuriser des solutions de mégadonnées (Big Data) dans des cas d'usage et scénarios impliquant de l'analyse avancée de données, du décisionnel (Business Intelligence ou BI), de l'ETL (Extract Transform Load), et bien d'autres.

En bref, nombreux sont les clients à la recherche d'un guide détaillant en pas-à-pas les étapes pour déployer et opérer au quotidien une solution Big Data. Nous sommes heureux de vous annoncer la disponibilité du guide du développeur HDInsight, un guide qui couvre les scénarios de base tout comme les scénarios avancés qui peuvent s'avérer utile pour tout développeur, scientifique de la donnée (data scientist) ou ingénieur de la donnée (data engineer) souhaitant démarrer sur le sujet ou approfondir leurs connaissances sur Azure HDInsight. Ce guide commence par une vue d'ensemble d'HD Insight et des cas d'utilisation, suivis de bonnes pratiques sur la configuration de cluster, la planification de la capacité, et le développement d'applications pour différentes charges de travail (workload) comme Hive, Spark, et l'optimisation de celles-ci. Le guide conclut enfin sur des cas d'usage et des scénarios avancés accompagnés d'exemples.

Table des matières du Guide du développeur HDInsight

Vous trouverez ci-après une version courte de la table des matières. Cela peut vous donner une bonne idée de ce que vous pouvez attendre de ce guide (en anglais) :

• Vue d'ensemble
• Architecture Hadoop et Azure HDInsight
  • Configurer le cluster
  • Configurer les identités et les contrôles d'accès
  • Surveiller et gérer le cluster HDInsight
• Développer des applications Hive
• Développer des applications Spark
  • Utiliser Spark avec les blocs-notes
  • Utiliser Spark avec IntelliJ
  • Exemples avec Spark
• Développer des applications Spark ML
• Deep Learning avec Spark
• Développer des scripts R sur HDInsight
• Développer des applications Spark Streaming
• Optimiser Spark Performance
• Utiliser HBase
  • Utiliser Phoenix avec HBase sur HDInsight
• L'écosystème Open Source Apache
• Scénarios avancés et approfondissements
• Résolution de problèmes

Ressources de formation HDInsight

En complément de ce guide, nous tenons également à souligner les autres ressources disponibles pour monter en compétences ou approfondir ses connaissances sur HDInsight. Vous trouverez ainsi ci-après les différentes ressources de formation disponibles pour HDInsight ; ce qui comprend de l'auto-formation en ligne, de la documentation, des vidéos, etc.

Auto-formation en ligne

• Auto-formation sur edX, une plateforme de formation en ligne, qui offre des contenus de qualité provenant des meilleures universités et institutions du monde. Les formations listées ci-dessous sont disponibles à travers le programme Microsoft Professional Program for Big Data accessible gratuitement ou avec l'ajout d'un certificat vérifié pour un coût additionnel.
  • Processing Big Data in Azure HDInsight (en anglais) : ce cours vous montre comment utiliser les technologies Hadoop dans Microsoft Azure HDInsight pour concevoir des solutions de traitement par lots qui purifie et remanie vos données pour de futures analyses.
  • Implementing Real Time Analytics in Azure HDInsight (en anglais) : Dans ce cours, vous apprendrez comment implémenter des solutions de mégadonnées de streaming et à faible latence en utilisant des technologies Hadoop comme HBase, Storm et Spark sur Microsoft Azure HDInsight.
  • Implementing Predictive Analytics in Azure HDInsight (en anglais) : Dans ce cours, vous apprendrez comment implémenter des solutions d'analyse prédictive pour les mégadonnées à l'aide d'Apache Spark dans Microsoft Azure HDInsight
• Des formations en ligne gratuites sur Microsoft Virtual Academy, qui vous donnent accès à des contenus issus d'experts reconnus mondialement pour vous aider à développer vos compétences techniques et à avancer dans votre carrière. Prêt(e) pour continuer votre plongée dans les mégadonnées ? Ci-dessous, vous trouverez des cours pour explorer les possibilités d'Hadoop et de Spark sur HDInsight, des parties essentielles pour la partie Analytique de la série « MVA Data Series ».
  • Hadoop sur HDInsight (en anglais)
  • Spark sur HDInsight (en anglais)

Documentation

• Documentation HDInsight : page d'accueil de la documentation HDInsight à destination de tout développeur, scientifique de la données ou administrateur de solutions de mégadonnées. Cette documentation forte de plus de 1385 pages intègre toutes les sections du traditionnel « Démarrer avec » aux sujets spécifiques sur des cas d'usage et des scénarios avancés avec HDInsight. Vous pouvez télécharger l'intégralité de cette documentation à l'aide de l'option « Télécharger comme PDF » située dans le coin inférieur gauche de la page ou rechercher des articles donnés avec le champ de recherche situé en haut à gauche.
• Guide de dépannage d'HDInsight (en anglais) : Microsoft met constamment à jour de guide de dépannage pour que vous puissiez (plus) facilement déboguer ou diagnostiquer les problèmes que vous pouvez rencontrer.

Vidéos

• Vidéos HDInsight : En complément des ressources précédentes, vous pouvez aussi retrouver des vidéos sur les plateformes Channel 9 ou YouTube.

Les vidéos suivantes constituent un bon point de départ pour disposer d'un aperçu du périmètre et des fonctionnalités d'HDInsight :

• Approfondissement sur l'optimisation des performances d'Apache Spark sur HDInsight : Part 1, Part 2, Part 3, et Part 4
• Optimizing HBase Performance in HDInsight
• Apache Kafka on Azure HDInsight
• Compliance Standards on HDInsight
• Securing Azure HDInsight
• Big Data Partner Program

Webcasts à la demande de conférences 2016-17 (en anglais)

Ignite

• Build successful Big Data infrastructure using Azure HDInsight
• Secure your Enterprise Hadoop environments on Azure
• Explore Spark 2.0 and structured streaming in Microsoft Azure HDInsight
• Leverage R and Spark in Azure HDInsight for scalable machine learning
• Establish modern data ethos with Big Data on Microsoft Azure

Strata

• Big data, AI, the genome, and everything
• Spark at Scale in Bing
• Using Big Data, Cloud and AI to Enable Intelligence at Scale

Hadoop Summit

• Build Big Data Enterprise solutions faster on Azure HDInsight
• Big Data in the Cloud
• Big Data Application Architectures IoT

//build

• Tap into the YARN Ecosystem with HDInsight

Ateliers pratiques (hands on labs)

• Atelier Science de la donnée (en anglais) : cet atelier illustre spécifiquement sur le composant Spark ML dans Spark et mets l'accent sur sa proposition de valeur au sein du Framework de traitement de mégadonnées Apache Spark.
• Atelier Hive (en anglais) : cet atelier illustre comment vous pouvez tirer profit d'HDInsight Hive pour analyser des mégadonnées stockées dans Azure Blob Storage.

Acquérir une certification Microsoft sur HDInsight

• Perform Data Engineering on Microsoft Azure HDInsight
• Designing and Implementing Big Data Analytics Solutions

Ressources

• Training to build expertise in Azure
• Learning path on HDInsight

Nous espérons que vous trouverez le guide du développeur et l'ensemble de ces autres ressources utiles. Si vous avez des questions ou des retours d'expérience, n'hésitez pas à envoyer un courriel à l'adresse hdiask@microsoft.com (en anglais).

Ceci conclut la reprise de ce billet de ressources. Nous vous souhaitons une bonne lecture ou un bon visionnage de ces différentes ressources sur Azure HDInsight en espérant que ceci vous aide dans votre quotidien.

La toute nouvelle sortie de la bibliothèque Microsoft Machine Learning pour Apache Spark (MMLSpark) est l'occasion de revenir sur ce billet de Machine Learning avec HDInsight à travers un regard neuf.

Rappelez-vous, dans les deux premières parties du billet ici et ici, nous avions déployé un cluster Apache Spark sur Azure HDInsight pour y mettre en place un modèle d'apprentissage automatique (Machine Learning) pour un problème de classement (classification).

J'en profite pour remercier très sincèrement Anaig Maréchal actuellement en stage au sein de l'équipe pour cette contribution ;-)

Microsoft Machine Learning pour Apache Spark

Microsoft Machine Learning Spark est un projet en Open Source disponible sur la forge communautaire GitHub. Cette bibliothèque Python fournit des outils de Machine Learning et Deep Learning qui permettent aux scientifiques des données (Data Scientists) de gagner en performance sur Spark.

En effet, si Spark est un allié de poids pour créer des modèles de Machine Learning évolutifs (scalable), nous avons vu dans les deux premières parties que l'API SparkML présente néanmoins quelques contraintes dues à son assez bas niveau.

Ainsi, nous avions notamment évoqué la nécessité i) de créer des pipelines pour éviter les redondances dans le code, ii) de transformer les variables catégoriques sous forme numérique ou encore iii) de rassembler les prédicteurs du modèle dans un vecteur.

Toutes ces opérations peuvent être simplifiées avec MMLSpark, qui encapsule des requêtes APIs Scala, ce qui permet aux Data Scientists de se concentrer sur l'aspect Machine Learning de leur projet tout en gardant les performances natives de la JVM.

MMLSpark propose donc des APIs simplifiées qui prennent directement tout type de données en paramètre, sous un format indépendant de l'algorithme. Celles-ci permettent de plus d'intégrer et utiliser très facilement les algorithmes de Deep Learning du kit en Open Source Microsoft Cognitive Toolkit (anciennement CNTK) disponible sur la forge GitHub, avec des modèles pré-entraînés ou non, ainsi que d'accélérer le traitement en utilisant un GPU.

Utiliser MMLSpark

En local

Pour installer MMLSpark en local, utilisez Docker depuis un terminal grâce à la commande :

docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark

Pour retrouver un notebook Jupyter d'exemple ou créer un nouveau notebook, on peut alors se rendre à l'adresse : http://localhost:8888/tree?

Avec HDInsight

Il est possible d'installer MMLSpark sur un cluster Linux HDInsight déjà existant. Pour cela, il faut exécuter un script sur le nœud maître (head) et les nœuds esclaves (worker).

Dans la section « Aperçu » (Overview) de la page du cluster, rendez-vous dans l'onglet « Script actions » de la configuration. Cliquez alors sur « Submit new » et renseignez :

Script type : - Custom

Name : Install MSML

Bash script URI : https://mmlspark.azureedge.net/buildartifacts/0.5/install-mmlspark.sh

Node type(s) : Head & Worker

Persist this script action to rerun when new nodes are added to the cluster

Une fois le script lancé, le cluster met une dizaine de minutes à se configurer.

La bibliothèque peut ensuite être installée de façon classique sous forme de package Spark :

import mmlspark

Notez que MMLSpark nécessite Scala 2.11+, Spark 2.1+ et Python 2.7 ou Python 3.5+.

Une expérience simplifiée

Reprenons notre exemple d'apprentissage automatique sur les données de revenus d'adultes américains.

Nous avons toujours des données nettoyées sous la forme d'un data frame de 32537 lignes et de 9 prédicteurs sélectionnés. « Income » est la variable à prédire, qui indique si un individu gagne plus ou moins que $50K.

Les données ont été séparées en un ensemble d'apprentissage nommé « train » et un ensemble de test « test », représentant respectivement 70% et 30% du total.

Comme lors de l'exemple précédent, on choisit d'appliquer le modèle des arbres de décision. Les données sont automatiquement converties dans le format convenant à l'algorithme : les variables catégoriques sont encodées et les prédicteurs sont rassemblés dans un vecteur.

Le modèle a finalement une performance similaire à celle obtenue en utilisant SparkML seul, avec une précision d'environ 85%. Le nombre de lignes de code a cependant été significativement réduit.

En guise de conclusion

MMLSpark permet donc d'utiliser la puissance de calcul de Spark en Machine Learning avec des APIs plus haut niveau que SparkML. De nombreux algorithmes de Machine Learning et Deep Learning sont ainsi disponibles de façon simplifiée, incluant notamment Microsoft Cognitive Toolkit (CNTK) et OpenCV.

Pour vous lancer, n'hésitez pas à consulter la documentation complète !

Parmi ces celles-ci, nous souhaitions revenir sur l'annonce de la disponibilité d'un nouveau service sur la plateforme Microsoft Azure, en l'occurrence Azure Cosmos DB, un service Azure de base de données NoSQL géo-distribuée sur plusieurs centres de données Microsoft, avec à la clé, plusieurs modes de synchronisation de données.

Né en 2010 sous le nom de « Projet Florence », le projet a ensuite grandi comme Azure Document DB avant d'arriver sous sa forme actuelle que nous abordons ci-après. (Le billet Azure Cosmos DB: The industry's first globally-distributed, multi-model database service vous propose une introduction complète sur ce service avec notamment une vidéo du Docteur Dr. Leslie Lamport.)

Azure Cosmos DB supporte différents modèles de données, que ce soit du NoSQL clé-valeur ou column-family, des graphes ou des documents.

Les données stockées sont répliquées puis copiées dans plusieurs emplacements dans le monde afin de garantir leur disponibilité, qui est de 99,99%.

De plus, ces mêmes données peuvent facilement être mises à l'échelle pour répondre à tous les besoins, qu'il s'agisse, pour prendre quelques illustrations en termes de cas d'utilisation :

• D'applications distribuées à l'échelle mondiale pour lesquelles il s'avère nécessaire de garantir un accès aux utilisateurs grâce à la haute disponibilité et à la faible latence des centres de données mondiaux de Microsoft
• De l'Internet de vos objets et, dans ce contexte, de vos diverses charges de travail (workload) IoT avec une mise à l'échelle élastique instantanée sans nuire aux performances d'ingestion ou de requête.
• De sites de commerce en ligne avec la prise en charge des requêtes avancées sur divers catalogues de produits, des pics de trafic et de l'inventaire des stocks en évolution constante.
• De plateformes de jeux en ligne avec une mise à l'échelle élastique de votre base de données pour faire face aux pics de trafic imprévisibles et garantir une faible latence aux joueurs du monde entier.

Azure Cosmos DB garanti au 99^ème percentile une latence de moins de 10 millisecondes en lecture et de moins de 15 millisecondes en écriture.

De façon à tirer parti de ce nouveau service, différentes APIs sont proposées avec Azure Cosmos DB :

• Document DB SQL. Vous pouvez consulter les articles Présentation d'Azure Cosmos DB : API DocumentDB et Azure Cosmos DB : Développer une application web API DocumentDB avec .NET et le portail Azure pour une illustration de mise en œuvre.
• MongoDB. Vous pouvez consulter l'article Azure Cosmos DB : migrer une application web MongoDB Node.js existante pour une illustration de mise en œuvre.
• Tables du stockage Azure (version préliminaire publique). Vous pouvez consulter l'article Azure Cosmos DB : Créer une application .NET à l'aide de l'API Table pour une illustration de mise en œuvre.
• Console Gremlin (version préliminaire publique). Vous pouvez consulter l'article Azure Cosmos DB : Créer, interroger et parcourir la console Gremlin pour une illustration de mise en œuvre afin de travailler avec les données API Graph à partir d'Apache TinkerPop.

Un connecteur Spark est également disponible, permettant d'analyser les données. Cette bibliothèque cliente dont le code est disponible ici sur la forge communautaire GitHub permet à Azure Cosmos DB d'agir comme une source d'entrée ou comme entonnoir de de sortie (output sink) pour les travaux (job) Spark. L'article Accelerate real-time big-data analytics with the Spark to Azure Cosmos DB connector illustre comment utiliser ce connecteur.

Nous espérons que cette rapide présentation aura aiguisé votre curiosité. Vous pouvez la compléter par le billet A technical overview of Azure Cosmos DB qui vous donne un bon aperçu technique de ce service.

Ce billet s'intéresse sur cette base à l'étudie d'un exemple d'application d'apprentissage automatique (Machine Learning). Ce sera alors l'occasion de découvrir les principales commandes d'Apache Spark à travers PySpark, le Framework de programmation Spark en Python.

J'en profite pour remercier très sincèrement Anaig Maréchal actuellement en stage au sein de l'équipe pour cette contribution :-)

Nos données

Pour cet exemple, nous avons choisi d'utiliser un jeu de données issu de la galerie Cortana Intelligence sur le revenu d'adultes américains. Il s'agit ici de prédire si un individu gagne plus ou moins que 50K par an. Nous sommes donc face à un problème de classification. A cet effet, 14 prédicteurs et 32561 individus sont à notre disposition.

La première étape est d'importer le fichier de données dans le stockage de type blob du compte de stockage lié à notre cluster Spark. On peut par exemple utiliser l'outil Microsoft Azure Storage Explorer pour administrer facilement les ressources de ce compte comme suggéré dans la première partie de ce billet.

Nous avons pour notre part stocké le fichier CSV dans un dossier « data ». Notez que ce répertoire est « virtuel » car nous ne sommes pas dans un système de gestion de fichier : un blob n'est pas structuré et tout est physiquement stocké à la racine. Cela permet donc seulement de se repérer plus simplement dans les fichiers d'un point de vue utilisateur.

Afin d'exécuter le code, nous utilisons un blocs-notes Jupyter, dont l'utilisation est directement mise à disposition depuis le cluster sur Azure. Des exemples d'application en Scala et en Python sont déjà disponibles ainsi que de la documentation à l'image des articles Noyaux disponibles sur les blocs-notes Jupyter avec clusters Spark HDInsight et Utilisation de packages externes avec les blocs-notes Jupyter dans des clusters Apache Spark sur HDInsight. Dans notre cas, nous créons un nouveau notebook.

Importation des bibliothèques

Passage obligatoire, on commence par importer les bibliothèques PySpark nécessaires à la mise en œuvre de notre exemple. La bibliothèque pyspark.sql va nous permettre de manipuler les données et la bibliothèque pyspark.ml sera utilisée pour la partie Machine Learning à proprement parlé.

Importation des données

La fonction spark.read.csv nous permet d'importer les données depuis un CSV vers un data frame. Nous lui passons en paramètre le chemin vers le fichier. Pour accéder à l'interface WASB (Windows Azure Blob Storage), le modèle de chemin à utiliser est :

« wasb://nom_du_conteneur@compte_de_stockage.blob.core.windows.net/nom_du_repertoire/nom_du_fichier.csv »

Comme nous travaillons sur Azure et que nous n'avons qu'un seul conteneur, nous utilisons le raccourci « wasb:///nom_du_repertoire/nom_du_fichier.csv ». Le paramètre header nous permet d'indiquer que le fichier contient des en-têtes et sep de définir le séparateur utilisé par le csv.

Si la structure des données est connue, la fonction StructType est conseillée pour la définir explicitement. Dans ce cas, on utiliserait le paramètre schema=[schema] dans la fonction spark.read.csv. Nous avons ici préféré utiliser le paramètre inferSchema qui permet de déduire automatiquement la structure des données.

La fonction printSchema nous permet de vérifier que la structure déduite est bien correcte.

On retrouve bien les 15 colonnes du csv dont la variable « income » qui est à prédire.

Visualisation des données

On peut alors afficher les données pour en avoir un aperçu. La fonction show permet d'afficher par défaut les 20 premières lignes du data frame, ou le nombre de lignes passé en paramètre.

La fonction describe affiche un résumé statistique des données numériques d'un data frame : le nombre de valeurs, leur moyenne, leur déviation standard, leur minimum et leur maximum. Ainsi, l'âge moyen dans ce jeu de données est 38.6 ans et la population va de 17 à 90 ans.

Manipuler les données

L'utilisation d'un data frame permet la manipulation des données avec Spark SQL, qui fournit une syntaxe très proche du SQL.

La commande la plus basique est le select, qui permet de sélectionner une partie des données. Ici par exemple, on utilise select, when et like pour appliquer un label numérique aux données : 1.0 pour les personnes au revenu supérieur à 50K, 0.0 sinon. Ces fonctions vous rappellent quelque chose, n'est-ce pas ? ;-)

Nous verrons plus loin dans ce billet qu'il existe une autre méthode pour labéliser une colonne de façon moins « manuelle ». Néanmoins, cette méthode avec Spark SQL peut toujours servir si on désire plus de flexibilité.

La fonction createOrReplaceTempView va permettre de créer une vue, comme on le ferait en SQL. A partir de cette vue, on peut manipuler les données directement avec des requêtes SQL, et un data frame sera retourné.

Dans la requête ci-dessous, on affiche seulement les lignes des personnes gagnant plus de 50K et dont l'éducation est « HS-grad ».

Le notebook Jupyter permet également d'utiliser directement du SQL grâce à la commande « magique » %%sql, suivie du script.

A noter : des graphiques sont alors automatiquement créés, ce qui est très pratique pour visualiser simplement les données. Par défaut, un tableau est affiché, mais on peut aussi choisir un graphique circulaire, en nuage de point, en ligne, en zone et en barres.

Ici, on affiche par exemple le nombre de personnes gagnant plus de 50K en fonction de l'âge. 

Il convient de noter que, d'un point de vue statistique, ce graphique est à interpréter avec précaution car ce dernier dépend aussi du nombre d'individus pour chaque âge. Les seniors sont par exemple sous-représentés ce qui explique en partie le faible nombre de personnes gagnant plus de 50K.

Nettoyage des données

La fonction count permet de compter le nombre de lignes du data frame. Nous partons d'un jeu de données de 32561 lignes.

Parmi les fonctions utiles pour le nettoyage des données, on peut retenir dropDuplicates et data.na.drop qui suppriment les doublons et les données manquantes. La valeur « any » du paramètre how de data.na.drop permet de préciser qu'une ligne doit être supprimée si elle contient la moindre valeur nulle. Pour supprimer une ligne dont toutes les colonnes sont nulles, il faut utiliser « all ».

Une autre utilisation de count nous indique qu'il reste 32537 lignes, ce qui signifie qu'on a supprimé 24 lignes en nettoyant les données.

La notion de pipeline

Il existe deux fonctions importantes pour mettre en place un modèle de Machine Learning avec Spark : transform et fit. Transform permet d'appliquer une transformation à nos données, qui vont passer d'une structure à une autre, et fit permet d'appliquer un algorithme au data frame. Ces fonctions sont très fréquemment utilisées, ce qui peut rendre le code redondant. Par exemple, on applique généralement des transformations à un ensemble d'apprentissage, puis à nouveau à ensemble de test.

Un pipeline est un objet permettant d'encapsuler des transformations. Cela permet d'avoir un code plus simple même lorsqu'on applique beaucoup de transformations aux données. Nous allons l'employer dans la suite de notre illustration. Remarquez au passage qu'un pipeline est lui-même une transformation !

Sélection des variables

La fonction dtype nous permet de visualiser le type de nos différentes variables.

Nous sommes ici en présence de plusieurs variables qualitatives, de type string. Or, l'une des particularités de Spark ML est qu'il fonctionne avec des variables numériques. Certains modèles prennent cependant en compte les variables catégoriques, toujours sous forme numériques. Nous allons donc devoir modifier un peu notre data frame pour mettre en place notre exemple.

D'une part, on va pouvoir transformer certains prédicteurs catégoriques nominaux en « dummy variables », une variable numérique associée par classe, tout comme on l'a fait avec la colonne « income ». Pour cela, on utilise la fonction StringIndexer qui le fait automatiquement pour toutes les valeurs différentes rencontrées.

D'autre part, on va supprimer les colonnes qui ne nous intéressent pas. La colonne « education » par exemple, déjà représentée numériquement par « education-num », ou la colonne « native-country », qui est « United-States » dans la grande majorité des cas. Deux façons de procéder : en indiquant la colonne à supprimer avec data.drop ou en indiquant les colonnes à garder avec select.

Nous avons maintenant des données nettoyées, entièrement numériques, avec 9 prédicteurs.

Les modèles de Machine Learning Spark ML reçoivent la liste de prédicteurs sous forme de vecteur. On sélectionne donc les variables et on les place dans un vecteur dans une nouvelle colonne « features » grâce à la fonction VectorAssembler.

Découpage des données

On prend 70% de données comme ensemble d'apprentissage avec la fonction randomSplit.

Entraînement et test du modèle

Notre jeu de données compte 3 prédicteurs catégoriques, qu'il est important de différencier des variables continues pour ne pas biaiser le modèle. A cet effet, la fonction VectorIndexer prend en entrée une colonne de vecteurs et détermine automatiquement quelles variables doivent être considérées comme catégoriques. Il est également possible d'ajouter un paramètre maxCategories pour fixer le nombre maximal de valeurs différentes au-dessus duquel les variables sont considérées comme numériques continues.

Grâce à un rapide describe, on trouve facilement que « relationship » est la colonne catégorique avec le plus grand nombre de valeurs différentes, c'est-à-dire 5.

On utilise ensuite la fonction DecisionTreeClassifier en indiquant la colonne à prédire et la colonne contenant le vecteur de prédicteurs.

Tout cela est appliqué une première fois au jeu d'entraînement, puis de test. On peut ensuite afficher les prédictions pour les comparer au label réel, ainsi que la probabilité avec laquelle la classification a été faite entre les deux labels possibles.

On obtient à première vue des résultats plutôt corrects, avec des probabilités plus tranchées que le hasard, qui serait autour de 50%.

Evaluation du modèle

MultiClassClassificationEvaluator est un outil permettant d'évaluer le résultat d'une classification.

Nous avons ici évalué la précision pour notre exemple. Le résultat affiché est « Test Error = 0.155442 », c'est-à-dire que nous obtenons une précision d'environ 85%.

En guise de conclusion

Cette illustration nous a permis de découvrir les principales commandes PySpark et d'aborder le Machine Learning avec Spark en utilisant les arbres de décision pour un problème de classification. Libre à vous maintenant d'essayer d'améliorer la performance obtenue en utilisant un autre modèle, ou d'améliorer le calcul du taux d'erreur en employant de la validation croisée par exemple !

Rétrospectivement, on peut regretter le choix du jeu de données qui ne s'adapte pas très bien à Spark ML, contrairement à l'exemple fréquemment utilisé de l'analyse du retard d'avions, Cf. article Analyse des données sur les retards de vol avec Hive dans HDInsight basé sur Linux (sic). En effet, notre jeu de données comprend plusieurs variables nominales, qui ne peuvent pas être directement employées dans les modèles de Machine Learning. Cela nous a néanmoins permis d'explorer les solutions disponibles pour contourner ce problème, avec les outils de catégorisation notamment. Libre à vous de vous lancer à nouveau avec cet autre jeu de données.

En guise de remarques complémentaires :

• L'intérêt de Spark est évidemment d'utiliser des jeux de données de volume plus important, pour profiter pleinement de la parallélisation des calculs et de l'architecture distribuée.
• On aurait aussi pu utiliser Scala pour cet exemple. C'est un langage généralement apprécié avec Spark, qui est lui-même écrit en Scala !
• Nous avons ici choisi de manipuler les données sous forme de data frames. Une autre possibilité aurait été d'utiliser des RDDs, Resilient Distributed Datasets. Ce sont des objets Spark qui constituent une abstraction de la mémoire distribuée et permettent donc des opérations comme map et reduce par exemple. La performance des RDDs est en revanche généralement moins bonne que celle des data frames et ils peuvent paraître moins familiers.

Ceci conclut cette seconde partie de notre billet sur Apache Spark dans Azure HDInsight.

Pour autant, si vous êtes une fidèle lectrice ou un fidèle lecteur de ce blog depuis ses débuts, vous êtes sûrement déjà familier avec le service Azure HDInsight qui vous permet de disposer à la demande d'un cluster Hadoop et Spark dans le Cloud.

Ainsi, A ce jour encore, Azure HDInsight est la seule offre de cloud Apache Hadoop entièrement gérée qui vous offre des clusters d'analyse open source optimisés pour Spark, Hive, MapReduce, HBase, Storm, Kafka et Microsoft R Server, avec un contrat SLA proposant une disponibilité de 99,9 %.

Dans ce billet, nous allons ici nous concentrer sur l'utilisation d'Apache Spark pour Azure HDInsight au travers du déploiement d'un cluster pour implémenter un modèle de Machine Learning. Cette première partie s'intéresse plus spécifiquement sur le déploiement du cluster en tant que tel.

J'en profite pour remercier très sincèrement Anaig Maréchal actuellement en stage au sein de l'équipe pour cette contribution :-)

Spark : quésaco ?

    Apache Spark est un Framework Open Source de la fondation Apache permettant d'effectuer des opérations parallélisées directement en mémoire ; ce qui le rend jusqu'à 100 fois plus rapide que le MapReduce Hadoop.

Les applications Spark peuvent être écrites en Java, Scala, Python et R. L'avantage de déployer un modèle d'apprentissage automatique (Machine Learning) en s'appuyant sur Spark est donc de pouvoir utiliser un gros jeu de données tout en conservant une durée de calcul optimale.

Création d'un cluster Spark avec Azure

Tout d'abord, connectez-vous au portail Azure à l'adresse https://portal.azure.com. (Si vous ne disposez pas d'ores et déjà d'un abonnement Azure, vous pouvez créer un compte Azure gratuit ici. Ce compte vous permet d'explorer n'importe quelle combinaison de services Azure pendant 30 jours, de commencer gratuitement pour cela avec un crédit de 170 € et/ou de poursuivre avec les options gratuites d'Azure.)

Azure HDInsight est disponible dans la section Intelligence + analytics au niveau de la place de marché d'Azure ou tout simplement en tapant « HDInsight » dans la barre de recherche.

La première étape consiste à nommer le cluster puis à configurer le nom d'utilisateur et le mot de passe pour la connexion au cluster et la connexion SSH.

Il faut donc choisir un cluster de type Spark (vous vous en seriez douté(e) ;-)), qui est disponible sous Linux uniquement.

Pour la suite de cette illustration, nous avons choisi la version stable Spark 2.0.2. La dernière version disponible à date est Spark 2.1.0. (Les différents composants disponibles dans Azure HDInsight et les versions associées sont décrits dans l'article What are the Hadoop components and versions available with HDInsight?.)

Le cluster créé doit être lié à un compte de stockage Azure où seront placés les fichiers de configuration et où l'on pourra également stocker les jeux de données à utiliser.

Enfin, il suffit de définir une taille de cluster satisfaisant les besoins de notre application. Le tarif par heure est alors affiché. Ici, nous choisissons des nœuds de petite taille car nous allons travailler (dans la seconde partie de ce billet) sur un jeu de données de test, de faible volume.

Le cluster ainsi configuré met en général entre 15 et 20 minutes pour se créer. On le retrouve ensuite facilement, ainsi que le compte de stockage, dans la liste des ressources.

Utilisation du compte de stockage du cluster

Le compte de stockage permet d'accéder à une collection de conteneurs blobs, dans lesquels on peut placer des fichiers de tous types de formats. On peut déjà y trouver un conteneur avec les fichiers de configurations du cluster, dans lequel on pourra par la suite ajouter les données que l'on voudra utiliser pour notre application. La figure suivante montre un exemple de compte de stockage Azure :

Afin de gérer ce compte de stockage, on peut utiliser une des nombreuses applications bureau existantes qui permettent de se connecter au compte et de notamment l'alimenter en données depuis ses fichiers locaux. L'article Azure Storage Client Tools liste les solutions disponibles à l'image de Microsoft Azure Storage Explorer.

En termes d'accès depuis le cluster, WASB (Windows Azure Storage Blob) permet de créer une couche d'abstraction pour l'accès à ces blobs. Ceci permet la persistance des données même quand le cluster n'existe pas ou plus, et permet à plusieurs clusters et applications d'accéder à une même donnée au même moment. WASB est, dans la pratique, une extension basée sur l'API HDFS (Hadoop Distributed File System), un des composants clés de Hadoop. La différence avec un système Hadoop classique est que les données sont chargées depuis le compte de stockage et non plus depuis le disque local, tout en conservant des performances similaires. Pour de plus amples informations, vous pouvez consulter le billet Understanding WASB and Hadoop Storage in Azure.

Enfin, au registre de la sécurité, le service de stockage Azure offre pour ces blobs une capacité de chiffrement au repos en AES-256 (avec des clés gérées par le service (en disponibilité générale) ou ses propres clés (pour les blobs en version préliminaire limitée), il est désormais possible de protéger par voie de conséquence ses données au repos avec HD Insight. Pour de plus amples informations, vous pouvez consulter les billets Announcing general availability of Storage Service Encryption for Azure File Storage et Announcing Storage Service Encryption with Customer Managed Keys limited preview., ainsi que le guide de la sécurité du stockage ici.

« Gestion » du cluster Spark

En cliquant sur le cluster, on a accès, entre autres, à son état, à de la documentation et à un outil de mise à l'échelle qui permet de modifier le nombre de nœuds ou leur taille.

Depuis la page du cluster, on peut également accéder à un tableau de bord Ambari qui donne accès à tout sorte d'informations sur le cluster, ainsi qu'à un bloc note Jupyter qui permet d'exécuter des lignes de code et dont nous parlerons dans la seconde partie de ce billet.

Arrêt du cluster

Pour arrêter le cluster, il convient de le supprimer depuis sa page principale. Si vous souhaitez seulement couper l'exécution momentanément pour reprendre votre travail plus tard, il existe des procédures permettant de sauvegarder la configuration du cluster pour la réutiliser lors du prochain déploiement.

Au moment de la création du cluster, il est possible de cliquer sur Download template and parameters pour créer un modèle Resource Manager avec toutes les configurations choisies.

Pour de plus amples informations, vous pouvez consulter l'article Déployer des ressources à l'aide de modèles Resource Manager et d'Azure PowerShell.

Cette option est également disponible sur la page d'accueil du cluster une fois créé, en cliquant sur Script d'automatisation dans la section Paramètres du menu.

Une autre façon de redéployer un cluster est de se rendre dans la liste des groupes de ressources.

Pour un groupe de ressources donné, on aller dans Déploiements de la section Paramètres du menu. On y trouve le récapitulatif de chacun des précédents déploiements, en les sélectionnant dans le menu. Il est alors possible de les redéployer très facilement. Seul un nouveau mot de passe est nécessaire, les autres modifications sont optionnelles.

Ceci conclut cette première partie du billet. Vous pouvez consulter à titre de complément l'article Prise en main : Créer un cluster Apache Spark dans HDInsight et exécuter des requêtes interactives Spark SQL.

Dans la seconde partie, nous utiliserons ce cluster Spark pour mettre en place un modèle d'apprentissage automatique (Machine Learning) en Python.

Didier Simon, Émilie Beau, Mathias Ekizian, Romain Casteres, et moi-même, ingénieurs au sein de l’équipe SQL/BI de Microsoft Customer Support Services, avons mis en œuvre un projet interne d’analyse en temps réel des stations Vélib parisiennes via la suite Cortana Analytics.

Dans ce troisième article qui fait suite aux deux premiers dont vous trouverez les liens ci-dessous, je vous propose de vous présenter en détail le modèle d’analyse prédictive que l’on a conçu pour cette solution.

Si vous n’avez pas lu le premier article, rendez-vous ici : Vélib’ & Cortana Analytics –Première partie.

Si vous n’avez pas lu vers le deuxième article, rendez-vous ici : Vélib & Cortana Analytics – Deuxième partie.

2 - Présentation du projet

Vélib est un service public à grande échelle de location de vélos sur la région parisienne.

Lancé le 15 juillet 2007, ce service propose aujourd’hui environ 14 500 vélos et 1230 stations sur Paris.

Grâce à la suite Azure Cortana Analytics Suite, nous allons mettre en place une solution d’analyse des données de ces Vélib’ de façon à répondre à 2 problématiques :

• Obtenir une analyse descriptive en temps réel du réseau Vélib’
• Mettre à disposition une analyse prédictive permettant de prédire la disponibilité du nombre de vélos et d’emplacements disponibles pour une station donnée.

Voici l’architecture que nous avons mise en œuvre pour cette solution :

3 – Contexte

Le problème a été abordé de la façon suivante, l’état du réseau Vélib’ à l’instant  et en prenant en compte l’aspect temporel, notre objectif est de prédire chaque heure, le nombre de vélos disponibles dans chaque station aux instants   sur un intervalle de 15 minutes.

4 – Exploration des données

4.1 – Jeu de données

Le jeu de données est constitué des attributs suivants :

La variable dépendante, que l’on va chercher à prédire est « Availablebikes ».

La variable « Bikestands » sera à posteriori utilisée par le modèle final pour classifier les stations selon 4 critères :

• Vide
• Pleine
• Quasi-pleine : Moins de 3 emplacements disponibles
• Quasi-vide : Moins de 3 vélos à disposition
• Disponible

Le code R ci-dessous exécuter dans le modèle prédictif sur Azure Machine Learning illustre cette classification.

Voici une carte du 15^ème démontrant le résultat final

4.2 – Exploration des données

Nous avons choisi de travailler sur chacune des stations de manière indépendante, car lorsque l’on explore les séries chronologiques, on constate que leur comportement varie d’une station à l’autre.

La figure ci-dessous résume assez bien cette variation en illustrant la décomposition STL “Seasonal and Trend decomposition using Loess”  des séries temporelles de quatre stations choisies aléatoirement.

Afin d’analyser le comportement des stations au sein d’un même arrondissement, nous avons effectué du clustering afin de regrouper les stations ayant le même comportement temporel en groupes homogènes.

L’approche employée consiste à appliquer dans un premier temps  une transformée en ondelettes discrètes (DWT) aux séries temporelles. Ensuite nous avons calculé la mesure de similarité entre les coefficients d’ondelettes avec la distance euclidienne.

La transformée en ondelette nous permet ainsi de réduire chaque série temporelle à un vecteur de coefficients tout en capturant les tendances à long terme (dynamique structurelle) et les détails dans le domaine fréquentiel qui contiennent de l'information plus précise qui se trouve être cachée dans chaque série temporelle.

Le nombre de coefficients d’ondelettes retenu ainsi que le facteur d’échelle sélectionné  sont décrit dans le rapport suivant Zhang H, Ho TB, Zhang Y, Lin MS (2006)

Voici l’implémentation en R utilisé : Package R TSclust

Les dendrogrammes ci-dessous illustrent cette analyse de regroupement pour 9^ème  et 6^ème  arrondissements.

5 – Approche

Nous allons maintenant voir un peu plus en détail la conception du modèle.

Voici une overview qui explique de manière simple notre approche et dont les éléments sont détaillés juste après :

5.1 – Caractéristiques statistiques

Les caractéristiques statistiques ont pour objectif de décrire les propriétés numériques de chaque station calculée sur une fenêtre temporelle d’une heure.

• Minimum, la valeur la moins élevée de la fenêtre temporelle.
• Maximum, la valeur la plus élevée de la fenêtre temporelle.
• Moyenne arithmétique
• Variance
• Fréquence cumulée
• Écart type
• Mode
• Kurtosis
• Écart absolu moyen
• Asymétrie
• Moyenne mobile à pondération exponentielle

5.2 – Caractéristiques temporelles

1 - Les caractéristiques temporelles sont-elles calculées sur une heure pour chaque station :

• Horizon des prévisions
• Operateur de retard
• Prédiction autorégressive à base de lag distribué https://en.wikipedia.org/wiki/Distributed_lag
• Décomposition de la variable temporelle en jour, mois, heure et minutes.
• Variable indicatrice si c’est un jour de semaine ou weekend.

2 - Nous calculons ensuite pour chaque station la première et la seconde dérivée sur une série temporelle des deux derniers mois. L’objectif étant de capturer la vitesse instantanée de variation pour chacune des stations ainsi que l’accélération de cette variation par rapport au temps.

5.3 – Méthode d’apprentissage

Pour l’apprentissage, nous avons opté pour un algorithme de type ensemble, non paramétrique : Forêt d’arbres décisionnels.

Pour plus d’information, je vous propose de lire l’article suivant https://msdn.microsoft.com/fr-fr/library/azure/dn905862.aspx

Le réglage des hyperparamètres est effectué par validation croisée.

5.4  – Industrialisation

L’un des gros points forts d’Azure Machine Learning, c’est qu’il permet d’effectuer très simplement le déploiement d’un modèle prédictif grâce à la mise à disposition de points d’accès « end point » au travers d’un service Web.

L’invocation du modèle comme son réentraînement est ordonnancé par le service Azure Data Factory .

Pour en savoir plus, je vous invite à lire la deuxième partie de la série, rédigé par Romain.

6 – Performance

Les résultats obtenus sont illustrés par les mesures d’évaluation suivantes, R² , MAE et RMSE.  Ces indicateurs sont calculés sur les données du jour J+1.

Voici un rapport Power BI avec la RMSE par arrondissement, tranche horaire et date.

Voici la R²  et la  MAE du mois dernier interrogé « vocalement » à partir de l’assistant Cortana !

7 – Conclusion

Dans cet article, vous avez découvert la méthodologie employée pour l’analyse du jeu des données, le type des caractéristiques extraites, l’algorithme choisi pour l’entrainement du modèle et enfin le résultat d’évaluation des performances de celui-ci.

Nous réalisons actuellement des vidéos sur la mise en place des différentes briques présentées dans ces articles qui seront publiés sur le site Microsoft Virtual Academy.

De plus, Émilie et Romain seront présents au prochain SQL Saturday Paris 2016 du samedi 25 juin 2016, alors n’hésitez pas à les retrouver pour en savoir plus !

Et pour conclure cette série d’articles, voici le tableau de bord de la solution dans Power BI et un rapport à partir de Cortana.

L’équipe SQL/BI de Microsoft Customer Support Services a initié un projet interne d’analyse en temps réel des stations Vélib Parisien. J’ai rejoint l’équipe constituée de Yassine Khelifi, Didier Simon, Émilie Beau et Mathias Ekizian afin de prendre en charge les services Azure Event Hubs, Stream Analytics et Data Factory. C’est à ce titre que je vais présenter en deux articles ces différents services de l’offre Cortana Analytics.

Lien vers le 1er Article : Vélib & Cortana Analytics – Première partie.

2 - Présentation du projet

Vélib est un service public à grande échelle de location de vélos sur la région parisienne en France. Lancé le 15 juillet 2007, le service propose aujourd’hui environ 14 500 vélos et 1230 stations sur Paris.

Grâce à la suite Azure Cortana Analytics Suite, nous allons mettre en place une solution d’analyse des données de ces Vélib de façon à répondre à 2 problématiques :

Architecture :

L’API utilisé est celle de JCDecaux : https://developer.jcdecaux.com/#/home

Voici à quoi ressemblent les données sources :

3 - Présentation du Cortana Analytics

Cortana Analytics est une suite de services intégralement gérée pour le Big Data et les analyses avancées permettant de transformer vos données en actions intelligentes.

Voici les différents services inclus dans Cortana Analytics :

Pour en apprendre davantage sur Cortana Analytics : aka.ms/cortanaanalyticsprocess

4 - Présentation de Azure Data Factory

Data Factory est un service d’intégration de données dans le cloud qui gère et automatise le déplacement et la transformation des données. À la manière d’une usine de fabrication, qui utilise des machines visant à transformer des matières premières en produits manufacturés, Data Factory orchestre des services existants qui collectent des données brutes et les transforment en informations prêtes à l'emploi.

Data Factory fonctionne pour des sources de données locales et dans le cloud et avec les SaaS pour réceptionner, préparer, transformer, analyser et publier vos données. Vous pouvez utiliser Data Factory pour constituer des services dans des pipelines de flux de données gérés afin de transformer vos données à l'aide de services tels qu’Azure HDInsight (Hadoop) et Azure Batch pour vos besoins en calcul de Big Data, et avec Azure Machine Learning pour configurer vos solutions d'analyse.

Voici les différents objets d’un Job ADF :

Dans la solution, nous avons utilisé le service Azure Data Factory pour Scheduler l’appel de l’API de prédiction, sauvegarder les résultats dans une base de données Azure SQL Database ainsi que pour ré entrainer et mettre a jours le modèle de prédiction.

Pour ré entrainer un modèle Azure ML : https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-ml-batch-execution-activity/

Documentation : https://azure.microsoft.com/en-us/documentation/articles/data-factory-alltopcat/

Avant d'initier la Pipeline ADF, il faut créer les Endpoints AzureML:

Pipeline réalisée :

Orchestration :

Mise en place d'une alerte:

5 - Conclusion

Dans cet article nous avons présenté la solution et la mise en place du service Azure Data Factory contenant une pipeline de quatre activités : Apel de l’API de prédiction, sauvegarder les résultats dans une base de données Azure SQL Database ainsi que pour ré entrainer et mettre a jours le modèle de prédiction.

Exemples de rapports Power BI Embedded :

Voici quelques exemples de l'intégration de Power BI avec Cortana, il suffit de lui poser une question !

Nous réalisons actuellement des vidéos sur la mise en place des différentes briques, elles seront publiées sur le site Microsoft Virtual Academy.

Dans le prochain article, nous verrons la création du modèle de prédiction AzureML.

L’équipe SQL/BI de Microsoft Customer Support Services a initié un projet interne d’analyse en temps réel des stations Vélib Parisien. J’ai rejoint l’équipe constituée de Yassine Khelifi, Didier Simon, Émilie Beau et Mathias Ekizian afin de prendre en charge les services Azure Event Hubs, Stream Analytics et Data Factory. C’est à ce titre que je vais présenter en deux articles ces différents services de l’offre Cortana Analytics.

Lien vers le deuxieme article : Vélib & Cortana Analytics – Deuxième partie.

2 - Présentation du projet

Vélib est un service public à grande échelle de location de vélos sur la région parisienne en France. Lancé le 15 juillet 2007, le service propose aujourd’hui environ 14 500 vélos et 1230 stations sur Paris.

Grâce à la suite Azure Cortana Analytics Suite, nous allons mettre en place une solution d’analyse des données de ces Vélib de façon à répondre à 2 problématiques :

Architecture :

L’API utilisé est celle de JCDecaux : https://developer.jcdecaux.com/#/home

Voici à quoi ressemblent les données sources :

3 - Présentation du Cortana Analytics

Cortana Analytics est une suite de services intégralement gérée pour le Big Data et les analyses avancées permettant de transformer vos données en actions intelligentes.

Voici les différents services inclus dans Cortana Analytics :

Pour en apprendre davantage sur Cortana Analytics : aka.ms/cortanaanalyticsprocess

4 - Présentation de Event Hubs

Event Hubs est un récepteur d'événements fortement évolutifs de type publication-abonnement qui peut recevoir des millions d'événements par seconde afin de pouvoir traiter et analyser des quantités volumineuses de données. Dans la solution, nous utiliserons Event Hub pour ingérer les données collectées toutes les minutes de façon à les transmettre au Job Azure Stream Analytics.

La configuration des partitions permet de recevoir jusqu’à 1 million d’évènements par seconde. L’envoi d’événements peut se faire soit en utilisant un HTTP POST ou via le protocole AMQP 1.0 (Advanced Message Queuing Protocol).

5 - Présentation de Stream Analytics

Azure Stream Analytics (ASA) est un service dans Azure qui permet de gérer des évènements en temps réel afin de récupérer des informations pertinentes sur des flux de données qui transitent en continu.

Stream Analytics permet de réaliser très simplement des requêtes d’analyse sur un flux de données qui proviennent de périphériques, de capteurs, de sites web, de médias sociaux, d’applications, de systèmes d’infrastructures, ou autre.

Un job Stream Analytics est défini par : une requête, une entrée, une sortie et depuis peu des Fonctions (en Preview).

Plus d’information sur Stream Analytics : https://azure.microsoft.com/en-us/documentation/articles/stream-analytics-introduction/

Dans la solution nous utiliserons Stream Analytics pour réaliser une architecture Lambda :

Configuration du service ASA :

Exemple de la requête récupérant les premiers évènements reçus toutes les 5 minutes par stationid afin de les envoyer à Power BI :

Information sur la fonction « IsFirst » : https://msdn.microsoft.com/en-us/library/azure/dn966248.aspx

Création d'une Lambda architecture depuis Azure Stream Analytics :

6 - Conclusion

Dans cet article nous avons présenté la solution et la mise en place des services Azure Event Hubs, Stream Analytics et Data Factory.

Exemples de rapports Power BI Embedded :

Voici quelques exemples de l'intégration de Power BI avec Cortana, il suffit de lui poser une question !

Nous réalisons actuellement des vidéos sur la mise en place des différentes briques, elles seront publiées sur le site Microsoft Virtual Academy.

Lien vers le deuxième article : https://blogs.msdn.microsoft.com/big_data_france/2016/03/29/velib-cortana-analytics-2/

Dans le prochain article, nous verrons comment créer une pipeline Azure Data Factory pour scheduler et ordonnancer les différents services Azure.

Lien vers le deuxieme article : Vélib & Cortana Analytics – Deuxième partie.

1 - Introduction

Dans cet article je vais présenter une des nouveautés du service Azure Stream Analytics permettant d’appeler en temps réel un web service AzureML !

Pour présenter cette nouveauté, nous prendrons un cas concret d’utilisation, l’analyse de mots clefs sur le réseau social Twitter et analyse des sentiments des tweets en temps réel !

Nous créerons pour cela une architecture l’Ambda permettant de :

• Stocker les données pour de futures analyses

• Analyser en temps réel avec Power BI les données

2 - Récupération et envoi des Tweets dans un Events Hub

Une solution C# me permet de scruter le réseau social à la recherche de mots clés (Azure, Pulsweb, GUSS, SQLServer, AzureML), d’appeler l’API Sentiment 140 pour qualifier les tweets et de les envoyer dans un Events Hub (eventhubtweets) :

3 - Azure Machine Learning

Le service AzureML n’est plus à présenter : http://www.pulsweb.fr/predict-wine-quality-azureml/

Téléchargement dans mon Studio de la solution d’analyse de sentiments à partir de la galerie Cortana Analytics : Predictive sentiment analytics model.

Pour ce faire :

1. Accédez à l’expérimentation : Predictive sentiment analytics model

2. Open in Studio

3. Copie de l’expérimentation dans votre Studio

4. Exécution

5. Publication de l'expérience

Vous devriez avoir cela :

Test du Web Service :

Test du Web Service en mode batch avec Azure Machine Learning Excel Add-In :

4 - Azure Stream Analytics

Le service Azure Stream Analytics n’est plus à présenter : http://www.pulsweb.fr/?s=stream+analytics

Après avoir créé un Stream Analytics Job « twitteranalysis », j’ai configuré un Input de type Event Hub, se connectant à l’Event Hub recevant les Tweets.

Ajout d’une fonction Azure Machine Learning :

Création d’outputs : Définition de l’architecture Lambda

Une sortie pour le stockage des données et une sortie pour l’analyse en temps réel dans Power BI :

Configuration de la requête :

Récupération du sentiment du Tweet en appelant la fonction « sentiment » provenant du service AzureML :

WITH subquery AS (  
	SELECT 
		System.Timestamp AS Time, 
		Text, 
		Topic, 
		SentimentScore,
		sentiment(Text) AS result
	FROM TwitterStream TIMESTAMP BY CreatedAt
	WHERE LANGUAGE = 'en'
)  
SELECT Time, Text, Topic, SentimentScore, result.* INTO OutputToBlob FROM subquery 

SELECT Time, Text, Topic, SentimentScore, result.* INTO tweets FROM subquery

Deux colonnes seront ajoutées dans les sorties : Scored Labels et Scored Probabilities.

5 - Test de la solution

Depuis Power BI, un nouveau Dataset apparait :

Les données ont aussi été stockées dans un Blob Storage :

6 - Conclusion

Dans cet article, nous avons créé un Stream Analytics Job permettant d’analyser en temps réel le sentiment des Tweets en utilisant une expérimentation AzureML.

Voici une architecture pouvant être mise en place pour compléter celle réalisée :

Les flèches rouges correspondantes au Real Time.

Si vous souhaitez apprendre davantage sur ces solutions, n’hésitez pas à contacter votre TAM. Nous délivrons avec Mathias Ekizian un Workshop de 3 jours d'Introduction au Big Data et Machine Learning.

---

Romain Casteres

Premier Field Engineer – SQL Server & BI & Big Data

Dans cette seconde partie, nous allons utiliser le complément pour Visual Studio téléchargeable à cette adresse (Azure Data Lake Tools for Visual Studio) pour analyser des Tweets.

Upload de données dans l’Azure Data Lake Store (ADLS)

Après avoir téléchargé et installé le complément Data Lake pour Visual Studio, il faut configurer le compte Azure d’accès au service :

Une fois connecté, on retrouve dans l’arborescence « Server Explorer », la partie Data Lake :

Dans le compte Data Lake « Sandbox », on a accès aux bases de données, a l’historique des jobs et aux ADLS :

Il est alors possible, de pré visualiser les données (même si le fichier fait 2To !), et d’uploader aisément via une interface graphique de nouveaux fichiers.

Nous avons téléchargé et ulpoadé les exports des comptes Twitter de FranmerMS, GUSS_FRANCE et PulsWeb via le site internet : http://www.tweetdownload.net/

Voici à quoi ressemblent les fichiers sources :

Voici les différentes méthodes pour uploader des données dans le ADLS :

Exécution de Job Azure Data Lake Analytics (ADLA)

Création d’un script U-SQL, cliquez sur « File », « New », « Project… » :

Voici un premier exemple d’analyse du nombre de Tweets par auteurs :

Le fichier d’output sera ordonné par le nombre de Tweets, les auteurs ayant le plus Twitté seront les premiers.

Lorsque l’on soumet le Job U-SQL, celui-ci est valide, buildé. Une fenêtre nous permet alors de choisir le dégrée de parallélisme du traitement.

Il est possible d’investiguer le flux du traitement de données avant l’exécution du Job, dans l’onglet « Design » :

Exécution du Job :

Une fois le Job exécuté, il est possible de diagnostiquer le Job afin d’optimiser son cout, sa rapidité, … :

Ici, sur le parallélisme 10 choisi, seule une unité a été utilisée, donc 9 ne sont pas nécessaires pour ce traitement simple :

U-SQL (SQL & C#)

Le U-SQL pour Unified SQL, unifie la nature déclarative de SQL avec la puissance expressive de C#.

Il est possible de référencer des Assembly pour customiser à volonté en C# les traitements à effectuer.

Ici, sont référencé deux Assemblies pour pouvoir lire des fichiers aux formats JSON (Assemblies-> Register), vous pouvez la télécharger à cette adresse : https://github.com/MicrosoftBigData/usql/tree/master/Examples

Voici comment l’utiliser :

 Remarque : Il est possible de travailler sur tous les fichiers d’un dossier via le caractère « {*} ».

Export du résultat de l’analyse dans un Blob Storage (WASB)

Voici un script un peu plus complexe, exportant les données du ADLS vers un Azure Blob Storage après avoir rajouté de l’intelligence aux données :

Chaque fichier U-SQL possède son fichier C# :

Voici le code de celle-ci :

Remarque :

-          La fonction WordCount comme son nom l’indique, récupère le nombre de mots dans un texte (ici des Tweets)

-          La fonction HTTP retourne un booléen par rapport à la présence d’une URL dans des Tweets

-          La fonction Sentiment recherche la présence d’émoticône et affecte un sentiment aux Tweets.

Trois fichiers sont alors exportés dans le Blob Storage :

Analyse avec Power BI et les Customized Data Vizualisation

Une fois ces fichiers dans le Blob Storage, on peut utiliser Power BI pour les analyser :

Analyse des Mentions :

 Analyse animée des WordCounts :

Analyse des Htags :

Voici l’adresse pour télécharger les Data Visualisation pour Power BI : https://app.powerbi.com/visuals

Bien que dans la démonstration, les données ont été uploadées sur un Blob Storage, la dernière version de Power BI disponible à cette adresse permet d’analyser les données de l’Azure Data Lake Store : http://blogs.msdn.com/b/powerbi/archive/2015/11/20/power-bi-desktop-expanding-list-of-enterprise-data-connectors.aspx

Franck Mercier et Romain Casteres