Épisode

Sketch2Code

Le besoin- Le processus de conception de l’interface utilisateur implique beaucoup de créativité qui commence sur un tableau blanc où les concepteurs partagent des idées. Une fois qu’une conception est dessinée, elle est généralement capturée dans une photographie et traduite manuellement en un wireframe HTML fonctionnel à utiliser dans un navigateur web. Cela prend des efforts et retarde le processus de conception.

 

La solution- Dans Microsoft Cognitive Services, nous hébergeons Vision par ordinateur Service. Le modèle derrière ce service a été entraîné avec des millions d’images et permet la détection d’objets pour un large éventail de types d’objets. Dans ce cas, nous devons créer un modèle personnalisé et l’entraîner avec des images d’éléments de conception dessinés à la main comme une zone de texte, un bouton ou une zone de liste modifiable. Le service Custom Vision nous donne la possibilité d’entraîner des modèles personnalisés et d’effectuer la détection d’objets pour eux. Une fois que nous pouvons identifier les objets HTML, nous utilisons la fonctionnalité de reconnaissance de texte présente dans le service Vision par ordinateur pour extraire du texte écrit à la main présent dans la conception. En combinant ces deux éléments d’informations, nous pouvons générer les extraits HTML des différents éléments de la conception. Nous pouvons ensuite déduire la disposition de la conception à partir de la position des éléments identifiés et générer le code HTML final en conséquence.

 

Produits et services - Vision par ordinateur (modèles OCR manuscrits), Custom Vision, Azure Functions, Blob Stockage, WebApp

Créer un compte gratuit (Azure) : https://aka.ms/azft-ai

https://www.ailab.microsoft.com/experiments/30c61484-d081-4072-99d6-e132d362b99d/