Advanced Analytics https://docs.microsoft.com/archive/blogs/mlblog/feed.xml Tue, 16 Apr 2019 05:20:49 GMT pt_BR hourly 1 Introdução ao LUIS (Language Understanding) https://docs.microsoft.com/archive/blogs/mlblog/introducao-ao-luis-language-understanding Tue, 06 Feb 2018 12:54:10 GMT https://blogs.msdn.microsoft.com/mlblog/?p=296 https://luis.ai) possibilita colocar entendimento semântico sobre frases usadas para identificar a intenção desejada e entidades envolvidas para que seja realizada determinada ação. Podemos integrar com a plataforma de chat bot da microsoft (https://dev.botframework.com/)  e também com os serviços cognitivos de fala (https://azure.microsoft.com/pt-br/services/cognitive-services/speech/), para termos a conversão de voz para texto e então para o entendimento. O Wagner Crivelini (SR Consultant) do time de consultoria (MCS) da Microsoft fez uma série de artigos sobre LUIS. Vale a pena conferir.
  1. Introdução ao LUIS – Parte 01: Conceitos importantes
  2. Introdução ao LUIS – Parte 02: Criando Modelos
  3. Introdução ao LUIS – Parte 03: Treinando Modelos
  4. Introdução ao LUIS – Parte 04: Aplicação em Produção
Recomendo também uma olhada na documentação: https://docs.microsoft.com/en-us/azure/cognitive-services/LUIS/Home Para maiores informações sobre outras ferramentas cognitivas recomendo darem uma olhada aqui: https://azure.microsoft.com/pt-br/services/cognitive-services/. Por hoje é isso pessoal. Obrigado! - Zavaschi]]> Simpósio de Big Data no SENAC de São José do Rio Preto https://docs.microsoft.com/archive/blogs/mlblog/simposio-de-big-data-no-senac-de-sao-jose-do-rio-preto Fri, 02 Feb 2018 12:11:34 GMT https://blogs.msdn.microsoft.com/mlblog/?p=295 Simpósio de Big Data promovido pelo SENAC de São José do Rio Preto. Onde diversos professores, doutores e especialistas de mercado farão apresentações sobre o tema. Vou palestrar sobre Aprendizagem de Maquina (Machine Learning) e Inteligência Artificial. Maiores informações: https://dhojeinterior.com.br/senac-sao-jose-do-rio-preto-realiza-simposio-de-tecnologia-da-informacao-com-o-tema-big-data/ Para quem desejar baixar o material da apresentação, basta utilizar o seguinte link: Download da Apresentação Muito obrigado e até lá! - Zavaschi]]> Otimizando AUs Azure Data Lake Analytics https://docs.microsoft.com/archive/blogs/mlblog/otimizando-aus-azure-data-lake-analytics Wed, 31 Jan 2018 14:06:36 GMT https://blogs.msdn.microsoft.com/mlblog/?p=105 documentação oficial. Otimizar o número de AUs em cada Job não é somente sobre economizar dinheiro, e sim sobre otimizar o seu ambiente para execução de jobs. Antes de demonstrar como analisar se a quantidade de AUs esta adequada, e quais ganhos podemos ter com um aumento ou diminuição delas, é importante entender como o ADLA faz o uso. ( Para quem estiver acostumado a clusters Hadoop, vocês podem imaginar as AUs sendo um container Yarn ) AUs (Analytics Units) são as unidades de processamento utilizadas pelo ADLA ao executar um Job, sendo o job um script U-SQL. Atualmente existe o limite de 250 AU por cada ADLA Account, e é possível executar 20 Jobs em paralelo. Esses valores podem ser alterados mediante a abertura de um chamado, não vou abordar sobre isso nesse post. Vocês devem imaginar que quanto maior o número de AUs utilizadas pelo job, mais rápido será o processamento do mesmo, mas isso não é sempre verdade, e é exatamente o que eu quero demonstrar aqui, junto a possíveis malefícios em utilizar valores muito altos. Com 250 AUs posso ter vários cenários, como por exemplo:
1 job utilizando 250 AU 10 jobs utilizando 25 AU cada 2 jobs utilizando 100 AU cada e 50 AU disponíveis
Conforme os exemplos acima, logo de cara podemos perceber que quanto maior o número de AUs, menor a quantidade de jobs executados simultaneamente. Também validamos que não é necessário utilizar todas as AUs em um unico job. Não analisamos o tempo de execução para cada job e quantidade de AUs que o job se beneficia. Ok, e como fazemos isso?! Data Lake Tools for Visual Studio é a resposta! Após instalar o Data Lake Tools for Visual Studio e entender o básico da navegação ( o último link vai auxilia-los nisso), é hora de analisar um job. Vamos executar o job abaixo com 1 AU. Os seguintes passos serão realizados durante a execução:
    • Script sera carregado na nuvem, compilado e otimizado pelo compile service.
    • Alocado em fila para execução.
    • Executado.
    • Finalizado.
 
@searchlog = EXTRACT UserId          int, Start           DateTime, Region          string, Query           string, Duration        int, Urls            string, ClickedUrls     string FROM @"/Samples/Data/SearchLog.tsv" USING Extractors.Tsv();//Insert it into a previously created table INSERT INTO SampleDBTutorials.dbo.SearchLog SELECT * FROM @searchlog;
  Esse script basicamente lê informações do arquivo SearchLog.Tsv, que esta armazenado em um Azure Data Lake Store relacionado ao ADLA, e salva as informações em uma managed table criada por outro script no ADLA. ( Para mais informações sobre managed tables e external tables, vocês podem olhar aqui) Por quê você começou executando somente com 1 AU? Preciso avaliar o plano de execução para decidir aumentar ou não a quantidade de AUs, não existe fórmula para especificar a melhor quantidade de AU para a primeira execução, o recomendado é avaliar seu input, e calcular 1 GB de dados por cada 1 AU. image   Analisando o job graph acima, vemos que nosso job foi dividido em vários “pedaços” chamados vertices, que são agrupados em Stage ou Super Vértices ( Retângulos verdes). Em cada um dos super vértices, temos a informação de quantos vérticies foram utilizados para processar, quantas linhas foram processadas, reads, writes, etc. Abaixo uma imagem com todas as informações. image Cada vértice pode processar 1 AU, dessa forma os super vérticies que alocaram mais de 1 vértice, podem fazer uso de mais AUs caso elas sejam alocadas (paralelismo). No cenário em que estamos trabalhando, os super vértices SV1e SV3 utilizam somente 1 vértice e não são executadas simultaneamente, ou seja, a execução do job com AU = 1 é suficiente para essas stages. Para o SV2, foram criados 2 vértices, utilizando  AU = 1 não seria possível executar os 2 vertices em paralelo, sendo necessário executa-los em série. Nesse cenário seria interessante aumentar a quantidade de AUs para 2, mas e se aumentarmos para 5? image Aumentando a quantidade de AUs para 5, o job processou mais rápido conforme podemos verificar pela imagem acima, mas processamos com 5 AUs e de acordo com o job graph são utilizados no máximo 2 em paralelo, quer dizer que estou alocando mais recurso do que preciso e não utilizando? A resposta é SIM! Se verificarmos a aba Diagnostics dentro do Visual Studio, vamos descobrir que o próprio ADLA nos diz isso.   image

Temos 3 AUs alocadas a mais do que o necessário!!

Esse seria um exemplo de um troubleshooting básico, em um cenário real com milhares de dados e transformações, teriamos muitos outros super vértices e possivelmente muitos outros vértices. Mas da mesmo forma seria um bom ponto de partida para otimizar seus jobs. Informações mais detalhadas sobre o Job Browser e o Job View podem ser encontradas aqui. []s André]]> Microsoft Tech Summit 2017 https://docs.microsoft.com/archive/blogs/mlblog/microsoft-tech-summit-2017 Wed, 13 Dec 2017 10:05:56 GMT https://blogs.msdn.microsoft.com/mlblog/?p=115 Microsoft Tech Summit 2017 com o tema de upgrade de SQL Server 2017. Nesta sessão tivemos a oportunidade de contar um pouquinho sobre os novos recursos que vieram na versão recém lançada (2017). Como prometido, a apresentação e o script utilizado na demo de native scoring e ML Services encontram-se aqui para download. BRK2045_Upgrade-SQL-Server-2017-On-Prem-IaaS-and-PaaS_final ML_Demo Abraços e até a próxima! Zavaschi]]> Advanced Analytics, Machine Learning, Big Data, etc. :) https://docs.microsoft.com/archive/blogs/mlblog/advanced-analytics-mahine-learning-big-data-etc Tue, 26 Sep 2017 13:35:44 GMT https://blogs.msdn.microsoft.com/mlblog/?p=45 Obs: meu antigo blog (zavaschi.com) faleceu - RIP - e agora esse endereço aponta (apontará) para cá também. Infelizmente o conteúdo postado se perdeu no tempo e espaço :(, mas logo teremos bastante coisa interessante e atualizada por aqui. Abraços, Zavaschi]]>