HDInsight no AKS – Perguntas frequentes
Este artigo aborda algumas perguntas comuns sobre o Azure HDInsight no AKS.
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente o suporte básico estará disponível até a data de desativação.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
Geral
O que é o HDInsight no AKS?
O HDInsight no AKS é uma nova versão do HDInsight, que fornece serviço de cluster gerenciado pronto para empresas com projetos emergentes de análise de software livre, como Apache Flink (para Streaming), Trino (para análise de adhoc e BI) e Apache Spark. Para obter mais informações, consulte Visão Geral.
Quais formas de cluster dão suporte ao HDInsight no AKS?
O HDInsight no AKS dá suporte a Trino, Apache Flink e Apache Spark para começar. No entanto, outras formas de cluster, como Kafka, Hive etc., estão em roteiro.
Como começar a usar o HDInsight no AKS?
Para começar, visite o Azure Marketplace e pesquise o Azure HDInsight no serviço do AKS e veja como começar.
O que acontece com o HDInsight existente na VM e os clusters que estou executando hoje?
Não há alterações no HDInsight (HDInsight na VM). Todos os clusters existentes continuam a ser executados e você pode continuar a criar e dimensionar novos clusters HDInsight.
Qual sistema operacional tem suporte com o HDInsight no AKS?
O HDInsight no AKS é baseado no so mariner. Para obter mais informações, consulte a versão do sistema operacional.
Em quais regiões o HDInsight está disponível no AKS?
Para obter uma lista de regiões com suporte, consulte a disponibilidade de região.
Qual é o custo para implantar um HDInsight no cluster do AKS?
Para obter mais informações sobre preços, consulte HDInsight sobre preços do AKS.
Gerenciamento de clusters
Posso executar vários clusters simultaneamente?
Sim, você pode executar quantos clusters desejar por pool de cluster simultaneamente. No entanto, verifique se você não está restrindo por cota para sua assinatura. O número máximo de nós permitido em um pool de clusters é 250 (em versão prévia pública).
Posso instalar ou adicionar mais plug-ins/bibliotecas no meu cluster?
Sim, você pode instalar plug-ins e bibliotecas personalizados dependendo das formas do cluster.
- Para trino, consulte Instalar plug-ins personalizados.
- Para o Spark, consulte o gerenciamento de biblioteca no Spark.
Posso fazer O SSH no meu cluster?
Sim, você pode SSH em seu cluster por meio de webssh e executar consultas e enviar trabalhos diretamente de lá.
Metastore
Posso usar um metastore externo para me conectar ao meu cluster?
Sim, você pode usar um metastore externo. No entanto, oferecemos suporte apenas ao Banco de Dados SQL do Azure como um metastore personalizado externo.
Posso compartilhar um metastore em vários clusters?
Sim, você pode compartilhar um metastore em vários HDInsight do AKS.
Qual é a versão do metastore do Hive com suporte?
Metastore do Hive versão 3.1.2
Cargas de trabalho
Trino
O que é trino?
O Trino é um mecanismo de consulta SQL federado e distribuído de software livre, que permite consultar dados que residem em diferentes fontes de dados sem migrar para um data warehouse central. Você pode consultar os dados usando o SQL ANSI, não é necessário aprender um novo idioma. Para obter mais informações, consulte a visão geral do Trino.
Qual é o suporte a todos os conectores?
O HDInsight no AKS Trino dá suporte a vários conectores. Para obter mais informações, consulte esta lista de conectores do Trino. Continuamos adicionando novos conectores como e quando novos conectores estão disponíveis na versão de software livre.
Posso adicionar catálogos a um cluster existente?
Sim, você pode adicionar catálogos com suporte ao cluster existente. Para obter mais informações, consulte Adicionar catálogos a um cluster existente.
Apache Flink
O que é Apache Flink?
O Apache Flink é um mecanismo de análise de software livre de melhor classe para processamento de fluxo e para executar computação com estado em fluxos de dados não associados e limitados. Ele pode executar cálculos em velocidade na memória e em qualquer escala. O Flink no HDInsight no AKS oferece o Apache Flink de software livre gerenciado. Para obter mais informações, consulte a visão geral do Flink.
Você dá suporte ao modo de sessão e aplicativo no Apache Flink?
No HDInsight no AKS, o Flink atualmente dá suporte a clusters de modo de sessão.
O que é o gerenciamento de back-end de estado e como ele é feito no HDInsight no AKS?
Os back-ends determinam onde o estado é armazenado. Quando o ponto de verificação é ativado, o estado é mantido nos pontos de verificação para se proteger contra perda de dados e se recuperar consistentemente. Como o estado é representado internamente e como e onde ele é mantido em pontos de verificação dependem do Back-end de Estado escolhido. Para obter mais informações, confira a Visão geral do Flink
Apache Spark
O que é o Apache Spark?
O Apache Spark é uma estrutura de processamento de dados que pode executar rapidamente tarefas de processamento em grandes conjuntos de dados e também pode distribuir tarefas de processamento de dados em vários computadores, por conta própria ou em conjunto com outras ferramentas de computação distribuídas.
Quais APIs de idioma têm suporte no Spark?
O Azure HDInsight no AKS dá suporte a Python e Scala.
Há suporte para metastore externo no HDInsight no AKS Spark?
O HDInsight no AKS dá suporte à conectividade metastore externa. Atualmente, apenas o BD SQL do Azure tem suporte como metastore externo.
Quais são as várias maneiras de enviar trabalhos no HDInsight no AKS Spark?
Você pode enviar trabalhos no HDInsight no AKS Spark usando Jupyter Notebook, Zeppelin Notebook, SDK e terminal de cluster. Para obter mais informações, consulte Enviar e gerenciar trabalhos em um cluster Spark no HDInsight no AKS