Compartilhar via

Um índice de notebooks de gerenciamento para os Clusters de Big Data do SQL Server

  • Artigo

Esta página é um índice de notebooks para Clusters de Big Data do SQL Server. Esses notebooks executáveis (.ipynb) gerenciam Clusters de Big Data para SQL Server 2019.

Importante

O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.

Você pode gerenciar Clusters de Big Data do SQL Server com notebooks Jupyter. Quando você faz isso, todos os notebooks verificam as próprias dependências. A opção Executar todas as células é concluída com êxito ou gera uma exceção com uma dica de hiperlink para outro notebook resolver a dependência ausente. Siga o hiperlink de dica para o notebook de destino e clique em Executar todas as células. Após a conclusão bem-sucedida, retorne ao notebook original e selecione Executar todas as células.

Quando todas as dependências são instaladas e Executar todas as células falha, cada notebook analisa os resultados. Sempre que possível, uma dica com hiperlink fornece orientações sobre como resolver o problema.

Instalar e desinstalar utilitários em Clusters de Big Data

Veja a seguir um conjunto de notebooks úteis para instalar e desinstalar ferramentas de linha de comando. Eles também fornecem pacotes para gerenciar Clusters de Big Data do SQL Server.

Nome Descrição
SOP012 – Instalar o unixodbc para Mac Use esse notebook quando encontrar erros ao usar brew para instalar o ODBC para SQL Server.
SOP036 – Instalar a interface de linha de comando kubectl Use esse notebook para instalar a interface de linha de comando do kubectl independentemente do seu sistema operacional.
SOP037 – Desinstalar a interface de linha de comando do kubectl Use esse notebook para desinstalar a interface de linha de comando do kubectl independentemente do seu sistema operacional.
SOP038 – Instalar a interface de linha de comando do Azure Use esse notebook para instalar a interface de linha de comando da CLI do Azure independentemente do seu sistema operacional.
SOP040 – Atualizar pip na área restrita Python do ADS Use esse notebook para atualizar o pip na área restrita do Python do ADS.
SOP059 – Instalar o módulo do Kubernetes do Python Use esse notebook para instalar os módulos do Kubernetes com o Python.
SOP060 – Desinstalar o módulo do Kubernetes Use esse notebook para desinstalar os módulos do Kubernetes com o Python.
SOP062 – Instalar os módulos ipython-sql e pyodbc Use esse notebook para instalar os módulos ipython-sql e pyodbc.
SOP069 – Instalar o ODBC for SQL Server Use esse notebook para instalar o driver ODBC, já que alguns subcomandos no azdata exigem o driver ODBC do SQL Server.

Fazer backup de Clusters de Big Data e restaurá-los

Veja a seguir um conjunto de notebooks úteis para operações de backup e restauração em Clusters de Big Data do SQL Server.

Nome Descrição
SOP008 – Fazer backup de arquivos do HDFS para o Azure Data Lake Storage Gen2 com distcp Esse SOP (Procedimento Operacional Padrão) fará backup dos dados do sistema de arquivos de origem do HDFS do cluster de Big Data para a conta do Azure Data Lake Store Gen2 que você especificar. Verifique se a conta do Azure Data Lake Store Gen2 está configurada com "namespace hierárquico" habilitado.

Gerenciar Certificados em Clusters de Big Data

Veja a seguir um conjunto de notebooks para gerenciar certificados em Clusters de Big Data.

Nome Descrição
CER001 – Gerar um Certificado de Autoridade de Certificação raiz Gere um Certificado de Autoridade de Certificação raiz. Considere usar um Certificado de Autoridade de Certificação raiz para todos os clusters de não produção em cada ambiente, pois essa técnica reduz o número de certificados de AC raiz que precisam ser carregados para clientes que se conectam a esses clusters.
CER002 – Baixar um Certificado de Autoridade de Certificação raiz existente Use esse notebook para baixar um Certificado de Autoridade de Certificação raiz gerado de um cluster.
CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente.
CER004 – Baixar e carregar um Certificado de Autoridade de Certificação raiz existente Baixe e carregue um Certificado de Autoridade de Certificação raiz existente.
CER005 – Instalar um novo Certificado de Autoridade de Certificação raiz Instala um novo Certificado de Autoridade de Certificação raiz.
CER010 – Instalar a AC raiz gerada localmente Esse notebook copiará localmente (de um cluster de Big Data) o Certificado de Autoridade de Certificação Raiz gerado que foi instalado usando CER001 – Gerar um Certificado de Autoridade de Certificação Raiz ou CER003 – Carregar o Certificado de Autoridade de Certificação Raiz existente e instalará esse Certificado no repositório de certificados local desse computador.
CER020 – Criar um certificado de proxy de gerenciamento Esse notebook cria um certificado para o ponto de extremidade de proxy de gerenciamento.
CER021 – Criar certificado Knox Esse notebook cria um certificado para o ponto de extremidade de gateway Knox.
CER022 – Criar certificado de proxy de aplicativo Esse notebook cria um certificado para o ponto de extremidade de proxy de implantação de aplicativo.
CER023 – Criar certificado mestre Esse notebook cria um certificado para o ponto de extremidade mestre.
CER024 – Criar certificado do controlador Esse notebook cria um certificado para o ponto de extremidade do controlador.
CER025 – Carregar certificado de Proxy de Gerenciamento existente Esse notebook carrega um certificado de Proxy de Gerenciamento existente.
CER026 – Carregar certificado de Gateway existente Esse notebook carrega um certificado de Gateway gerado externamente a um cluster.
CER027 – Carregar um certificado de Proxy do Serviço de Aplicativo existente Esse notebook carrega um certificado de Serviço de Aplicativo gerado externamente a um cluster.
CER028 – Carregar certificados Mestre existentes Esse notebook carrega um certificado de Gateway gerado externamente a um cluster.
CER028 – Carregar certificado de Controlador existente Esse notebook carrega um certificado de Controlador gerado externamente a um cluster.
CER030 – Assinar o certificado de proxy de gerenciamento com a AC gerada Esse notebook assina o certificado criado usando CER020 – Criar um certificado de proxy de gerenciamento com o Certificado de Autoridade de Certificação raiz criado usando CER001 – Gerar um Certificado de Autoridade de Certificação raiz ou CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente
CER031 – Assinar um certificado Knox com uma AC gerada Esse notebook assina o certificado criado usando CER021 – Criar um certificado Knox com o Certificado de Autoridade de Certificação raiz criado usando CER001 – Gerar um Certificado de Autoridade de Certificação raiz ou CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente
CER032 – Assinar o certificado de proxy de aplicativo com a AC gerada Esse notebook assina o certificado criado usando CER022 – Criar um certificado de proxy de aplicativo com o Certificado de Autoridade de Certificação raiz criado usando CER001 – Gerar um Certificado de Autoridade de Certificação raiz ou CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente.
CER033 – Assinar um certificado mestre com uma AC gerada Esse notebook assina o certificado criado usando CER023 – Criar um certificado mestre com o Certificado de Autoridade de Certificação raiz criado usando CER001 – Gerar um Certificado de Autoridade de Certificação raiz ou CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente.
CER034 – Assinar certificado do Controlador com a AC gerada Esse notebook assina o certificado criado usando CER024 – Criar um certificado de Controlador com o Certificado de Autoridade de Certificação raiz criado usando CER001 – Gerar um Certificado de Autoridade de Certificação raiz ou CER003 – Carregar um Certificado de Autoridade de Certificação raiz existente.
CER040 – Instalar um certificado de proxy de gerenciamento assinado Esse notebook instala o certificado assinado no cluster de Big Data usando CER030 – Assinar o certificado de Proxy de gerenciamento com a AC gerada.
CER041 – Instalar um certificado Knox assinado Esse notebook instala o certificado assinado no cluster de Big Data usando CER031 – Assinar um certificado Knox com uma AC gerada.
CER042 – Instalar um certificado de proxy de aplicativo assinado Esse notebook instala o certificado assinado no cluster de Big Data usando CER032 – Assinar o certificado de Proxy de Aplicativo com a AC gerada.
CER043 – Instalar certificado Mestre assinado O certificado assinado usando CER033 – Assinar o certificado Mestre com a AC Raiz do cluster é instalado por esse notebook no cluster de Big Data. Observe que, no final desse notebook, os pods Mestre serão reiniciados para carregar os novos certificados.
CER044 – Instalar um certificado do Controlador assinado O certificado assinado usando CER034 – Assinar o certificado do Controlador com a AC Raiz do cluster é instalado por esse notebook no cluster de Big Data. Observe que, no final desse notebook, o pod do Controlador e todos os pods que usam o PolyBase (pods do Pool de Computação e do Pool Mestre) serão reiniciados para carregar os novos certificados.
CER050 – Aguardar que o BDC fique íntegro Esse notebook aguardará até que o cluster de Big Data tenha retornado a um estado íntegro depois que o pod do Controlador e os pods que usam o PolyBase tiverem sido reiniciados para carregar os novos certificados.
CER100 – Configurar o cluster com certificados autoassinados Esse notebook gerará uma nova AC Raiz no cluster de Big Data e criará certificados para cada ponto de extremidade (esses pontos de extremidades são: Gerenciamento, Gateway, Proxy de Aplicativo e Controlador). Assine cada novo certificado com a nova AC Raiz gerada, exceto o certificado do Controlador (que é assinado com a AC Raiz do cluster existente) e instale cada certificado no cluster de Big Data. Baixe a nova AC Raiz gerada no repositório de certificados das Autoridades de Certificação Raiz Confiáveis desse computador. Todos os certificados autoassinados gerados serão armazenados no pod do controlador na localização test_cert_store_root.
CER101 – Configurar o cluster com certificados autoassinados usando a AC raiz existente Esse notebook usará uma AC Raiz gerada existente no cluster de Big Data (carregada com CER003), criará certificados para cada ponto de extremidade (Gerenciamento, Gateway, Proxy de Aplicativo e Controlador), depois assinará cada novo certificado com a nova AC Raiz gerada, exceto o certificado do Controlador (que é assinado com a AC Raiz do cluster existente) e, por fim, instalará cada certificado no cluster de Big Data. Todos os certificados autoassinados gerados serão armazenados no pod do controlador (na localização test_cert_store_root). Após a conclusão desse notebook, todo o acesso https:// ao cluster de Big Data deste computador (e de qualquer computador que instale a nova AC Raiz) será exibido como sendo seguro. O capítulo do Executor do Notebook garantirá que o CronJobs criado (OPR003) para executar a implantação do aplicativo instale a AC raiz do cluster a fim de permitir que tokens JWT e o swagger.json sejam obtidos com segurança.
CER102 – Configurar o cluster com certificados autoassinados usando a AC de cluster de Big Data existente Esse notebook configurará o cluster com certificados auto-assinados usando a AC de Cluster de Big Data existente. Leia o notebook para obter informações detalhadas.
CER103 – Configurar Cluster com certificados assinados externamente A finalidade desse notebook é girar os certificados de ponto de extremidade com aqueles gerados e assinados fora do cluster de Big Data. Leia o notebook para obter informações detalhadas.

Utilitários de criptografia em repouso em Clusters de Big Data

Esta seção contém um conjunto de notebooks para gerenciar a Criptografia em Repouso no BDC.

Nome Descrição
SOP0124 – Listar chaves para criptografia em repouso Use este notebook para listar todas as chaves do HDFS.
SOP0128 – Habilitar as zonas de criptografia do HDFS em Clusters de Big Data Use este notebook para habilitar zonas de criptografia do HDFS ao atualizar da versão CU6 ou anterior para a CU8. Não é necessário em novas implantações da versão CU8 ou posterior nem ao atualizar para a CU9.
SOP0125 – Excluir chave para criptografia em repouso Use este notebook para excluir as chaves de zona de criptografia do HDFS. Cuidado
SOP0126 – Chaves de backup para criptografia em repouso Use este notebook para fazer backup das chaves de zona de criptografia do HDFS.
SOP0127 – Restaurar chaves para criptografia em repouso Use este notebook para restaurar as chaves de zona de criptografia do HDFS.

Rotação de senha

Notebooks para gerenciar a rotação de senha em Clusters de Big Data.

Nome Descrição
PASS001 – Atualizar senha do controlador de domínio do administrador Este notebook presume que a senha DSA já está atualizada no Controlador de Domínio. Execute este notebook com os parâmetros fornecidos para atualizar o Cluster de Big Data com a nova senha DSA. Isso reiniciará o pod do controlador.

Próximas etapas

Para obter mais informações sobre Clusters de Big Data do SQL Server, confira O que são Clusters de Big Data do SQL Server 2019.