Listar seu produto de dados no Databricks Marketplace

Esse artigo descreve como se tornar um fornecedor do Databricks Marketplace e como criar uma listagem do Databricks Marketplace para seus produtos de dados.

Antes de começar

Para listar produtos no Databricks Marketplace, você deve concordar com as políticas do fornecedor, e sua conta e seus workspace devem atender a determinados requisitos.

Políticas:

Para listar produtos de dados na exchange do Marketplace, você deve concordar com as Políticas do provedor do Marketplace.

Requisitos de conta e espaço de trabalho:

O Databricks Marketplace usa Delta Sharing para gerenciar o compartilhamento seguro de produtos de dados. O Delta Sharing, por sua vez, exige que seu workspace do Databricks esteja habilitado para o Catálogo do Unity. A sua conta e o workspace do Azure Databricks devem, portanto, cumprir os seguintes requisitos:

• Conta do Azure Databricks no plano Premium.
• Um workspace do Azure Databricks habilitado para o Catálogo do Unity. Consulte Habilitar um workspace para o Catálogo do Unity. Você não precisa habilitar todos os seus workspaces para o Catálogo do Unity. Você pode criar uma simplesmente para gerenciar listagens do Marketplace.

Se você tiver workspaces que atendam esses critérios, seus usuários poderão exibir a página inicial do Marketplace. Permissões adicionais são necessárias para criar e gerenciar listagens. Elas são enumerados nas seções a seguir. Se você não deseja que seus usuários possam exibir a página inicial do Marketplace, contate a equipe da sua conta do Azure Databricks.

Requisitos de permissão:

Para se inscrever como fornecedor apenas de exchange privada, você deve ser um administrador de conta do Azure Databricks. Veja Inscreva-se para ser um fornecedor do Databricks Marketplace.

Inscreva-se para ser um fornecedor do Databricks Marketplace

A forma como você se inscreve para ser um provedor do Databricks Marketplace depende se você pretende criar listagens no mercado público ou apenas por meio de trocas privadas. Nas trocas privadas, apenas os consumidores que são membros da troca podem navegar, visualizar e solicitar acesso a uma listagem. Confira Criar e gerenciar trocas privadas no Databricks Marketplace.

Para ser um provedor somente de exchange privada, você pode se inscrever usando o console do provedor. Para criar listagens públicas, você se inscreve por meio do Programa Databricks Data Partner.

Inscreva-se para ser um provedor que pode criar listagens públicas

Observação

Se a sua organização já estiver no Programa de Parceiros do Databricks e você estiver interessado em se tornar um fornecedor do Marketplace, pule as instruções a seguir e entre em contato partnerops@databricks.com.

1. Na página Programa de Parceiros do Databricks, clique em Aplicar Agora.

2. Na próxima página, clique em Aplicar agora.

3. Insira seu endereço de email e clique em Aplicar Agora.

4. Preencha o formulário do aplicativo.

   Na parte inferior do formulário de aplicativo, você será perguntado qual programa do Databricks Partner lhe interessa. Selecione o Marketplace.

A equipe do Databricks Partner entrará em contato com você para concluir o processo de aplicativo. Quando você for aprovado, o console do provedor ficará disponível em seus workspaces do Azure Databricks habilitados para o Catálogo do Unity. Para acessar o console do Provedor, um usuário deve ter a função de administrador do Marketplace.

Inscreva-se como um provedor de câmbio privado

Para se inscrever como um provedor somente de exchange privada, use a página Introdução como provedor no console do provedor.

Para se inscrever como um provedor de intercâmbio privado:

1. Como administrador da conta Azure Databricks, inscreva-se no seu espaço de trabalho Azure Databricks.

2. Na barra lateral, clique em Marketplace.

3. No canto superior direito da página do Marketplace, clique em Console do provedor.

4. Se sua conta não tiver sido integrada como provedor, o console do provedor exibirá a página Introdução como provedor, que orienta você no processo de habilitar sua conta como provedor de exchange privado.

5. Em Aceitar os termos do Marketplace, clique no link Termos do provedor privado do Databricks Marketplace para revisar os termos.

6. Para aceitar os termos, clique no botão Aceitar termos de provedor privado.

   Isso leva você ao console da conta do Azure Databricks em uma nova guia do navegador e abre a guia Configurações > Habilitação de recurso *. Pode ser necessário fazer login no console da conta se ainda não estiver conectado.

   Observação

   Se tiver várias contas Azure Databricks, deverá confirmar que está a iniciar sessão na conta que contém o espaço de trabalho no qual está a aceder à consola do fornecedor.

7. Na aba Habilitação de recursos, habilite a opção Marketplace Private Exchange Provider.

8. Retorne ao Console do provedor na espaço de trabalho e clique em Atualizar página. Não use a funcionalidade de atualização de página do seu navegador.

9. Após alguns minutos, o botão de administração Atribuir Marketplace é exibido. Clique nele para abrir sua página de usuário no console da conta. Na guia Funções, habilite Administrador do Marketplace.

   Você pode optar por atribuir a função de administrador do Marketplace a outro usuário ou usuários. Se você fizer isso, eles poderão continuar o processo a partir desse ponto. Se você atribuir a função a si mesmo, poderá continuar o processo.

10. Retorne ao Console do provedor na espaço de trabalho e clique em Atualizar página. Não use a funcionalidade de atualização de página do seu navegador.

11. Após alguns minutos, o botão Criar perfil de provedor aparece. Clique nele para abrir a página Criar perfil.

    Observação

    Pode levar alguns minutos para que o sistema conclua a atribuição da função de administrador do Marketplace. Se você continuar criando um perfil de provedor e vir um erro indicando que você não tem a função de administrador do Marketplace, aguarde mais alguns minutos, atualize a página e tente novamente.

12. Para criar seu perfil de provedor, siga as instruções em Criar seu perfil de provedor do Marketplace, começando na etapa 5.

13. Crie sua primeira troca privada. Confira Criar e gerenciar trocas privadas no Databricks Marketplace.

Atribuir a função de administrador do Marketplace

Se você se inscreveu como um provedor de exchange privado, você executou essa tarefa como parte do processo de inscrição. Você pode ignorar as instruções nessa seção, a menos que queira habilitar outros usuários em sua conta do Azure Databricks como administradores do Marketplace.

Depois de ser aprovado como provedor do Marketplace, você deverá conceder a pelo menos um usuário a função de administrador do Marketplace. Essa função é necessária para acessar o console do Provedor do Marketplace e para criar e gerenciar seu perfil e listagens de provedor do Marketplace. Um administrador de conta do Azure Databricks pode conceder a função.

1. Como administrador de conta, faça logon no console da conta.
2. Clique em Gerenciamento de Usuários.
3. Localize e clique no nome de usuário.
4. Na guia Funções, ative Administrador do Marketplace.

Criar seu perfil de provedor do Marketplace

O perfil do seu provedor lhe dá a oportunidade de dizer aos possíveis consumidores quem você é e de agrupar seus produtos de dados sob uma única marca ou identidade. Normalmente, um provedor de dados tem um perfil, mas pode listar vários produtos de dados. Se desejar mais de um perfil, contate a equipe da sua conta do Azure Databricks.

Se você for um provedor público, poderá criar seu perfil depois que sua inscrição de provedor for aprovada. Se você for um provedor apenas de exchange privada, você cria seu perfil como a etapa final do processo de inscrição, começando na etapa 5 do procedimento fornecido aqui.

Permissão necessária: função de administrador do Marketplace

Para criar um perfil:

1. Faça login no espaço de trabalho do Azure Databricks que você usará para criar compartilhamentos e listagens.
2. Na barra lateral, clique em Marketplace.
3. No canto superior direito da página do Marketplace, clique em Console do provedor.
4. Na página do Console do provedor, guia Perfis, clique em Criar perfil.
5. Insira as seguintes informações: Todos os campos são necessários:
   • Nome do provedor: use um nome que os consumidores reconhecerão. Os consumidores podem filtrar listagens por nome do provedor.
   • Logotipo: arraste e solte ou navegue até um arquivo de imagem do logotipo que deseja usar em sua listagem.
   • Descrição: descreva sua organização de forma clara e precisa. Inclua detalhes como setores que você normalmente atende ou representa e os tipos de ativos de dados que você normalmente lista. Os consumidores podem ver essa descrição quando exibirem seu perfil e em todas as suas listagens.
   • Site da organização: link para o site da sua organização. Os consumidores podem seguir este link para saber mais sobre sua organização. Esse link aparece em todas as suas listagens.
   • Email comercial: insira um endereço de email que o Databricks possa usar para enviar notificações. Os consumidores não veem essas informações.
   • Email de suporte: insira um endereço de email que os consumidores possam usar para solicitar suporte. Esse link aparece em todas as suas listagens.
   • Link de termos de serviço: esse link aparece em todas as suas listagens. Você pode substituir esse link inserindo um link diferente no nível da listagem.
   • Política de privacidade: Esse link aparece em todas as suas listagens. Você pode substituir esse link inserindo um link diferente no nível da listagem.
6. Salve o perfil.

Se qualquer uma dessas informações for alterada enquanto você for um provedor do Marketplace, atualize seu perfil. Seu perfil deve ser preciso e mantido atualizado.

Criar compartilhamentos

Depois de ter uma conta do Azure Databricks habilitada para o Delta Sharing e um workspace do Azure Databricks habilitado para o Catálogo do Unity, você poderá criar os compartilhamentos que usará para compartilhar seus dados no Marketplace.

Um compartilhamento é um objeto do Delta Sharing. É uma coleção de tabelas, exibições, volumes e modelos de IA que podem ser compartilhados e protegidos como uma unidade. As tabelas podem ser compartilhadas com qualquer consumidor. Volumes, modelos de IA e notebooks só podem ser compartilhados com consumidores que têm acesso a um workspace do Azure Databricks habilitado para o Catálogo do Unity.

Observação

Para listar um produto de dados gratuito e disponível instantaneamente para os consumidores, você deve incluir um compartilhamento ao criar a listagem. As listagens que exigem que você aprove uma solicitação do consumidor, por outro lado, não exigem que você inclua uma participação na listagem. Você pode criar o compartilhamento mais tarde, depois que todos os acordos comerciais forem concluídos e você aprovar a solicitação do consumidor. Se é isso que você deseja fazer, pule para Criar listagens.

1. Adicione tabelas de dados, exibições ou volumes ao metastore do Catálogo do Unity.

   Para saber como criar esses ativos de dados no Catálogo do Unity, confira:

   • O que são tabelas e visualizações?
   • Criar e gerenciar exibições
   • O que são os volumes do Catálogo do Unity?

2. Crie um compartilhamento e adicione esses ativos de dados a ele.

   Para saber como criar e atualizar compartilhamentos, confira Criar e gerenciar compartilhamentos para o Delta Sharing.

   Permissões necessárias:

   • Para criar um compartilhamento, você deve ser um administrador do metastore ou usuário com privilégio CREATE SHARE para o metastore do Catálogo do Unity onde os dados que você deseja compartilhar estão registrados.
   • Para adicionar uma tabela, um volume ou uma exibição a um compartilhamento, você deve ser o proprietário do compartilhamento, ter o privilégio USE SCHEMA no esquema que contém o ativo de dados e ter o privilégio SELECT no ativo de dados. É necessário manter o privilégio SELECT para que esse ativo continue a ser compartilhado. Se você o perder, o destinatário não poderá acessar o ativo por meio do compartilhamento. O Databricks, portanto, recomenda usar um grupo como proprietário do compartilhamento.

   Para obter mais detalhes sobre os requisitos de compartilhamento de tabelas, volumes e exibições, incluindo requisitos de computação e tipo de dados, confira Criar e gerenciar compartilhamentos para o Delta Sharing.

Depois que o compartilhamento for criado, você poderá criar ou atualizar uma listagem do Marketplace que faça referência a ele.

Exemplo de notebook: notebook de exemplo

Além dos dados de tabelas, volumes e exibições, o Databricks recomenda que você também compartilhe notebooks do Azure Databricks. Um notebook é uma ótima maneira de demonstrar casos de uso de exemplo e visualizar as propriedades da tabela. Sua listagem pode incluir pré-visualizações de notebooks de exemplo que os consumidores podem importar para seus workspaces.

Para obter mais informações sobre a criação de notebooks, confira Introdução aos notebooks do Databricks. Se você precisar de ajuda para criar um notebook de exemplo eficaz, entre em contato com dataproviders@databricks.com.

Observação

A exibição e a versão prévia do Notebooks de exemplo na IU de listagens não funciona no modo de navegação anônima do Chrome.

O exemplo a seguir mostra como criar um notebook de exemplo eficaz. Ele inclui diretrizes para criar notebooks de exemplo eficazes para suas listagens.

Notebook inicial do Marketplace para provedores de dados

Obter notebook

Criar listagens

As listagens do Marketplace permitem que os consumidores naveguem, selecionem e acessem seus produtos de dados. Todas as listagens de conjuntos de dados são automaticamente compartilháveis com os consumidores nos workspaces do Azure Databricks e com os consumidores em plataformas de terceiros, como Power BI, Pandas e Apache Spark.

Observação

Alguns ativos de dados, como volumes do Databricks, só podem ser compartilhados com consumidores que têm acesso a um workspace do Databricks habilitado para o Catálogo do Unity. As tabelas, no entanto, são compartilháveis com todos os consumidores. Se você incluir tabelas e volumes em um compartilhamento, os consumidores que não tiverem acesso a um workspace habilitado para o Catálogo do Unity só poderão acessar os dados tabulares.

Permissões necessárias: Função de administrador do Marketplace. Se você estiver criando e gerenciando listagens personalizadas (aquelas que exigem aprovação do fornecedor antes de serem preenchidas), você também deverá ter os privilégios CREATE RECIPIENT e USE RECIPIENT. Confira Privilégios e objetos protegíveis do Catálogo do Unity.

Para criar uma listagem:

1. Faça logon no seu workspace do Azure Databricks.

2. Na barra lateral, clique em Marketplace.

3. No canto superior direito da página do Marketplace, clique em Console do provedor.

4. Na página do Console do provedor, na guia Listagens, clique em Criar listagem.

5. Na página Nova listagem, insira suas informações de listagem.

   Para obter instruções, confira Listando campos e opções.

Você pode salvar um rascunho e exibir uma visualização antes de publicar. Ao clicar em Publicar, a listagem aparece imediatamente no Marketplace.

Campos e opções de listagem

Esta seção descreve cada campo e opção da página Nova listagem. Ele também fornece recomendações para criar uma listagem eficaz.

• Nome da listagem: cada listagem deve ter um nome exclusivo que ajude os consumidores a entender o que ela oferece.

  Recomendações:

  • Menos de 100 caracteres.
  • Caso de título (colocar palavras primárias em maiúsculas).

  Exemplo

  Censo dos EUA 2022

• Descrição curta: uma explicação curta e informativa do conjunto de dados que se expande no nome da listagem. Esse campo aparece nos blocos de listagem e nos resultados de pesquisa do consumidor.

  Recomendações:

  • Menos de 100 caracteres. Não é possível exceder 160 caracteres.
  • Caso da frase (colocar em maiúscula apenas a primeira palavra e todos os nomes próprios ou siglas).

  Exemplo

  Informações gerais sobre a contagem e demografia da população dos EUA em 2020

• Perfil do provedor: o nome da sua organização ou empresa. Selecione no menu suspenso. O seu perfil é criado pela Azure Databricks como parte do processo de aprovação da organização parceira.

• Termos de serviço: um URL vinculado aos seus termos de serviço para o uso apropriado dos ativos de dados compartilhados.

  Os termos de serviço devem ser acessíveis publicamente e não exigem logon.

• Marketplace Público: todos os consumidores podem procurar e exibir a listagem no Databricks Marketplace público.

• Troca privada: somente consumidores que são membros de uma troca privada, criada por você ou por outro administrador do marketplace, podem navegar, exibir e solicitar a listagem. Confira Criar e gerenciar trocas privadas no Databricks Marketplace.

  Você deve selecionar pelo menos uma troca privada na lista suspensa.

• Os dados estão disponíveis instantaneamente: selecione esta opção para permitir que os consumidores obtenham acesso aos dados compartilhados diretamente do Marketplace, sem exigir sua aprovação (mas exigindo a aceitação dos termos de serviço). Escolha um compartilhamento no menu suspenso. Essa opção normalmente é usada para conjuntos de dados públicos e de exemplo.

  Se você ainda não criou o compartilhamento que deseja incluir, clique em + Criar novo compartilhamento na parte inferior do menu suspenso. Você será levado à caixa de diálogo Criar um novo compartilhamento.

  Se um compartilhamento selecionado ou criado aqui não contiver dados ou ativos, uma mensagem será exibida com um botão Adicionar dados. Clique nele para ir para o Catalog Explorer, onde você pode adicionar tabelas ao compartilhamento.

  Para obter mais informações sobre como criar compartilhamentos e adicionar tabelas a compartilhamentos, incluindo as permissões necessárias, confira Criar e gerenciar compartilhamentos para Delta Sharing.

• Exigir aprovação de solicitações do consumidor: selecione essa opção para exigir sua aprovação antes que um consumidor possa acessar os dados compartilhados. Use essa opção se precisar de um contrato comercial antes de disponibilizar o produto de dados aos consumidores. Você deve gerenciar o contrato de negócios com consumidores fora do Databricks Marketplace. Você pode iniciar as comunicações usando o endereço de email do consumidor.

  Você pode exibir e processar solicitações de consumidores na guia Console do Provedor > Solicitações de consumidores. Confira Gerenciar solicitações para seu produto de dados no Databricks Marketplace.

• Categorias: selecione até cinco categorias que os consumidores podem usar para filtrar listagens. As categorias também aparecem como marcas na listagem de blocos e páginas de detalhes.

• Adicionar atributo: os atributos são opcionais. Eles incluem campos como cobertura geográfica, frequência de atualização, intervalo de tempo, fonte de dados e tamanho do conjunto de dados. Adicionar atributos ajuda os consumidores a entender mais sobre seu produto de dados. Selecione quantos atributos desejar.

• Descrição: a descrição detalhada dos seus dados deve incluir um resumo dos dados e ativos oferecidos na listagem.

  Há suporte para formatação básica de rich text (ou seja, negrito, itálico, marcadores e listas numeradas), usando a sintaxe Markdown. Para visualizar o conteúdo, use os botões na extrema direita da barra de ferramentas do campo Descrição.

  Recomendações:

  • Inclua benefícios e casos de uso.
  • Forneça diretrizes breves sobre como usar os dados e os casos de uso de exemplo.
  • Inclua conjuntos de dados de exemplo e nomes de campo.
  • Especifique esquemas, tabelas e colunas.
  • Use pontuação e sintaxe consistentes.
  • Adicione uma quebra de linha extra entre parágrafos.
  • Verifique sua ortografia e gramática.
  • Não repita os atributos definidos em Adicionar Atributo.

  Exemplo

  Visão geral:

  O Censo de População e Habitações dos EUA é a contagem oficial de pessoas e casas nos EUA em 2020. Fornece uma instantâneo social e econômica. O Censo de 2020, realizado em 6 de março de 2021, é o 23º censo.

  Casos de uso:

  • Agrupe clientes com base em variáveis demográficas, como idade e sexo.
  • Agrupe clientes com base em variáveis demográficas, como idade e sexo.

  Informações incluídas neste conjunto de dados:

  • Estimativas de população
  • Componentes demográficos (nascimentos, mortes, migração)
  • Esses dados podem ser classificados por características como idade, sexo e raça, bem como por localização nacional, estadual e municipal

• Notebook de exemplo: o Databricks recomenda vivamente que partilhe notebooks de exemplo para demonstrar a melhor forma de utilizar os dados. Adicione até dez notebooks. Você deve salvar a listagem e retornar a ela para carregar os notebooks de exemplo.

  Para obter mais informações sobre a criação de notebooks, confira Exemplo de notebook: notebook de exemplo e Introdução aos notebooks do Databricks.

• Documentação: um URL vinculado à documentação que pode ajudar os consumidores a usar ou compreender seu conjunto de dados (por exemplo, um dicionário de conjunto de dados).

• Política de privacidade: um URL vinculado à sua política de privacidade.

  A política de privacidade deve ser acessível publicamente e não requer logon.

Analise a atividade do consumidor usando tabelas do sistema (Visualização Pública) e painéis

Se você tiver tabelas de sistema habilitadas em sua conta, poderá usar as tabelas de sistema do Marketplace para analisar a atividade do consumidor em suas listagens. Para obter mais informações, confira Referência das tabelas do sistema do Marketplace.

Você também pode usar o Painel de Análise do Provedor para monitorar exibições de listagem, solicitações e instalações. O painel extrai dados das tabelas do sistema. Consulte Monitorar listagem de métricas de uso usando painéis.

Cotas de recursos

O Catálogo do Unity impõe cotas de recursos em todos os objetos protegíveis, incluindo listagens do Marketplace por metastore e provedores por conta. Essas cotas são listadas em Limites de recursos. Se você espera exceder esses limites de recursos, entre em contato com sua equipe de conta do Azure Databricks.

Você pode monitorar o uso da cota usando as APIs de cotas de recursos do Catálogo do Unity. Consulte Monitorar o uso de cotas de recursos do Catálogo do Unity.

Próximas etapas

• Gerenciar solicitações do consumidor
• Gerenciar listagens existentes