Este artigo fornece respostas a perguntas frequentes sobre o Azure Data Factory no Microsoft Fabric.
Data Factory no Fabric
Qual é a diferença entre o data factory e a guia de engenharia de dados no Fabric?
O Data Factory ajuda a resolver cenários complexos de integração de dados e ETL com serviços de movimentação de dados e transformação de dados em escala de nuvem, já a engenharia de dados ajuda a criar o Lakehouse. Use o Apache Spark para transformar e preparar seus dados. As diferenças entre cada uma das terminologias/experiências do Fabric estão disponíveis na Terminologia do Microsoft Fabric.
Como fazer para acompanhar e monitorar a capacidade do Fabric usada nos pipelines?
Os administradores de capacidade do Microsoft Fabric podem usar o aplicativo Métricas de Capacidade do Microsoft Fabric, também conhecido como aplicativo de métricas, para obter visibilidade dos recursos de capacidade. Esse aplicativo permite que os administradores vejam quanto tempo de processamento, memória e CPU são utilizados pelos pipelines de dados, fluxos de dados e outros itens em seus workspaces habilitados para capacidade do Fabric. Obtenha visibilidade sobre as causas de sobrecarga, períodos de pico de demanda, consumo de recursos e identifique com maior facilmente os itens mais exigentes ou mais populares.
Qual abordagem é recomendada para atribuir funções dentro do Data Factory no Fabric?
Você pode separar as diferentes cargas de trabalho entre workspaces e usar as funções como membro e espectador para ter um workspace para engenharia de dados que prepara dados para um workspace que é usado para relatório ou treinamento de IA. Com a função de espectador, é possível consumir dados do workspace de engenharia de dados.
É possível se conectar aos recursos existentes habilitados para PE (ponto de extremidade privado) no Data Factory do Fabric?
Atualmente, o gateway de rede virtual oferece um método injetivo para se integrar à sua rede virtual de forma contínua, fornecendo um caminho robusto para o uso de pontos de extremidade privados a fim de estabelecer conexões seguras com seus armazenamentos de dados. É importante observar que o gateway de rede virtual só acomoda os fluxos de dados do Fabric neste momento. No entanto, nossas próximas iniciativas abrangem a expansão desses recursos para incluir pipelines do Fabric.
Como posso me conectar a fontes de dados locais no Data Factory do Fabric?
Ao usar o gateway de dados local, agora você pode conectar-se a fontes de dados locais usando fluxos de dados e pipelines de dados (versão prévia) com o Data Factory no Microsoft Fabric. Para saber mais, confira Como acessar fontes de dados locais no Data Factory.
Atualizações de lançamento e preços
Onde posso encontrar atualizações mensais disponíveis no Fabric?
As atualizações mensais do Fabric estão disponíveis no Blog do Microsoft Fabric.
O que é o modelo de preço/faturamento do Fabric Data Factory?
Em Preço do Data Factory no Microsoft Fabric você encontra um guia abrangente sobre como os custos são calculados para pipelines de dados e Fluxo de dados Gen2. Há vários cenários de exemplos de preços para ajudá-lo a entender melhor o modelo de preços.
Onde encontro mais informações sobre os planos de recursos futuros para o Data Factory no Microsoft Fabric?
Em Novidades e planos para o Data Factory no Microsoft Fabric você encontra insights sobre os próximos recursos e seus cronogramas de lançamento estimados nos próximos meses.
Pipelines de dados
Com qual velocidade posso ingerir dados nos pipelines de dados do Fabric?
O Data Factory do Fabric permite desenvolver pipelines que maximizam a taxa de transferência de movimentação de dados para o seu ambiente. Esses pipelines utilizam totalmente os seguintes recursos:
- Largura de banda de rede entre os armazenamentos de dados de origem e de destino
- IOPS (operações de entrada/saída por segundo) de armazenamento de dados de origem ou de destino e largura de banda. Essa utilização completa significa que você pode estimar a taxa de transferência geral medindo a taxa de transferência mínima disponível com os seguintes recursos:
- Armazenamento de dados de origem
- Armazenamento de dados de destino
- Largura de banda de rede entre os armazenamentos de dados de origem e de destino. Enquanto isso, trabalhamos continuamente em inovações para fornecer a melhor taxa de transferência possível. Hoje, o serviço pode mover um conjunto de dados TPC-DI (arquivos parquet) de 1 TB tanto para a tabela Fabric Lakehouse quanto para o Data Warehouse em 5 minutos – movendo linhas 1B em menos de 1 minuto. Observe que esse desempenho é apenas uma referência ao executar o conjunto de dados de teste acima. A taxa de transferência real ainda depende dos fatores listados anteriormente. Além disso, sempre será possível multiplicar a sua taxa de transferência executando várias atividades de cópia em paralelo. Por exemplo, usando o loop ForEach.
O recurso CDC estará disponível no Data Factory no Fabric?
Nosso foco atual envolve o desenvolvimento ativo da capacidade de CDC dentro do Data Factory no Fabric. Essa capacidade futura permite mover dados entre várias fontes de dados, combinando diferentes padrões de cópia, incluindo padrão de cópia em massa/lote, padrão de cópia incremental/contínua (CDC) e padrão de cópia em tempo real em uma experiência 5x5.
Fluxos de Dados Gen2
O fluxo de dados Gen2 do Fabric é semelhante ao Power Query inserido no Azure Data Factory?
A atividade do Power Query no ADF compartilha semelhanças com o fluxo de dados Gen2, mas tem recursos extras que permitem ações como gravar em destinos de dados específicos etc. Essa comparação se alinha de forma mais justa com fluxos de dados Gen1 (fluxos de dados do Power BI ou fluxos de dados do Power Apps). Confira mais detalhes aqui: Diferenças entre o fluxo de dados Gen1 e o fluxo de dados Gen2.
No Fluxo de dados Gen2 do Fabric, às vezes eu encontro recursos como DataflowsStaginglakehouse/DataflowsStagingwarehouse. Quais são esses recursos?
Em algumas experiências do usuário, você pode encontrar artefatos do sistema não destinados à interação. É melhor desconsiderar esses artefatos, pois eles serão removidos das experiências Obter Dados no futuro.
Minha atualização falhou com a mensagem de erro "A atualização de fluxo de dados falhou devido a permissões insuficientes para acessar artefatos de preparo". O que devo fazer?
Essa mensagem de erro ocorre quando o usuário que criou o primeiro fluxo de dados no espaço de trabalho não fez logon no Fabric por mais de 90 dias ou deixou a organização. Para resolvê-lo, o usuário mencionado na mensagem de erro deve fazer logon no Fabric. Se o usuário tiver saído da organização, abra um tíquete de suporte.
Suporte a pipelines ADF/Synapse e caminho de migração
Qual é o futuro dos pipelines do ADF e do Synapse?
Os pipelines do Azure Data Factory (ADF) e do Azure Synapse mantêm um roteiro de PaaS (plataforma como serviço) separado. Essas duas soluções continuam coexistindo junto ao Data Factory do Fabric, que serve como a oferta de SaaS (software como serviço). Os pipelines do ADF e do Synapse permanecem totalmente compatíveis e sem previsão de substituição. É importante destacar, nossa sugestão para os projetos futuros é iniciá-los usando o Fabric Data Factory. Além disso, temos estratégias em vigor para facilitar a transição de pipelines do ADF e do Synapse para o Data Factory do Fabric, permitindo que eles aproveitem as novas funcionalidades do Fabric. Você pode aprender mais sobre isso aqui.
Considerando as lacunas de funcionalidade do Data Factory no Fabric, quais são os motivos para escolhê-lo em vez dos pipelines do ADF/Synapse?
À medida que nos esforçamos para preencher lacunas de funcionalidade e incorporar as robustas funcionalidades de orquestração e fluxo de trabalho de pipeline de dados encontradas nos pipelines do ADF/Azure Synapse no Data Factory do Fabric, reconhecemos que determinados recursos presentes nos pipelines do ADF/Synapse podem ser essenciais para suas necessidades. Embora você seja incentivado a continuar utilizando pipelines do ADF/Synapse se esses recursos forem necessários, é recomendável que você explore primeiro suas novas possibilidades de integração de dados no Fabric. Seus comentários sobre quais recursos são fundamentais para seu sucesso são inestimáveis. Para facilitar, estamos trabalhando ativamente na introdução de uma nova funcionalidade, permitindo também a migração de seus data factories existentes do Azure para workspaces do Fabric.
Os novos recursos no Data Factory do Fabric também estão disponíveis no ADF/Synapse?
Não fazemos backport de novos recursos dos pipelines do Fabric para pipelines do ADF/Synapse. Mantemos dois roteiros separados para o Data Factory do Fabric e o ADF/Synapse. Avaliamos as solicitações de backport em resposta aos comentários recebidos.
Os pipelines de dados do Fabric são iguais aos pipelines do Azure Synapse?
A função principal do pipeline do Fabric é semelhante ao pipeline do Azure Synapse, mas usando o pipeline do Fabric, os usuários podem aplicar todos os recursos de análise de dados na plataforma Fabric. Encontre em Diferenças entre o Data Factory no Fabric e no Azure, as importantes diferenças e mapeamentos de recursos que existem entre o pipeline do Fabric e o pipeline do Azure Synapse.
Como fazer para migrar pipelines existentes do workspace do Azure Data Factory (ou) do Azure Synapse para o Data Factory do Fabric?
Para facilitar a transição dos clientes do Azure Data Factory (ADF) para o Microsoft Fabric, oferecemos vários recursos essenciais e mecanismos de suporte. Em primeiro lugar, oferecemos suporte abrangente para a maioria das atividades usadas no ADF no Fabric, com a adição de novas atividades personalizadas de notificações, como funcionalidades do Teams e do Outlook. Os clientes podem acessar uma lista detalhada de atividades disponíveis no Data Factory no Fabric. Além disso, introduzimos os conectores Fabric Lakehouse/Warehouse no Azure Data Factory, levando a integração perfeita de dados no ambiente OneLake do Fabric para clientes do ADF. Também fornecemos um guia para clientes ADF que ajuda a mapear as transformações de fluxo de dados de mapeamento existentes para novas transformações do Fluxo de dados Gen2. À medida que pensamos no futuro, estamos incluindo a capacidade de montar recursos ADF no Fabric em nosso roteiro, o que permitirá que os clientes mantenham a funcionalidade de seus pipelines ADF existentes no Azure enquanto exploram o Fabric e planejam estratégias abrangentes de atualização. Estamos colaborando estreitamente com os clientes e a comunidade para determinar as maneiras mais eficazes de oferecer suporte à migração de pipelines de dados do ADF no Fabric. Como parte desse esforço, forneceremos uma experiência de atualização que capacita você a testar seus pipelines de dados atuais no Fabric por meio do processo de montagem e atualização dos pipelines de dados.