Configurar o servidor do SQL em uma atividade de cópia
Este artigo descreve como usar a atividade de cópia no pipeline de dados para copiar dados de e para o servidor do SQL.
Configuração com suporte
Para a configuração de cada guia em atividade de cópia, vá para as seções a seguir, respectivamente.
Geral
Consulte as diretrizes de Configurações Geraispara definir a guia Configurações Gerais.
Origem
As seguintes propriedades têm suporte ao servidor do SQL na guia Origem de uma atividade de cópia.
As seguintes propriedades são necessárias:
Tipo de armazenamento de dados: selecione Externo.
Conexão: selecione uma conexão do servidor do SQL na lista de conexões. Se a conexão não existir, crie uma nova conexão do servidor do SQL selecionando Novo.
Tipo de conexão: selecione servidor do SQL.
Usar consulta: especifique a maneira de fazer a leitura dos dados. Você poderá escolher Tabela, Consulta ou Procedimento armazenado. A lista a seguir descreve a configuração de cada definição:
Tabela: fazer a leitura dos dados da tabela especificada. Selecione a tabela de origem na lista suspensa ou selecione Editar para inseri-la manualmente.
Consulta: Especifique a consulta SQL personalizada para ler os dados. Um exemplo é
select * from MyTable. Ou selecione o ícone de lápis a ser editado no editor de código.
Procedimento armazenado: Use o procedimento armazenado que lê os dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado.
Nome do procedimento armazenado: selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao selecionar Editar para ler dados da tabela de origem.
Parâmetros de procedimento armazenado: especifique valores para parâmetros de procedimento armazenado. Valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. Selecione Importar parâmetros para obter os parâmetros de procedimento armazenado.
Em Avançado, você pode especificar os seguintes campos:
Tempo limite da consulta (minutos): especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se um parâmetro for definido para essa propriedade, os valores permitidos serão timespan, como "02:00:00" (120 minutos).
Nível de isolamento: Especifica o comportamento de bloqueio de transação para a fonte SQL. Os valores permitidos são: None, Read committed, Read uncommitted, Repeatable read, Serializable ou Snapshot. Se não for especificado, o nível de isolamento padrão do banco de dados será usado. Consulte IsolationLevel Enum para obter mais detalhes.
Opção de partição: especifique as opções de particionamento de dados usadas para carregar dados do servidor do SQL. Os valores permitidos são: None (padrão), Partições físicas da tabela e Intervalo dinâmico. Quando uma opção de partição está ativada (ou seja, não é Nenhum), o grau de paralelismo para carregar dados simultaneamente de um servidor do SQL é controlado pelo Grau de paralelismo de cópia na guia de configurações da atividade de cópia.
None: escolha essa configuração para não usar uma partição.
Partições físicas da tabela: ao usar uma partição física, a coluna de partição e o mecanismo são determinados automaticamente com base na definição de tabela física.
Intervalo dinâmico: ao usar a consulta com o paralelo habilitado, o parâmetro de partição de intervalo(
?DfDynamicRangePartitionCondition) é necessário. Exemplo de Consulta:SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.Nome da coluna de partição: Especifique o nome da coluna de origem no tipo inteiro ou data/datetime (
int,smallint,bigint,date,smalldatetime,datetime,datetime2odatetimeoffset) que é usada pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela será auto-detectado e usado como coluna de partição.Se você usar uma consulta para recuperar os dados de origem, conecte
?DfDynamicRangePartitionConditionna cláusula WHERE. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.Limite superior da partição: especifique o valor máximo da coluna de partição para divisão de intervalo de partição. Esse valor é usado para decidir o stride da partição, e não para filtrar as linhas na tabela. Todas as linhas da tabela ou do resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará o valor automaticamente. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.
Limite inferior da partição: especifique o valor mínimo da coluna de partição para a divisão do intervalo de partição. Esse valor é usado para decidir o stride da partição, e não para filtrar as linhas na tabela. Todas as linhas da tabela ou do resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará o valor automaticamente. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.
Colunas adicionais: adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último.
Observe os seguintes pontos:
- Se a Consulta for especificado para origem, a atividade de cópia executará essa consulta na origem do SQL Server para obter os dados. Também poderá especificar um procedimento armazenado especificando o Nome do procedimento armazenado e os Parâmetros do procedimento armazenado se o procedimento armazenado usar parâmetros.
- Ao usar um procedimento armazenado na origem para recuperar dados, observe que, se o procedimento armazenado for projetado para retornar um esquema diferente quando um valor de parâmetro diferente for passado, você poderá ter uma falha ou um resultado inesperado ao importar o esquema da interface do usuário ou ao copiar dados para o banco de dados SQL com a criação automática de tabela.
Destino
As seguintes propriedades têm suporte ao servidor do SQL na guia Destino de uma atividade de cópia.
As seguintes propriedades são necessárias:
Tipo de armazenamento de dados: selecione Externo.
Conexão: selecione uma conexão do servidor do SQL na lista de conexões. Se a conexão não existir, crie uma nova conexão do servidor do SQL selecionando Novo.
Tipo de conexão: selecione servidor do SQL.
Opção tabela: é possível escolher Usar tabela existente para usar a tabela especificada. Ou escolha Criar tabela automaticamente para criar automaticamente uma tabela de destino se a tabela não existir no esquema de origem e observe que essa seleção não tem suporte quando o procedimento armazenado é usado como o comportamento de gravação.
Se selecionar Usar existente:
- Tabela: selecione a tabela em seu banco de dados de destino na lista suspensa. Ou marcar Editar para inserir o nome da tabela manualmente.
Se selecionar: Criar tabela automaticamente:
- Tabela: especifique o nome da tabela de destino criada automaticamente.
Em Avançado, você pode especificar os seguintes campos:
Comportamento de gravação: define o comportamento de gravação quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Você pode escolher Insert, Upsert ou Procedimento armazenado.
Inserir: escolha esta opção, use inserir o comportamento de gravação para carregar dados no servidor do SQL.
Upsert: escolha esta opção, use o comportamento de gravação upsert para carregar dados no servidor do SQL.
Use TempDB: Especifique se deseja usar uma tabela temporária global ou uma tabela física como tabela provisória para upsert. Por padrão, o serviço usa a tabela temporária global como a tabela provisória e esta propriedade está marcada.
Selecione o esquema de banco de dados do usuário: quando Usar TempDB não estiver selecionado, especifique o esquema provisório para criar uma tabela provisória se uma tabela física for usada.
Observação
Você deve ter a permissão para criar e excluir tabelas. Por padrão, uma tabela provisória compartilhará o mesmo esquema de uma tabela de destino.
Colunas de Chave: Especifique os nomes de coluna para identificação de linha exclusiva. Uma única chave ou uma série de chaves pode ser usada. Se não for especificada, a chave primária será usada.
Procedimento armazenado: use o procedimento armazenado que define como aplicar os dados de origem em uma tabela de destino. Este procedimento armazenado é chamado por lote. Para operações executadas apenas uma vez e que não tenham relação alguma com os dados de origem, por exemplo, excluir ou truncar, use a propriedade Script de pré-cópia.
Nome do procedimento armazenado: selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao marcar Editar para fazer a leitura dos dados da tabela de origem.
Parâmetros de procedimento armazenado:
- Tipo de tabela: especifique o nome do tipo de tabela a ser usado no procedimento armazenado. A Atividade de cópia torna os dados movidos disponíveis em uma tabela temporária com este tipo de tabela. O código de procedimento armazenado pode mesclar os dados que estão sendo copiados com os dados existentes.
- Nome do parâmetro do tipo de tabela: especifique o nome do parâmetro do tipo de tabela especificado no procedimento armazenado.
- Parâmetros:: especifique valores para parâmetros de procedimento armazenado. Valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. Selecione Importar parâmetros para obter os parâmetros de procedimento armazenado.
Bloqueio de tabela de inserção em massa: escolha Sim ou Não (padrão). Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. Especifique essa propriedade ao selecionar Inserir ou Upsert como seu comportamento de gravação. Para obter mais informações, acesse BULK INSERT (Transact-SQL)
Script de pré-cópia: especifique um script para a atividade de cópia ser executada antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados previamente carregados.
Tempo limite do lote de gravação: Especifique o tempo de espera para que a operação de inserção em lote termine antes de atingir o tempo limite. O valor permitido é timespan. Se nenhum valor for especificado, o tempo limite padrão será "02:00:00".
Tamanho do lote de gravação: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha.
Máximo de conexões simultâneas: o limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.
Mapeamento
Para a configuração da guia Mapeamento, se você não aplicar o SQL Server com tabela de criação automática como destino, acesse Mapeamento.
Se você aplicar o SQL Server com a tabela de criação automática como destino, exceto a configuração em Mapeamento, poderá editar o tipo das colunas de destino. Depois de selecionar Esquemas de importação, você pode especificar o tipo de coluna em seu destino.
Por exemplo, o tipo da coluna ID na origem é int, e você pode alterá-lo para o tipo float ao mapear para a coluna de destino.
Configurações
Para configuração da guia Configurações, acesse Definir suas outras configurações na guia configurações.
Cópia paralela do banco de dados SQL
O conector de SQL Server na atividade de cópia fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.
Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas com relação à sua fonte do SQL Server para carregar dados por partições. O grau paralelo é controlado pelo Grau de paralelismo de cópia na guia configurações de atividade de cópia. Por exemplo, ao definir Grau de paralelismo de cópia como quatro, o serviço gera e executa simultaneamente quatro consultas com base na opção de partição especificada e nas configurações, e cada consulta recupera uma parte dos dados do SQL Server.
É recomendável habilitar a cópia paralela com o particionamento de dados, especialmente quando você carrega grandes quantidades de dados do seu SQL Server. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, recomendamos gravá-los em uma pasta como vários arquivos (apenas especifique o nome da pasta) para ter um desempenho melhor do que gravar em um arquivo.
| Cenário | Configurações sugeridas |
|---|---|
| Carregamento completo de uma tabela grande com partições físicas. | Opção de partição: partições físicas da tabela. Durante a execução, o serviço detecta automaticamente as partições físicas e copia os dados por partição. Para verificar se a tabela tem partição física, confira esta consulta. |
| Carregamento completo de uma tabela grande, sem partições físicas e com uma coluna de inteiro ou de datetime para o particionamento de dados. | Opções de partição: partição de intervalo dinâmico. Coluna de partição (opcional): especifique a coluna usada para particionar dados. Se não for especificada, a coluna de chave primária será usada. Limite superior da partição e limite inferior da partição (opcional): especifique se deseja determinar o stride da partição. A finalidade não é filtrar as linhas na tabela, todas as linhas da tabela serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará automaticamente os valores e poderá levar muito tempo, dependendo dos valores MÍN e MÁX. É recomendável fornecer o limite superior e o limite inferior. Por exemplo, se a “ID” da coluna de partição tiver valores no intervalo de 1 a 100 e você definir o limite inferior como 20 e o limite superior como 80, com a cópia paralela definida como 4, o serviço recuperará dados por 4 IDs de partição no intervalo <=20, [21, 50], [51, 80], e >=81, respectivamente. |
| Carregar uma grande quantidade de dados usando uma consulta personalizada, sem partições físicas, com uma coluna de inteiro ou data/datetime para o particionamento de dados. | Opções de partição: partição de intervalo dinâmico. Consulta: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>.Coluna de partição: especifique a coluna usada para particionar dados. Limite superior da partição e limite inferior da partição (opcional): especifique se deseja determinar o stride da partição. A finalidade não é filtrar as linhas na tabela, todas as linhas na consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará o valor automaticamente. Por exemplo, se a “ID” da coluna de partição tiver valores no intervalo de 1 a 100 e você definir o limite inferior como 20 e o limite superior como 80, com a cópia paralela definida como 4, o serviço recuperará dados por 4 IDs de partição no intervalo <=20, [21, 50], [51, 80], e >=81, respectivamente. Veja mais exemplos de consultas para diferentes cenários: • Consultar a tabela inteira: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition• Consultar em uma tabela com seleção de coluna e filtros de cláusula "where" adicionais: SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>• Consultar com subconsultas: SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>• Consultar com partição na subconsulta: SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T |
Melhores práticas para carregar dados com a opção de partição:
- Escolha a coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar a distorção de dados.
- Se a tabela tiver uma partição interna, use a opção de partição Partições físicas da tabela para ter um melhor desempenho.
Exemplo de consulta para verificar a partição física
SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id
WHERE s.name='[your schema]' AND t.name = '[your table name]'
Se a tabela tiver uma partição física, você verá "HasPartition" como "yes" conforme segue.
Resumo da tabela
Consulte a tabela a seguir para obter o resumo e mais informações sobre a atividade de cópia do servidor do SQL.
Informações de origem
| Nome | Descrição | Valor | Obrigatório | Propriedade de script JSON |
|---|---|---|---|---|
| Tipo de armazenamento de dados | Seu tipo de armazenamento de dados. | Externo | Yes | / |
| Conexão | Sua conexão com o armazenamento de dados de origem. | < sua conexão > | Yes | connection |
| Tipo de conexão | Seu tipo de conexão. Selecione servidor do SQL. | SQL server | Sim | / |
| Usar a consulta | A consulta SQL personalizada para ler os dados. | • Tabela • Consulta • Procedimento armazenado |
Não | / |
| Tabela | Sua tabela de dados de origem. | <nome da sua tabela> | Não | esquema tabela |
| Consulta | A consulta SQL personalizada para ler os dados. | < sua consulta > | Não | sqlReaderQuery |
| Nome do procedimento armazenado | Essa propriedade é o nome do procedimento armazenado que lê dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado. | < nome do procedimento armazenado > | Não | sqlReaderStoredProcedureName |
| Parâmetro de procedimento armazenado | Esses parâmetros são para o procedimento armazenado. Valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. | < pares de nome ou valor > | Não | storedProcedureParameters |
| Tempo-limite da consulta | O tempo limite para a execução do comando de consulta. | TimeSpan (o padrão é 120 minutos) |
Não | queryTimeout |
| Nível de Isolamento | Especifica o comportamento de bloqueio de transação para a origem do SQL. | • Leitura confirmada • Leitura não confirmada • Leitura repetida • Serializável • Snapshot |
Não | isolationLevel: • ReadCommitted • ReadUncommitted • RepeatableRead • Serializável • Snapshot |
| Opção de partição | As opções de particionamento de dados usadas para carregar dados do servidor do SQL. | • Nenhum (padrão) • Partições físicas da tabela • Intervalo dinâmico |
Não | partitionOption: • Nenhum (padrão) • PhysicalPartitionsOfTable • DynamicRange |
| Nome da coluna de partição | O nome da coluna de origem no tipo inteiro ou data/datetime ( int,smallint,bigint,date,smalldatetime,datetime,datetime2 ou datetimeoffset) que é usado pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela será auto-detectado e usado como coluna de partição. Se você usar uma consulta para recuperar os dados de origem, conecte ?DfDynamicRangePartitionCondition na cláusula WHERE. |
< seus nomes de colunas de partição > | Não | partitionColumnName |
| Limite superior da partição | O valor máximo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o stride da partição, e não para filtrar as linhas na tabela. Todas as linhas da tabela ou do resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará o valor automaticamente. | < limite superior da sua partição> | Não | partitionUpperBound |
| Limite inferior da partição | O valor mínimo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o stride da partição, e não para filtrar as linhas na tabela. Todas as linhas da tabela ou do resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade de cópia detectará o valor automaticamente. | < limite inferior da sua partição > | Não | partitionLowerBound |
| Colunas adicionais | Adicione colunas de dados adicionais para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último. | • Nome • Valor |
Não | additionalColumns: • nome • valor |
Informações de destino
| Nome | Descrição | Valor | Obrigatório | Propriedade de script JSON |
|---|---|---|---|---|
| Tipo de armazenamento de dados | Seu tipo de armazenamento de dados. | Externo | Yes | / |
| Conexão | Sua conexão com o armazenamento de dados de destino. | < sua conexão > | Yes | connection |
| Tipo de conexão | Seu tipo de conexão. Selecione servidor do SQL. | SQL server | Sim | / |
| Opção de tabela | Especifica se a tabela de destino deve ser criada automaticamente caso não exista com base no esquema de origem. | • Usar existente • Criação automática de tabela |
Não | tableOption: • autoCreate |
| Tabela | Sua tabela de dados de destino. | <nome da sua tabela> | Sim | esquema tabela |
| Comportamento de gravação | O comportamento de gravação da atividade de cópia para carregar dados servidor do SQL. | • Inserir • Upsert • Procedimento armazenado |
Não | writeBehavior: • insert • upsert sqlWriterStoredProcedureName, sqlWriterTableType, storedProcedureTableTypeParameterName, storedProcedureParameters |
| Use TempDB | Se pretende usar a tabela temporária global ou a tabela física como a tabela provisória para upsert. | selecionado (padrão) ou não selecionado | Não | useTempDB: true (padrão) ou false |
| Selecionar o esquema de banco de dados do usuário | O esquema provisório para criar a tabela provisória se a tabela física for usada. Observação: o usuário precisa ter a permissão para criar e excluir a tabela. Por padrão, a tabela provisória compartilhará o mesmo esquema que a tabela de destino. Aplique quando você não selecionar Usar o TempDB. | selecionado (padrão) ou não selecionado | Não | interimSchemaName |
| Colunas de chave | Os nomes de coluna para identificação de linha exclusiva. Uma única chave ou uma série de chaves pode ser usada. Se não for especificada, a chave primária será usada. | < sua coluna chave> | Não | keys |
| Nome do procedimento armazenado | O nome do procedimento armazenado que define como aplicar dados de origem em uma tabela de destino. Este procedimento armazenado é chamado por lote. Para operações executadas apenas uma vez e que não tenham relação alguma com os dados de origem, por exemplo, excluir ou truncar, use a propriedade Script de pré-cópia. | < seu nome de procedimento armazenado > | Não | sqlWriterStoredProcedureName |
| Tipo de tabela | O nome do tipo de tabela a ser usado no procedimento armazenado. A Atividade de cópia torna os dados movidos disponíveis em uma tabela temporária com este tipo de tabela. O código de procedimento armazenado pode mesclar os dados que estão sendo copiados com os dados existentes. | < seu nome de tipo de tabela > | Não | sqlWriterTableType |
| Nome do parâmetro do tipo de tabela | O nome do parâmetro do tipo de tabela especificado no procedimento armazenado. | < seu nome do parâmetro do tipo de tabela > | Não | storedProcedureTableTypeParameterName |
| Parâmetros | Parâmetros para o procedimento armazenado. Valores permitidos são pares de nome e valor. Nomes e uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado. | < pares de nome e valor > | Não | storedProcedureParameters |
| Bloqueio de tabela de inserção em massa | Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. | Sim ou Não (padrão) | Não | sqlWriterUseTableLock: true ou false (padrão) |
| Script de pré-cópia | Um script para a atividade de cópia para executar antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados previamente carregados. | < Script de pré-cópia > (cadeia de caracteres) |
No | preCopyScript |
| Tempo limite de gravação em lote | O tempo de espera para o lote inserir operação seja concluída antes de expirar. | TimeSpan (o padrão é “02:00:00”) |
Não | writeBatchTimeout |
| Tamanho do lote de gravação | O número de linhas a serem inseridas na tabela SQL por lote. Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha. | < Número de linhas > (inteiro) |
Não | writeBatchSize |
| Máximo de conexões simultâneas | O limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas. | < limite superior de conexões simultâneas > (inteiro) |
Não | maxConcurrentConnections |