Copiar dados do Amazon RDS for Oracle usando o Azure Data Factory ou o Azure Synapse Analytics

Artigo
01/05/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Este artigo descreve como usar a atividade de cópia no Azure Data Factory para copiar dados de um banco de dados do Amazon RDS for Oracle. Ele se baseia na visão geral da atividade de cópia.

Capacidades suportadas

Esse conector do Amazon RDS for Oracle é compatível com os seguintes recursos:

Capacidades suportadas	IR
Atividade de cópia (fonte/-)	① ②
Atividade de Pesquisa	① ②

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes ou coletores pela atividade de cópia, consulte a tabela Armazenamentos de dados suportados.

Especificamente, esse conector do Amazon RDS for Oracle é compatível:

As seguintes versões de um banco de dados do Amazon RDS for Oracle:
- Amazon RDS for Oracle 19c R1 (19.1) e superior
- Amazon RDS for Oracle 18c R1 (18.1) e superior
- Amazon RDS for Oracle 12c R1 (12.1) e superior
- Amazon RDS for Oracle 11g R1 (11.1) e superior
Cópia paralela de uma fonte do Amazon RDS for Oracle. Consulte a seção Cópia paralela do Amazon RDS para Oracle para obter detalhes.

Nota

O servidor proxy do Amazon RDS for Oracle não é compatível.

Pré-requisitos

Se seu armazenamento de dados estiver localizado dentro de uma rede local, uma rede virtual do Azure ou a Amazon Virtual Private Cloud, você precisará configurar um tempo de execução de integração auto-hospedado para se conectar a ele.

Se o seu armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Tempo de Execução de Integração do Azure. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de tempo de execução de integração de rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um tempo de execução de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

O tempo de execução da integração fornece um driver integrado do Amazon RDS for Oracle. Portanto, não é necessário instalar manualmente um driver ao copiar dados do Amazon RDS for Oracle.

Introdução

Para executar a atividade Copiar com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado ao Amazon RDS for Oracle usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Amazon RDS for Oracle na interface do usuário do portal do Azure.

Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:
- Fábrica de Dados do Azure
- Azure Synapse
Pesquise por Amazon RDS for Oracle e selecione o conector do Amazon RDS for Oracle.
Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades específicas para o conector do Amazon RDS for Oracle.

Propriedades do serviço vinculado

O serviço vinculado do Amazon RDS for Oracle oferece suporte às seguintes propriedades:

Propriedade	Descrição	Necessário
tipo	A propriedade type deve ser definida como AmazonRdsForOracle.	Sim
connectionString	Especifica as informações necessárias para se conectar à instância do Amazon RDS for Oracle Database. Você também pode colocar uma senha no Cofre de Chaves do Azure e extrair a `password` configuração da cadeia de conexão. Consulte os seguintes exemplos e Armazenar credenciais no Cofre da Chave do Azure com mais detalhes. Tipo de conexão compatível: você pode usar o Amazon RDS for Oracle SID ou o Amazon RDS for Oracle Service Name para identificar seu banco de dados: - Se você usar SID: `Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;` - Se você usar o Nome do Serviço: `Host=<host>;Port=<port>;ServiceName=<servicename>;User Id=<username>;Password=<password>;` Para opções avançadas de conexão nativa do Amazon RDS for Oracle, você pode optar por adicionar uma entrada no TNSNAMES. ORA no servidor Amazon RDS for Oracle e no serviço vinculado Amazon RDS for Oracle, escolha usar o tipo de conexão Amazon RDS for Oracle Service Name e configure o nome do serviço correspondente.	Sim
ConecteVia	O tempo de execução de integração a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos . Se não for especificado, o Tempo de Execução de Integração do Azure padrão será usado.	Não

Se você tiver várias instâncias do Amazon RDS for Oracle para cenário de failover, poderá criar o serviço vinculado do Amazon RDS for Oracle e preencher o host primário, a porta, o nome de usuário, a senha, etc., e adicionar uma nova "Propriedades de conexão adicionais" com o nome da propriedade como e o valor como - não perca os colchetes e preste atenção aos dois pontos (:) como AlternateServers(HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) separador. Como exemplo, o seguinte valor de servidores alternativos define dois servidores de banco de dados alternativos para failover de conexão: (HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Mais propriedades de conexão que você pode definir na cadeia de conexão por seu caso:

Propriedade	Description	Valores permitidos
ArraySize	O número de bytes que o conector pode buscar em uma única viagem de ida e volta de rede. Por exemplo, `ArraySize=‭10485760‬`. Valores maiores aumentam a taxa de transferência, reduzindo o número de vezes para buscar dados na rede. Valores menores aumentam o tempo de resposta, pois há menos atraso esperando que o servidor transmita dados.	Um inteiro de 1 a 4294967296 (4 GB). O valor predefinido é `60000`. O valor 1 não define o número de bytes, mas indica a alocação de espaço para exatamente uma linha de dados.

Para habilitar a criptografia na conexão do Amazon RDS for Oracle, você tem duas opções:

Para usar o Triple-DES Encryption (3DES) e o Advanced Encryption Standard (AES), no lado do servidor do Amazon RDS for Oracle, vá para Oracle Advanced Security (OAS) e defina as configurações de criptografia. Para obter detalhes, consulte esta documentação da Oracle. O conector do Amazon RDS for Oracle Application Development Framework (ADF) negocia automaticamente o método de criptografia para usar aquele que você configura no OAS ao estabelecer uma conexão com o Amazon RDS for Oracle.
Para usar TLS:
1. Obtenha as informações do certificado TLS/SSL. Obtenha as informações de certificado codificadas em DER (Distinguished Encoding Rules) do seu certificado TLS/SSL e salve a saída (----- Begin Certificate ... End Certificate -----) como um arquivo de texto.
```
openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
```
  Exemplo: extraia informações de cert de DERcert.cer e salve a saída em cert.txt.
```
openssl x509 -inform DER -in DERcert.cer -text
Output:
-----BEGIN CERTIFICATE-----
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXX
-----END CERTIFICATE-----
```
2. Construa o keystore ou truststore. O comando a seguir cria o truststore arquivo, com ou sem senha, no formato PKCS-12.
```
openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
```
  Exemplo: Crie um arquivo PKCS12 truststore , chamado MyTrustStoreFile, com uma senha.
```
openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
```
3. Coloque o truststore arquivo na máquina de IR auto-hospedada. Por exemplo, coloque o arquivo em C:\MyTrustStoreFile.
4. No serviço, configure a cadeia de conexão do Amazon RDS para Oracle com EncryptionMethod=1 e o valor correspondente/TrustStoreTrustStorePassword. Por exemplo, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Exemplo:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha no Cofre da Chave do Azure

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Esta seção fornece uma lista de propriedades compatíveis com o conjunto de dados do Amazon RDS for Oracle. Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

Para copiar dados do Amazon RDS for Oracle, defina a propriedade type do conjunto de dados como AmazonRdsForOracleTable. As seguintes propriedades são suportadas.

Propriedade	Descrição	Necessário
tipo	A propriedade type do conjunto de dados deve ser definida como `AmazonRdsForOracleTable`.	Sim
esquema	Nome do esquema.	Não
tabela	Nome da tabela/vista.	Não
tableName	Nome da tabela/vista com esquema. Esta propriedade é suportada para compatibilidade com versões anteriores. Para nova carga de trabalho, use `schema` e `table`.	Não

Exemplo:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade Copy

Esta seção fornece uma lista de propriedades compatíveis com a origem do Amazon RDS for Oracle. Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines.

Amazon RDS for Oracle como origem

Gorjeta

Para carregar dados do Amazon RDS for Oracle de forma eficiente usando o particionamento de dados, saiba mais em Cópia paralela do Amazon RDS for Oracle.

Para copiar dados do Amazon RDS for Oracle, defina o tipo de origem na atividade de cópia como AmazonRdsForOracleSource. As propriedades a seguir são suportadas na seção copiar fonte de atividade.

Propriedade	Descrição	Necessário
tipo	A propriedade type da fonte de atividade de cópia deve ser definida como `AmazonRdsForOracleSource`.	Sim
oracleReaderQuery	Use a consulta SQL personalizada para ler dados. Um exemplo é `"SELECT * FROM MyTable"`. Ao habilitar a carga particionada, você precisa conectar quaisquer parâmetros de partição internos correspondentes em sua consulta. Para obter exemplos, consulte a seção Cópia paralela do Amazon RDS para Oracle .	Não
partitionOptions	Especifica as opções de particionamento de dados usadas para carregar dados do Amazon RDS for Oracle. Os valores permitidos são: None (padrão), PhysicalPartitionsOfTable e DynamicRange. Quando uma opção de partição é ativada (ou seja, não `None`), o grau de paralelismo para carregar simultaneamente dados de um banco de dados do Amazon RDS for Oracle é controlado pela `parallelCopies` configuração na atividade de cópia.	Não
partitionSettings	Especifique o grupo de configurações para particionamento de dados. Aplique quando a opção de partição não `None`for .	Não
partitionNames	A lista de partições físicas que precisam ser copiadas. Aplique quando a opção de partição for `PhysicalPartitionsOfTable`. Se você usar uma consulta para recuperar os dados de origem, conecte `?AdfTabularPartitionName` a cláusula WHERE. Para obter um exemplo, consulte a seção Cópia paralela do Amazon RDS for Oracle .	Não
partitionColumnName	Especifique o nome da coluna de origem no tipo inteiro que será usado pelo particionamento de intervalo para cópia paralela. Se não for especificado, a chave primária da tabela será detetada automaticamente e usada como coluna de partição. Aplique quando a opção de partição for `DynamicRange`. Se você usar uma consulta para recuperar os dados de origem, conecte `?AdfRangePartitionColumnName` a cláusula WHERE. Para obter um exemplo, consulte a seção Cópia paralela do Amazon RDS for Oracle .	Não
partiçãoUpperBound	O valor máximo da coluna de partição para copiar dados. Aplique quando a opção de partição for `DynamicRange`. Se você usar uma consulta para recuperar os dados de origem, conecte `?AdfRangePartitionUpbound` a cláusula WHERE. Para obter um exemplo, consulte a seção Cópia paralela do Amazon RDS for Oracle .	Não
partiçãoLowerBound	O valor mínimo da coluna de partição para copiar dados. Aplique quando a opção de partição for `DynamicRange`. Se você usar uma consulta para recuperar os dados de origem, conecte `?AdfRangePartitionLowbound` a cláusula WHERE. Para obter um exemplo, consulte a seção Cópia paralela do Amazon RDS for Oracle .	Não

Exemplo: copiar dados usando uma consulta básica sem partição

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia paralela do Amazon RDS for Oracle

O conector do Amazon RDS for Oracle fornece particionamento de dados integrado para copiar dados do Amazon RDS for Oracle em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Screenshot of partition options.

Quando você habilita a cópia particionada, o serviço executa consultas paralelas na origem do Amazon RDS for Oracle para carregar dados por partições. O grau paralelo é controlado pela parallelCopies configuração na atividade de cópia. Por exemplo, se você definir parallelCopies como quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados do banco de dados do Amazon RDS for Oracle.

Sugere-se que você habilite a cópia paralela com particionamento de dados, especialmente quando carrega uma grande quantidade de dados do banco de dados do Amazon RDS for Oracle. A seguir estão sugeridas configurações para diferentes cenários. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especifique apenas o nome da pasta), caso em que o desempenho é melhor do que gravar em um único arquivo.

Scenario	Configurações sugeridas
Carga completa a partir de uma mesa grande, com divisórias físicas.	Opção de partição: Partições físicas da tabela. Durante a execução, o serviço deteta automaticamente as partições físicas e copia os dados por partições.
Carga completa a partir de uma tabela grande, sem partições físicas, enquanto com uma coluna inteira para particionamento de dados.	Opções de partição: Partição de intervalo dinâmico. Coluna de partição: especifique a coluna usada para particionar dados. Se não for especificado, a coluna de chave primária será usada.
Carregue uma grande quantidade de dados usando uma consulta personalizada, com partições físicas.	Opção de partição: Partições físicas da tabela. Consulta: `SELECT * FROM <TABLENAME> PARTITION("?AdfTabularPartitionName") WHERE <your_additional_where_clause>`. Nome da partição: especifique o(s) nome(s) da(s) partição(ões) da qual copiar os dados. Se não for especificado, o serviço detetará automaticamente as partições físicas na tabela especificada no conjunto de dados do Amazon RDS for Oracle. Durante a execução, o serviço substitui `?AdfTabularPartitionName` pelo nome real da partição e envia para o Amazon RDS for Oracle.
Carregue uma grande quantidade de dados usando uma consulta personalizada, sem partições físicas, enquanto com uma coluna inteira para particionamento de dados.	Opções de partição: Partição de intervalo dinâmico. Consulta: `SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>`. Coluna de partição: especifique a coluna usada para particionar dados. Você pode particionar contra a coluna com o tipo de dados inteiro. Limite superior da partição e limite inferior da partição: especifique se deseja filtrar a coluna da partição para recuperar dados apenas entre o intervalo inferior e superior. Durante a execução, o serviço substitui `?AdfRangePartitionColumnName`o , e com o nome da coluna real e os intervalos de valores para cada partição, e `?AdfRangePartitionLowbound` envia para o `?AdfRangePartitionUpbound`Amazon RDS for Oracle. Por exemplo, se a coluna de partição "ID" estiver definida com o limite inferior como 1 e o limite superior como 80, com cópia paralela definida como 4, o serviço recuperará dados por 4 partições. Os seus IDs situam-se entre [1, 20], [21, 40], [41, 60] e [61, 80], respetivamente.

Gorjeta

Ao copiar dados de uma tabela não particionada, você pode usar a opção de partição "Intervalo dinâmico" para particionar em uma coluna inteira. Se os dados de origem não tiverem esse tipo de coluna, você poderá aproveitar ORA_HASH função na consulta de origem para gerar uma coluna e usá-la como coluna de partição.

Exemplo: consulta com partição física

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Exemplo: consulta com partição de intervalo dinâmico

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Propriedades da atividade de pesquisa

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Para obter uma lista de armazenamentos de dados suportados como fontes e coletores pela atividade de cópia, consulte Armazenamentos de dados suportados.

Copiar dados do Amazon RDS for Oracle usando o Azure Data Factory ou o Azure Synapse Analytics

Capacidades suportadas

Pré-requisitos

Introdução

Criar um serviço vinculado ao Amazon RDS for Oracle usando a interface do usuário

Detalhes de configuração do conector

Propriedades do serviço vinculado

Propriedades do conjunto de dados

Propriedades da atividade Copy

Amazon RDS for Oracle como origem

Cópia paralela do Amazon RDS for Oracle

Propriedades da atividade de pesquisa

Conteúdos relacionados

Recursos adicionais