Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Genie Migrate converte SQL da dialetti come T-SQL, Snowflake, Redshift, Oracle, BigQuery e Teradata in query SQL o notebook Databricks. Converte inoltre carichi di lavoro di estrazione, trasformazione e caricamento (ETL) da Informatica PowerCenter (Beta) in notebook Databricks. Converti i file in un progetto di migrazione e scegli il formato di output, chiamato framework target, quando crei il progetto. Vedi i dialetti sorgente supportati e i framework di destinazione.
Per i requisiti, vedi Requisiti per Genie Migrate.
Come Genie Migrate converte il codice
Quando esegui una conversione, Genie Code distribuisce sottoagenti che convertono i file contemporaneamente. Ogni sottoagente analizza il dialetto sorgente e genera il codice equivalente per il framework di destinazione del progetto (Databricks SQL o un notebook Databricks).
Ogni sottoagente poi controlla il codice convertito:
- Sintassi: Controlla che il codice convertito giri su Azure Databricks senza errori.
-
intento semantico: Controlla che il codice convertito mantenga la logica di business del sorgente, come le stesse join e
WHEREclausole.
Quando un controllo fallisce, il sottoagente revisiona il codice e lo controlla di nuovo. Genie Code applica anche le tue abilità personalizzate quando converte i file. Vedi Migliorare le conversioni con competenze personalizzate. I file convertiti vengono scritti direttamente nella cartella dell'area di lavoro specificata per il progetto.
È anche possibile convertire un singolo file o una cartella senza un progetto usando il /migrate comando in una conversazione Genie Code.
Dialetti sorgente supportati e framework target
Genie Migrate converte i seguenti dialetti SQL:
- T-SQL
- Snowflake SQL
- Redshift SQL
- Oracle
- BigQuery
- Teradata
Quando crei un progetto di migrazione per un dialetto SQL, scegli uno dei seguenti framework target:
- DBSQL: query SQL di Databricks conformi ad ANSI.
-
Notebooks (Beta): notebook Databricks che utilizzano l'API DataFrame, con
spark.sqlper la logica più chiara in SQL. - Spark Declarative Pipelines (Beta): pipeline Lakeflow, solo per progetti T-SQL, inclusi script da SQL Server e pool SQL dedicati di Azure Synapse. Quando è attivata l'anteprima delle Migration Projects Experimental Features, questo target viene selezionato di default per i progetti T-SQL.
Genie Migrate supporta anche Informatica PowerCenter come sorgente ETL.
Importante
Questa funzionalità è in versione beta. Per utilizzarlo, un amministratore dello spazio di lavoro deve attivare Migration Projects Experimental Features dalla pagina Previews. Vedere Gestire le anteprime di Azure Databricks.
Informatica Intelligent Gestione dati Cloud (IDMC) e Informatica Intelligent Cloud Services (IICS) non sono supportati. Genie Migrate converte gli oggetti in un'esportazione Informatica, come flussi di lavoro e mappamenti, in notebook Databricks, quindi i progetti Informatica utilizzano sempre il framework target Notebooks.
Per preparare i flussi di lavoro di Informatica per la conversione, esportarli da PowerCenter Repository Manager nel formato PowerMart XML. Esporta a livello di workflow e include oggetti dipendenti, come mapping, sessioni, mapplet e worklet. Non includere le credenziali nell'esportazione.
Converti i file in un progetto di migrazione
Prima di convertire, crea un progetto di migrazione e aggiungi i file sorgente. Vedi Creare e analizzare un progetto di migrazione.
Passo 1: Esegui la conversione
Nei progetti Informatica, selezioni e converti i flussi di lavoro, le mappature e gli altri oggetti creati dall'analisi, non i file di export caricati .xml.
Per convertire file specifici, selezionali e clicca su Converti selezionati. Per convertire tutti i file nel progetto, cancella la selezione e clicca su Converti tutto. Per convertire un gruppo alla volta, passa il mouse sulla riga del gruppo e clicca su Converti questo gruppo. Consulta «Pianificare la migrazione in gruppi». Genie Code apre una conversazione, richiama la competenza di migrazione e distribuisce i subagenti per convertire i file contemporaneamente. Ogni file convertito viene visualizzato come file collegato nel progetto. Ogni file mostra uno dei seguenti stati:
- Grigio: Il file non è ancora stato convertito (Non avviato, In coda o Arrestato). Viene visualizzato un indicatore di caricamento mentre il file si converte.
- Verde non riempito: Il file è stato convertito senza problemi (Convertito).
- Verde pieno: Hai esaminato e accettato il file convertito (Revisionato).
- Giallo: Il file è stato convertito, ma contiene elementi da esaminare che devi rivedere.
- Rosso: La conversione è fallita (Errore).
Nei progetti destinati alle pipeline Lakeflow, ogni gruppo diventa una pipeline di cui sei proprietario e un file si converte solo dopo essere stato inserito in un gruppo con catalogo e schema. Prima di convertire un gruppo, fai clic su Seleziona catalogo e schema sulla sua riga per scegliere dove la sua pipeline pubblica tabelle e visualizzazioni. La destinazione si applica quando la pipeline del gruppo viene creata per la prima volta. Se la pipeline di un gruppo viene eliminata, la successiva conversione del gruppo crea una nuova pipeline, purché il gruppo abbia ancora un catalogo e uno schema. Altrimenti, la conversione fallisce e ti chiede di configurarli. Ogni esecuzione converte file da un massimo di 10 gruppi.
Ogni run converte fino a 500 file. Se metti in coda più di 500 file, i primi 500 file non convertiti si convertono nella run corrente. Dopo la fine dell'esecuzione, ricomincia la conversione per convertire i successivi 500.
Passo 2: Rivedi i risultati della conversione
Per i progetti SQLs di Databricks, clicca su un file convertito per aprire un diff inline nell'editor SQL, che mostra ogni sezione del codice sorgente sopra il SQL proposto di Databricks che lo sostituisce. Accettare tutte le modifiche suggerite o rivedere e accettare singole modifiche. Per i progetti Notebooks, clicca su un file convertito per aprire il notebook Databricks generato. Per gli script che non vengono convertiti, modifica il codice nell'editor oppure chiedi a Genie Code di convalidare nuovamente o riprovare sezioni specifiche. Quando sei soddisfatto, esegui il SQL convertito o il notebook per confermare che funzioni su Azure Databricks. Se lo stesso errore si presenta in diversi file, cattura la correzione in una skill personalizzata e riesegui quei file. Vedi Migliorare le conversioni con competenze personalizzate.
Per i progetti che mirano alle pipeline Lakeflow, clicca su Apri pipeline su un gruppo convertito, esamina i -- TODO: manual review required commenti nei suoi file SQL e poi esegui la pipeline. Genie Migrate valida ogni gruppo convertito con una prova a secco della sua pipeline, così che nulla viene eseguito e nessun dato viene scritto finché non esegui la pipeline.
La pipeline di ciascun gruppo è denominata in base al progetto e al gruppo, per esempio Retail warehouse migration / Sales (Lakebridge 2761…/a0b2…). I file convertiti si trovano in una cartella chiamata in base al gruppo all'interno della cartella di destinazione del progetto, sotto transformations/. Rinominare il gruppo in un secondo momento non sposta la cartella.
Per i progetti Informatica, confrontare ogni notebook generato con la corrispondente mappatura PowerCenter. Controlla tabelle sorgente e target, join, filtri e gruppi di router, ricerche, logica di Update Strategy e parametri. Prima di usare una pipeline convertita in produzione, eseguila su dati non di produzione e confronta i risultati come il numero di righe e gli aggregati chiave con l'output del flusso di lavoro PowerCenter.
Migliora le conversioni con abilità personalizzate
Le competenze personalizzate consentono di codificare le regole business che Genie Code si applicano automaticamente durante ogni conversione. Usarli per gestire i tipi di dati proprietari, applicare modelli di destinazione preferiti o acquisire correzioni apportate ripetutamente. Una competenza di migrazione è una competenza Genie Code, quindi è possibile crearla e gestirla allo stesso modo di qualsiasi altra competenza. Vedere Estendere genie Code con le competenze dell'agente.
Non devi definire tutte le tue skill prima della prima conversazione. La maggior parte delle regole che un'abilità dovrebbe catturare diventa chiara solo dopo aver esaminato i primi risultati. Un flusso di lavoro tipico è:
- Converti un insieme rappresentativo di file.
- Esamina i file con azioni o errori e cerca errori che si ripetono tra i file, come lo stesso tipo di dato, funzione o schema di denominazione non supportato.
- Crea un'abilità che catturi la correzione per ogni errore ricorrente.
- Seleziona solo i file interessati e clicca su Converti i selezionati. Genie Code applica la nuova abilità a quei file.
Ripeti questo ciclo mentre converti più codice. Genie Code applica ogni abilità alle conversioni successive nello spazio di lavoro, quindi una correzione copre altri file con lo stesso schema.
È possibile creare un'abilità dalle impostazioni di Genie Code o da una conversazione di Genie Code. Usare il percorso delle impostazioni per competenze complesse che includono istruzioni dettagliate, esempi o file di supporto. Usare il percorso della chat per competenze rapide e a regola singola.
Impostazioni del codice Genie
Crea lo skill come file, in modo da poter scrivere istruzioni dettagliate e gestirne il versionamento in una cartella Git:
Nel pannello Genie Code fare clic
Impostazioni, quindi fare clic su
Aprire la cartella skills.
Crea una cartella per la tua skill nel percorso skills dell'area di lavoro,
Workspace/.assistant/skills/. Ad esempio:Workspace/.assistant/skills/sql-migration/.Nella cartella skill creare un
SKILL.mdfile con il frontmatter richiesto e le regole di conversione. Ad esempio:--- name: sql-migration description: Conversion rules to apply when migrating legacy SQL to ANSI SQL. --- Always convert the custom type MYDATE to TIMESTAMP_NTZ.
Genie Code rileva la skill la prossima volta che esegui una conversione.
Chat di Genie Code
Descrivere la regola di conversione che si vuole codificare, quindi chiedere a Genie Code di salvarla:
Tip
Always convert our custom type MYDATE to TIMESTAMP_NTZ. Save this as a custom migration skill.
Genie Code crea e registra la competenza e la applica alle conversioni future nell'area di lavoro.
Per visualizzare le competenze attive:
Tip
Show me my migration skills
Per rimuovere un'abilità:
Tip
Delete the migration skill for [description]
Le competenze dell'area di lavoro vengono archiviate a livello di area di lavoro e condivise tra tutti gli utenti dell'area di lavoro.
Testa e convalida il codice convertito
I seguenti consigli ti aiutano a rivedere e a guadagnare fiducia nel risultato convertito:
- Conversione batch: Converti un piccolo insieme di due o cinque file in una sessione per verificare che la conversione multi-file funzioni end-to-end.
- Convalida della sintassi: dopo la conversione, eseguire l'output in un editor o un notebook SQL di Databricks per verificare che venga eseguito senza errori.
-
Casi perimetrali: includere uno script con costrutti specifici del dialetto, ad esempio funzioni finestra T-SQL, Snowflake
QUALIFYo RedshiftLISTAGG, per vedere come il convertitore gestisce modelli non semplici. - Correttezza semantica: eseguire le query originali e convertite sui dati di test equivalenti e confrontare i risultati. Verificare che l'output sia semanticamente corretto, non solo sintatticamente valido.