Condividi tramite

Usare il database SQL come archivio dati operativo

si applica a:✅database SQL in Microsoft Fabric

Questo articolo illustra come implementare un archivio dati operativo (ODS) usando il database SQL in Fabric. Fornisce linee guida per l'architettura, modelli di progettazione, caratteristiche del carico di lavoro e considerazioni specifiche per il Fabric per la creazione di un ODS sicuro, performante e regolamentato.

Diagramma del caso d'uso per il database SQL in Fabric come archivio dati operativo (ODS).

Che cos'è un ODS?

Un archivio dati operativo (ODS) è un archivio orientato ai soggetti, integrato e quasi in tempo reale che consolida i dati di più sistemi operativi in un modello leggermente curato e normalizzato, in genere in schemi normalizzati. Supporta la creazione di report operativi, l'analisi leggera, la gestione delle API e la propagazione downstream ai livelli analitici, ad esempio Fabric Warehouse o Fabric Lakehouse.

Un ODS non è un sistema OLTP (Source Online Transaction Processing) o un warehouse dimensionale.

Al contrario, funge da "verità calda, armonizzata" per gli ultimi N minuti, ore o giorni, seduti tra sistemi di origine e piattaforme analitiche.

Caratteristiche chiave di un ODS

Un archivio dati operativo (ODS) in Microsoft Fabric è progettato per offrire una visualizzazione quasi in tempo reale dei dati operativi con solide garanzie di governance e prestazioni.

  • Inserisce dati da più sistemi di origine, con bassa latenza.
  • Lo schema viene in genere normalizzato in terza forma normale (3NF), per supportare flessibilità e tracciabilità.
  • La qualità dei dati viene migliorata tramite la deduplicazione, la risoluzione delle identità e la gestione di record eliminati in ritardo o eliminati temporaneamente, creando una base affidabile per la creazione di report operativi e l'analisi a valle.
  • I modelli di gestione includono query basate su SQL, dashboard operativi, avvisi e API, mentre le funzionalità di governance dell'infrastruttura garantiscono la conformità e la sicurezza nel ciclo di vita dei dati.

Il database SQL in Fabric funge da canale sicuro ed efficiente tra i dati operativi e le piattaforme analitiche.

Components

I componenti seguenti sono coinvolti nell'uso del database SQL in Fabric come archivio dati operativo:

  • Vincoli e chiavi: applicano la logica aziendale e l'integrità referenziale (chiavi naturali, chiavi surrogate, chiavi esterne).
  • Risoluzione delle identità: deduplicare le origini; applicare le regole di sopravvivenza.
  • Servizio: esporre endpoint GraphQL e/o creare dashboard di Power BI.

Procedure consigliate per l'inserimento e il carico di lavoro

La creazione di un ODS nel database SQL in Fabric richiede strategie di inserimento che bilanciano l'aggiornamento, l'affidabilità e le prestazioni.

  • I caricamenti batch e incrementali vengono in genere orchestrati tramite Fabric Data Pipelines usando connettori abilitati per Change Data Capture, con tracciamento e logica di ritentativo per garantire la coerenza.
    • Ottimizzare la concorrenza della pipeline per consentire al database SQL di ridimensionarsi durante i carichi di picco, rispettando al tempo stesso gli obiettivi a livello di servizio per l'aggiornamento dei dati.
    • La filigrana è un concetto importante nei processi di copia incrementale. Consente di identificare facilmente dove si è interrotto l'ultimo processo di caricamento incrementale.
  • Eseguire trasformazioni complesse upstream in Dataflow Gen2 o nei Notebook di Spark. Riservare il livello SQL per le operazioni finali MERGE che impongono vincoli e mantengono prestazioni simili a OLTP.
  • Usare modelli di progettazione idempotenti che combinano il rilevamento delle modifiche, la filigrana, il T-SQL MERGE e le tabelle di controllo per riavvii sicuri e resilienza operativa.

Motore e ambiente

Il database SQL in Fabric si basa sullo stesso motore di database SQL del database SQL di Azure, offrendo un'esperienza T-SQL familiare con compatibilità completa per gli strumenti client standard.

Usando il database SQL in Microsoft Fabric, è possibile creare flussi di lavoro end-to-end dall'inserimento all'analisi usando altre funzionalità in Microsoft Fabric:

  • Pipeline di dati
  • Flusso di dati Gen2
  • Notebooks
  • Intelligenza in tempo reale
  • Power BI
  • Tutto con DevOps semplificato tramite CI/CD basato su Git

Contenuti correlati

  • Last updated on