Analisi dei dati in clean room e multiparty

Il confidential computing di Azure (ACC) fornisce le basi per le soluzioni che consentono a più parti di collaborare sui dati. Esistono diversi approcci e un ecosistema crescente di partner aiuta i clienti Azure, ricercatori, data scientist e fornitori di dati a collaborare sui dati preservando la privacy. Questa panoramica illustra alcuni degli approcci e delle soluzioni esistenti utilizzabili, tutti eseguiti in ACC.

Quali sono le protezioni dei dati e dei modelli?

Le soluzioni di clean room dati offrono tipicamente un modo per uno o più fornitori di dati di combinare i dati per l'elaborazione. Tipicamente, i fornitori si accordano sul codice, sulle query o sui modelli creati da uno dei partecipanti, come un ricercatore o un fornitore di soluzioni. In molti casi, i dati sono sensibili e non dovrebbero essere condivisi direttamente con altri partecipanti, che siano altri fornitori di dati, ricercatori o fornitori di soluzioni. Per garantire sicurezza e privacy sia dei dati che dei modelli utilizzati nelle clean room dei dati, il calcolo confidenziale può verificare crittograficamente che i partecipanti non abbiano accesso ai dati o ai modelli, anche durante l'elaborazione. Utilizzando ACC, le soluzioni possono proteggere l'IP dei dati e del modello dall'operatore cloud, dal fornitore della soluzione e dai partecipanti alla collaborazione dati.

Quali sono gli esempi di casi d'uso del settore?

Utilizzando ACC, clienti e partner creano soluzioni di analisi dei dati di più parti che preservano la privacy, talvolta chiamate "camere bianche riservate". Queste soluzioni possono essere soluzioni completamente nuove costruite per essere riservate oppure soluzioni cleanroom esistenti rese riservate tramite l'uso dell'ACC.

• Scotiabank - Ha dimostrato l'uso dell'IA sui flussi di denaro transbancari per identificare il riciclaggio di denaro e segnalare i casi di tratta di esseri umani, utilizzando Azure Confidential Computing e un partner di soluzione, Opaque.
• Novartis Biome - Ha usato una soluzione partner di BeeKeeperAI eseguita in ACC per individuare candidati a sperimentazioni cliniche per malattie rare.
• I principali fornitori di pagamenti collegano i dati tra le banche per il rilevamento di frodi e anomalie.
• I servizi di analisi dei dati e le soluzioni delle camere bianche utilizzano ACC per aumentare la protezione dei dati e soddisfare le esigenze di conformità dei clienti e le normative sulla privacy dell'EU.

Perché il confidential computing?

Le data cleanroom non sono un concetto completamente nuovo. Tuttavia, i progressi nel calcolo confidenziale offrono maggiori opportunità per sfruttare la scala cloud con dataset più ampi, proteggere la proprietà intellettuale dei modelli di IA e rispettare meglio le normative sulla privacy dei dati. Nei casi precedenti alcuni dati potrebbero non essere accessibili per motivi quali:

• Svantaggi competitivi o regolamentazioni che impediscono la condivisione dei dati tra aziende del settore.
• Anonimizzazione che riduce la qualità delle informazioni dettagliate ricavate dai dati oppure troppo costosa e dispendiosa in termini di tempo.
• I dati sono vincolati a determinate località e non vengono elaborati nel cloud per problemi di sicurezza.
• Processi legali costosi o lunghi per coprire la responsabilità in caso di esposizione o uso improprio dei dati.

Queste realtà possono portare a set di dati incompleti o inefficaci, con informazioni dettagliate meno solide o tempi più lunghi per il training e l'uso dei modelli di IA.

Quali sono le considerazioni per la creazione di una soluzione cleanroom?

Analisi batch vs. pipeline dati in tempo reale: Considera la dimensione dei dataset e la velocità degli insight quando si progetta o si utilizza una soluzione clean room. Quando i dati sono disponibili "offline", puoi caricarli in un ambiente di calcolo verificato e sicuro per l'elaborazione analitica dei dati su grandi porzioni di dati, se non sull'intero dataset. Questo approccio di analisi in batch consente di valutare grandi dataset con modelli e algoritmi che non ci si aspetta forniscano un risultato immediato. Ad esempio, l'analisi batch funziona bene quando si effettua inferenze ML su milioni di cartelle cliniche per trovare i migliori candidati per uno studio clinico. Altre soluzioni richiedono informazioni in tempo reale sui dati, come quando algoritmi e modelli mirano a identificare frodi in transazioni quasi in tempo reale tra più entità.

Partecipazione zero-trust: Un elemento distintivo nelle cleanroom riservate è la capacità di non fidarsi di nessuna parte coinvolta, dai fornitori di dati agli sviluppatori di codice e modelli, fornitori di soluzioni e amministratori dell'operatore dell'infrastruttura. È possibile fornire soluzioni in cui i dati e la proprietà intellettuale dei modelli sono protetti da tutte le parti. Durante l’onboarding o quando si costruisce una soluzione, i partecipanti dovrebbero considerare sia cosa vogliono proteggere sia da chi proteggere codice, modelli e dati.

Apprendimento federato: L'apprendimento federato consiste nella creazione o nell'utilizzo di una soluzione in cui i modelli vengono eseguiti nel tenant del proprietario dei dati e gli insight vengono aggregati in un tenant centrale. In alcuni casi, i modelli possono persino funzionare su dati esterni ad Azure, con l'aggregazione dei modelli che avviene ancora in Azure. Molte volte, l'apprendimento federato itera sui dati man mano che i parametri del modello migliorano dopo l'aggregazione delle informazioni. Per la soluzione e per i risultati attesi si devono prendere in considerazione i costi di iterazione e la qualità del modello.

Residenza dei dati e origini: i clienti hanno dati archiviati in più cloud e in locale. La collaborazione può includere dati e modelli provenienti da origini diverse. Le soluzioni cleanroom possono facilitare l’arrivo di dati e modelli su Azure da tali altre posizioni. Se non è possibile spostare i dati in Azure da un archivio dati locale, alcune soluzioni cleanroom possono essere eseguite nel sito in cui risiedono i dati. La gestione e i criteri si possono basare su un provider di soluzioni comune, ove disponibile.

Integrità del codice e registri riservati: Utilizzando la tecnologia del registro distribuito (DLT) che gira su Azure Confidential Computing, puoi costruire soluzioni che funzionano su una rete tra le organizzazioni. La logica del codice e le regole analitiche vengono aggiunte solo quando c'è consenso tra i vari partecipanti. Tutti gli aggiornamenti del codice vengono registrati per l'audit tramite logging a prova di manomissione abilitato da Azure Confidential Computing.

Quali sono le opzioni per iniziare?

Azure Confidential Clean Rooms (anteprima)

Azure Confidential Clean Rooms (ACCR) è progettato per organizzazioni che necessitano di condividere dati sensibili alla privacy, come informazioni personali identificabili (PII) o informazioni sanitarie protette (PHI), in modo sicuro con altre organizzazioni per ottenere insight critici per il business, ottimizzare modelli ML con dati sensibili provenienti da altre organizzazioni per migliorare l'accuratezza o eseguire analisi sicure su dati congiunti con organizzazioni partner. ACCR usa contenitori riservati in Istanze di Azure Container per garantire che i dati rimangano protetti da altri collaboratori e dagli operatori di Azure. Ha applicazioni che spaziano su molteplici settori come sanità, pubblicità, servizi bancari e finanziari, e vendita al dettaglio.

Puoi iscriverti all'anteprima ACCR inviando questo modulo.

Offerte della piattaforma ACC che consentono cleanroom riservate

Rimboccati le maniche e crea una soluzione data clean room direttamente su queste offerte di servizi di confidential computing.

I contenitori riservati in Istanze di Azure Container (ACI) e pool di nodi di macchine virtuali riservate offrono una soluzione basata su contenitori per creare soluzioni delle camere bianche riservate. Le opzioni di enclave Intel SGX rimangono disponibili per scenari specializzati.

Le macchine virtuali (VM) riservate offrono una piattaforma VM per soluzioni cleanroom riservate.

Azure SQL AE in enclave sicure offre un servizio di piattaforma per la crittografia di dati e query in SQL utilizzabile nelle analisi dei dati multiparte e nelle cleanroom riservate.

Confidential Consortium Framework è un framework open source per la creazione di servizi con stato a disponibilità elevata che usano risorse di calcolo centralizzate per semplificare l'uso e le prestazioni, offrendo al tempo stesso un'attendibilità decentralizzata. Esso consente a più parti di eseguire un calcolo verificabile su dati riservati senza doversi fidare gli uni degli altri né di un operatore privilegiato.

Soluzioni partner ACC che abilitano cleanroom riservate

Usa un partner che costruisce una soluzione di analisi dati multiparte sopra la piattaforma Azure Confidential Computing.

• Anjuna fornisce una piattaforma di confidential computing per abilitare diversi casi d'uso, tra cui cleanroom sicure, affinché le organizzazioni possano condividere i dati per l'analisi congiunta, ad esempio il calcolo dei punteggi di rischio creditizio o lo sviluppo di modelli di Machine Learning, senza esporre informazioni sensibili.
• BeeKeeperAI abilita l'intelligenza artificiale nel settore sanitario grazie a una piattaforma di collaborazione sicura per i proprietari di algoritmi e gli amministratori dei dati. BeeKeeperAI utilizza analisi che preservano la privacy su dati protetti multi-istituzionali in un ambiente di confidential computing.
• Decentriq fornisce servizi per data cleanroom SaaS basate sul confidential computing che consentono la collaborazione sicura dei dati senza condividere i dati. Le cleanroom di data science consentono analisi flessibili tra più parti, inoltre, le cleanroom senza codice per i media e la pubblicità consentono un'attivazione del pubblico conforme e analisi basate su dati utente di prima parte. Le cleanroom riservate sono descritte in maggior dettaglio in questo articolo nel blog di Microsoft.
• Duality Technologies consente analisi multiparte e intelligenza artificiale su dati che i partecipanti non possono centralizzare. Combina calcolo confidenziale e ambienti di esecuzione affidabili, crittografia completamente omomorfa, apprendimento federato e privacy differenziale a seconda delle esigenze di ogni carico di lavoro, mentre ogni dataset rimane sotto il controllo del proprietario tra dipartimenti o organizzazioni. I casi d'uso includono la ricerca clinica interistituzionale e la ricerca su evidenze del mondo reale, il rilevamento di frodi e l'analisi anti-riciclaggio.
• Fortanix fornisce una piattaforma di confidential computing che può abilitare l'intelligenza artificiale confidenziale, includendo la collaborazione di più organizzazioni per analisi multi-party.
• Opaque offre una piattaforma di confidential computing per l'analisi collaborativa e l'IA, dando la possibilità di eseguire analisi scalabili collaborative pur proteggendo i dati end-to-end e consentendo alle organizzazioni di rispettare i requisiti legali e normativi.