Distribuire e gestire i modelli di intelligenza artificiale Fireworks in Microsoft Foundry

Questo articolo illustra il percorso più breve per eseguire un'applicazione ospitata Azure che chiama un modello di intelligenza artificiale Fireworks distribuito tramite Microsoft Foundry. L'architettura inizia con un'applicazione in contenitori, un endpoint di distribuzione Fireworks e una gestione dei segreti di base. Aggiungi database, code, gateway per API, cache e altri servizi di supporto solo quando il tuo prodotto ne ha bisogno.

Perché questo aspetto è importante per le startup

L'inferenza è una delle principali voci di costo controllabili per un'azienda nativa AI. L'architettura di servizio scelta in anticipo può influenzare i costi, il sovraccarico operativo, le prestazioni e la flessibilità futura.

Microsoft Foundry e Fireworks AI forniscono:

• Governance e fatturazione native di Azure
• Accesso a modelli open-weight e personalizzabili
• Infrastruttura di inferenza gestita
• Un'esperienza di distribuzione coerente
• Percorso dalla sperimentazione alla produzione senza creare un'infrastruttura GPU

Confrontare le opzioni di inferenza

Option	Punti di forza	Limitations	Se è compatibile
vLLM self-hosted su una flotta di GPU	Controllo completo del modello, della pianificazione e dei costi	Richiede una progettazione della piattaforma ML dedicata e operazioni in corso	Società serie C+ con team di piattaforma
API di frontiera a codice chiuso	Percorso più rapido per la sperimentazione	I costi possono aumentare su larga scala e le opzioni di ottimizzazione possono essere limitate	Prototipazione anticipata
Servizi di intelligenza artificiale cloud generici	Facile integrazione	Ottimizzazione meno specifica del carico di lavoro	App in cui l'intelligenza artificiale non è l'elemento di differenziazione principale
Fuochi d'artificio su Microsoft Foundry	Modelli a pesi aperti e personalizzabili, governance e fatturazione nativi di Azure, inferenza gestita	Richiede la distribuzione e la configurazione delle risorse Foundry	Startup native dell'intelligenza artificiale basate su Azure

Architettura di riferimento a colpo d'occhio

L'architettura inizia intenzionalmente di piccole dimensioni e si espande solo quando emergono i requisiti.

Components

Componente	Purpose
App contenitore di Azure	Ospita l'applicazione o l'API che invia richieste di inferenza
modelli di intelligenza artificiale Microsoft Foundry + Fireworks	Fornisce distribuzione del modello, governance, fatturazione e inferenza
Registro dei contenitori di Azure	Archivia le immagini dei contenitori
Gestione dei segreti	Archivia le credenziali e le informazioni sugli endpoint in modo sicuro
Monitoraggio di Azure (facoltativo)	Fornisce informazioni dettagliate sull'osservabilità e sulle prestazioni

Cosa costruisci

• Distribuzione di Fuochi d'artificio ospitata tramite Microsoft Foundry
• Applicazione containerizzata che avvia la distribuzione
• Archiviazione di immagini del contenitore
• Distribuzione di App contenitore di Azure
• Proteggere l'accesso alle credenziali di distribuzione
• Osservabilità e convalida di base

Prima di iniziare

È necessario:

• Una sottoscrizione di Azure
• Un progetto Microsoft Foundry
• Autorizzazioni per la distribuzione di modelli in Foundry
• Autorizzazioni per creare risorse di App contenitore
• Autorizzazioni per creare o usare Registro Azure Container

Flusso di lavoro per la distribuzione

Passaggio 1: Distribuire un modello Fireworks

1. Creare o aprire un progetto Microsoft Foundry.
2. Esplorare il catalogo dei modelli e selezionare un modello pubblicato da Fireworks AI (modelli di ricerca che iniziano con FW o sfoglia per raccolta).
3. Scegliere un'opzione di distribuzione appropriata per il carico di lavoro.
4. Distribuire il modello e registrare i dettagli della distribuzione.

Passaggio 2: Proteggere le impostazioni di distribuzione

L'applicazione richiede l'accesso a:

• Informazioni sull'endpoint di distribuzione
• Credenziali per la distribuzione
• Nome della distribuzione

Per i prototipi, i segreti a livello di applicazione potrebbero essere sufficienti. Per i carichi di lavoro di produzione, prendere in considerazione l'identità gestita e Azure Key Vault.

Passaggio 3: Connettere l'applicazione

Le distribuzioni di Fireworks espongono un endpoint di inferenza conforme agli standard che puoi richiamare usando SDK supportati. Le applicazioni in genere forniscono:

• Posizione dell'endpoint
• Credenziali di autenticazione
• Nome della distribuzione
• Parametri della richiesta

Tip

Per esempi completi in Python e App contenitore di Azure, vedere il repository di GitHub complementare con esempi di codice completi.

Passaggio 4: Distribuire l'applicazione

Il percorso di distribuzione più semplice è:

1. Creare un container per l'applicazione.
2. Archiviare l'immagine in Registro Azure Container.
3. Distribuire l'immagine in App contenitore di Azure.
4. Configurare i segreti e le impostazioni dell'ambiente.
5. Convalidare la connettività.

Misurare prima di aggiungere complessità

Acquisire un piccolo set di metriche prima di introdurre componenti aggiuntivi:

• Tempo di ricezione del primo token
• Latenza totale della risposta
• Volume della richiesta
• Tasso di errore
• Frequenza di ripetizione dei tentativi
• Consumo di token
• Costo stimato per richiesta
• Modelli di utilizzo della distribuzione

Usare queste misurazioni per determinare quali miglioramenti dell'architettura sono effettivamente necessari.

Aggiungere componenti di produzione solo quando necessario

Se hai bisogno di...	Aggiungere...
Limitazione della frequenza dei tenant e governance delle API	Gestione API di Azure
Richieste ripetute e memorizzazione nella cache	Redis gestito da Azure
Stato utente e applicazione	Database di Azure per PostgreSQL o Azure Cosmos DB
L'archiviazione dei file	Archiviazione BLOB di Azure
Elaborazione in background	Bus di servizio di Azure
Controlli di rete aziendali	Endpoint privati e reti virtuali

Passaggi successivi

• Distribuire un modello Fireworks in Microsoft Foundry.
• Esaminare l'implementazione del GitHub complementare.
• Aggiungere monitoraggio e osservabilità.
• Introdurre la persistenza e la memorizzazione nella cache in base alle esigenze.
• Valutare Gestione API e isolamento di rete per i carichi di lavoro di produzione.