Izolace sítě v toku instrukcí
Tok výzvy můžete zabezpečit pomocí privátních sítí. Tento článek vysvětluje požadavky na použití toku výzvy v prostředí zabezpečeném privátními sítěmi.
Zahrnuté služby
Při vývoji aplikace LLM pomocí toku výzvy chcete zabezpečené prostředí. Následující služby můžete nastavit jako soukromé prostřednictvím nastavení sítě.
- Pracovní prostor: Pracovní prostor Azure Machine Learning můžete nastavit jako soukromý a omezit na něm příchozí a odchozí provoz.
- Výpočetní prostředek: V pracovním prostoru můžete také omezit příchozí a odchozí pravidlo výpočetního prostředku.
- Účet úložiště: Přístupnost účtu úložiště můžete omezit na konkrétní virtuální síť.
- Registr kontejneru: Je potřeba také zabezpečit registr kontejneru s virtuální sítí.
- Koncový bod: Je potřeba omezit služby Azure nebo IP adresu pro přístup ke koncovému bodu.
- Související služby Azure Cognitive Services, jako jsou Azure OpenAI, bezpečnost obsahu Azure a Azure AI Search, můžete pomocí konfigurace sítě nastavit jako soukromé a pak pomocí privátního koncového bodu umožnit službám Azure Machine Learning komunikovat s nimi.
- Další prostředky mimo Azure, jako je SerpAPI atd. Pokud máte přísné odchozí pravidlo, musíte pro přístup k nim přidat pravidlo plně kvalifikovaného názvu domény.
Možnosti v různých nastaveních sítě
Ve službě Azure Machine Learning máme dvě možnosti zabezpečení izolace sítě, používání vlastní sítě nebo používání virtuální sítě spravované pracovním prostorem. Přečtěte si další informace o prostředcích zabezpečeného pracovního prostoru.
Tady je tabulka, která znázorňuje možnosti v různých síťových nastaveních pro tok výzvy.
| Příchozí přenos dat | Výchozí přenos dat | Typ výpočetních prostředků při vytváření | Odvození výpočetního typu | Možnosti sítě pro pracovní prostor |
|---|---|---|---|---|
| Veřejná | Veřejná | Bezserverová instance (doporučeno), výpočetní instance | Spravovaný online koncový bod (doporučeno), online koncový bod K8s | Spravované (doporučeno) /Přineste si vlastní |
| Privátní | Veřejná | Bezserverová instance (doporučeno), výpočetní instance | Spravovaný online koncový bod (doporučeno), online koncový bod K8s | Spravované (doporučeno) /Přineste si vlastní |
| Veřejná | Privátní | Bezserverová instance (doporučeno), výpočetní instance | Spravovaný online koncový bod | Spravované |
| Privátní | Privátní | Bezserverová instance (doporučeno), výpočetní instance | Spravovaný online koncový bod | Spravované |
- Ve scénáři privátní virtuální sítě doporučujeme použít spravovanou virtuální síť s povoleným pracovním prostorem. Je to nejjednodušší způsob, jak zabezpečit pracovní prostor a související prostředky.
- Můžete mít také jeden pracovní prostor pro vytváření výzvy k vytvoření toku ve virtuální síti a jiný pracovní prostor pro nasazení toku s využitím spravovaného online koncového bodu s virtuální sítí spravovanými pracovním prostorem.
- Nepodporujeme smíšené použití spravované virtuální sítě a použití vlastní virtuální sítě v jednom pracovním prostoru. Protože spravovaný online koncový bod podporuje jenom spravovanou virtuální síť, nemůžete nasadit tok výzvy do spravovaného online koncového bodu v pracovním prostoru, který povolil používání vlastní virtuální sítě.
Zabezpečený tok výzvy s využitím virtuální sítě spravované pracovním prostorem
Virtuální síť spravovaná pracovním prostorem je doporučeným způsobem, jak podporovat izolaci sítě v toku výzvy. Poskytuje snadnou konfiguraci pro zabezpečení pracovního prostoru. Po povolení spravované virtuální sítě na úrovni pracovního prostoru budou prostředky související s pracovním prostorem ve stejné virtuální síti používat stejné nastavení sítě na úrovni pracovního prostoru. Pracovní prostor můžete také nakonfigurovat tak, aby používal privátní koncový bod pro přístup k dalším prostředkům Azure, jako jsou Azure OpenAI, zabezpečení obsahu Azure a Azure AI Search. Můžete také nakonfigurovat pravidlo plně kvalifikovaného názvu domény tak, aby schvalovat odchozí přenosy do prostředků mimo Azure, které používá tok výzvy, jako je SerpAPI atd.
Pokud chcete povolit virtuální síť spravovanou pracovním prostorem, postupujte podle izolace sítě spravované pracovním prostorem.
Důležité
Vytvoření spravované virtuální sítě se odloží, dokud se nevytvořil výpočetní prostředek nebo se ručně nespravuje zřizování. K ruční aktivaci zřizování sítě můžete použít následující příkaz.
az ml workspace provision-network --subscription <sub_id> -g <resource_group_name> -n <workspace_name>Přidejte MSI pracovního prostoru jako
Storage File Data Privileged Contributordo účtu úložiště propojeného s pracovním prostorem.2.1 Přejděte na Azure Portal a vyhledejte pracovní prostor.
2.2 Najděte účet úložiště propojený s pracovním prostorem.
2.3 Přejděte na stránku přiřazení role účtu úložiště.
2.4 Vyhledání role privilegovaného přispěvatele dat souboru úložiště
2.5 Přiřaďte roli privilegovaného přispěvatele dat souboru úložiště spravované identitě pracovního prostoru.
Poznámka:
Tato operace může trvat několik minut, než se projeví.
Pokud chcete komunikovat s privátními službami Azure Cognitive Services, musíte do souvisejícího prostředku přidat související pravidla odchozích přenosů definovaná uživatelem. Pracovní prostor Azure Machine Learning vytvoří v souvisejícím prostředku privátní koncový bod s automatickým schvalováním. Pokud se stav zablokuje, přejděte do souvisejícího prostředku a schvalte privátní koncový bod ručně.
Pokud omezujete odchozí provoz jenom na povolení konkrétních cílů, musíte přidat odpovídající pravidlo odchozích přenosů definované uživatelem, které povolí příslušný plně kvalifikovaný název domény.
V pracovních prostorech, které povolují spravovanou virtuální síť, můžete do spravovaného online koncového bodu nasadit pouze tok instrukcí. Ke zabezpečení spravovaného online koncového bodu můžete využít zabezpečení spravovaných online koncových bodů pomocí izolace sítě.
Zabezpečený tok výzvy s použitím vlastní virtuální sítě
Pokud chcete nastavit prostředky související s Azure Machine Learning jako soukromé, podívejte se do části Zabezpečené prostředky pracovního prostoru.
Pokud máte přísné pravidlo odchozích přenosů, ujistěte se, že máte otevřený požadovaný veřejný přístup k internetu.
Přidejte MSI pracovního prostoru jako
Storage File Data Privileged Contributordo účtu úložiště propojeného s pracovním prostorem. Postupujte podle kroku 2 v toku výzvy k zabezpečení s virtuální sítí spravovanou pracovním prostorem.Pokud při vytváření toků používáte bezserverový výpočetní typ, musíte nastavit vlastní virtuální síť na úrovni pracovního prostoru. Další informace o zabezpečení školicího prostředí služby Azure Machine Learning s virtuálními sítěmi
serverless_compute: custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name> no_public_ip: false # Set to true if you don't want to assign public IP to the computeMezitím můžete sledovat privátní služby Azure Cognitive Services a nastavit je jako soukromé.
Pokud chcete nasadit tok výzvy v pracovním prostoru, který je zabezpečený vlastní virtuální sítí, můžete ho nasadit do clusteru AKS, který je ve stejné virtuální síti. K zabezpečení clusteru AKS můžete použít zabezpečené prostředí odvozování služby Azure Kubernetes Service. Přečtěte si další informace o tom, jak nasadit tok výzvy do clusteru ASK prostřednictvím kódu.
Můžete buď vytvořit privátní koncový bod pro stejnou virtuální síť, nebo využít partnerský vztah virtuální sítě k tomu, aby mezi sebou komunikovaly.
Známá omezení
- AI Studio nepodporuje používání vlastní virtuální sítě, podporuje pouze virtuální síť spravovanou pracovním prostorem.
- Spravovaný online koncový bod s vybraným výchozím přenosem dat podporuje pouze pracovní prostor se spravovanou virtuální sítí. Pokud chcete používat vlastní virtuální síť, můžete potřebovat jeden pracovní prostor pro tvorbu toku instrukcí s vlastní virtuální sítí a druhý pracovní prostor pro nasazení toků instrukcí pomocí spravovaného koncového bodu online s pracovním prostorem spravované virtuální sítě.