Nejčastější dotazy k používání služeb Azure AI pro startupy
Podívejte se na kurz Generative AI pro začátečníky na GitHubu. Jedná se o sadu instrukcí 18 lekcí, která představuje všechny hlavní funkce Azure OpenAI a ukazuje, jak s nimi vytvářet aplikace.
Azure AI Studio můžete použít k otestování různých funkcí umělé inteligence, včetně nasazení modelů Azure OpenAI a použití kon režim stanu ration services.
Různé modely Azure OpenAI jsou omezené na různé oblasti. Úplný seznam najdete v tabulce dostupnosti modelu.
Dopad je minimální, pokud nepoužíváte funkci streamování. Latence vlastní odpovědi modelu má mnohem větší vliv na latenci než rozdíly v oblastech.
Volba použití vyhrazeného serveru Azure OpenAI vs. plánu průběžných plateb má také větší dopad na výkon.
Informace o tom, jak fungují limity kvót a jak je spravovat, najdete v tématu Správa kvóty služby Azure OpenAI.
Pro zákazníky, kteří používají model s průběžným platbami (nejběžnější), najdete na stránce s kvótou služby Azure OpenAI. Zákazníci, kteří používají vyhrazený server Azure OpenAI, najdete v části kvót související příručky.
Zvažte kombinování několika nasazení Azure OpenAI v pokročilé architektuře, abyste vytvořili systém, který poskytuje více tokenů za minutu více uživatelům.
Pokud máte dobře definované a předvídatelné požadavky na propustnost, měli byste zvážit přechod z průběžných plateb na zřízenou propustnost. Obvykle se jedná o případ, kdy je aplikace připravená pro produkční prostředí nebo je už nasazená v produkčním prostředí a rozumí očekávanému provozu. To umožňuje uživatelům přesně předpovídat požadovanou kapacitu a vyhnout se neočekávané fakturaci.
Vytvořte nástroj pro vyrovnávání zatížení pro vaši aplikaci.
Pokud používáte model průběžných plateb, podívejte se na ukázku vyrovnávání zatížení. Pokud používáte vyhrazený server Azure OpenAI, informace o vyrovnávání zatížení najdete v průvodci PTU.
Vytvořte online nasazení pomocí toku výzvy v Azure AI Studiu. Pak ho otestujte zadáním hodnot v editoru formulářů nebo editoru JSON.
Použijte funkci monitorování nástroje Azure OpenAI Studio. Poskytuje řídicí panely, které sledují metriky výkonu vašich modelů v průběhu času.
Osvědčené postupy pro nasazení standardní chatovací aplikace najdete v referenční architektuře chatu Azure OpenAI.
Podívejte se na fórum technické komunity pro umělou inteligenci a strojové učení .
Další informace najdete v microsoftu pro startupy.