Często zadawane pytania dotyczące korzystania z usług Azure AI na potrzeby uruchamiania.
Jaki jest najlepszy sposób na rozpoczęcie korzystania z usługi Azure OpenAI Service na potrzeby uruchamiania?
Zapoznaj się z kursem Generowanie sztucznej inteligencji dla początkujących w witrynie GitHub. Jest to zestaw instrukcji 18 lekcji, który wprowadza wszystkie główne funkcje usługi Azure OpenAI i pokazuje, jak tworzyć aplikacje z nimi.
Jak szybko przetestować możliwości sztucznej inteligencji platformy Azure przy użyciu podejścia niskiego/bez kodu?
Użyj programu Azure AI Studio, aby przetestować różne możliwości sztucznej inteligencji, w tym wdrażanie modeli Azure OpenAI i stosowanie usług con tryb namiotu ration.
Różne modele usługi Azure OpenAI są ograniczone do różnych regionów. Aby uzyskać pełną listę, zobacz tabelę dostępności modelu.
Wpływ jest minimalny, chyba że używasz funkcji przesyłania strumieniowego. Opóźnienie własnej odpowiedzi modelu ma znacznie większy wpływ na opóźnienie niż różnice w regionie.
Wybór dedykowanego serwera Azure OpenAI a planu płatności zgodnie z rzeczywistym użyciem ma również większy wpływ na wydajność.
Zobacz Zarządzanie limitem przydziału usługi Azure OpenAI, aby dowiedzieć się, jak działają limity przydziałów i jak nimi zarządzać.
W przypadku klientów korzystających z modelu płatności zgodnie z rzeczywistym użyciem (najczęściej) zobacz stronę Zarządzanie limitem przydziału usługi Azure OpenAI Service. W przypadku klientów korzystających z dedykowanego serwera Azure OpenAI zobacz sekcję limitu przydziału powiązanego przewodnika.
Rozważ połączenie wielu wdrożeń usługi Azure OpenAI w zaawansowanej architekturze w celu utworzenia systemu zapewniającego więcej tokenów na minutę użytkownikom.
Kiedy należy używać dedykowanego serwera Azure OpenAI (PTU) zamiast modelu płatności zgodnie z rzeczywistym użyciem?
Należy rozważyć przejście z płatności zgodnie z rzeczywistym użyciem do aprowizowanej przepływności, jeśli masz dobrze zdefiniowane, przewidywalne wymagania dotyczące przepływności. Zazwyczaj dzieje się tak, gdy aplikacja jest gotowa do produkcji lub została już wdrożona w środowisku produkcyjnym i rozumie oczekiwany ruch. Dzięki temu użytkownicy mogą dokładnie prognozować wymaganą pojemność i unikać nieoczekiwanych rozliczeń.
Utwórz moduł równoważenia obciążenia dla aplikacji.
Zobacz przykład równoważenia obciążenia, jeśli używasz modelu płatności zgodnie z rzeczywistym użyciem. Jeśli używasz dedykowanego serwera Azure OpenAI, zapoznaj się z przewodnikiem PTU, aby uzyskać informacje na temat równoważenia obciążenia.
Tworzenie wdrożenia online przy użyciu przepływu monitów w usłudze Azure AI Studio. Następnie przetestuj ją, wpisując wartości w edytorze formularzy lub edytorze JSON.
Zapoznaj się z przewodnikiem metryki oceny i monitorowania, aby uzyskać informacje na temat śledzenia metryk ryzyka i bezpieczeństwa, a także wielu metryk jakości odpowiedzi.
Użyj funkcji monitorowania programu Azure OpenAI Studio. Udostępnia pulpity nawigacyjne, które śledzą metryki wydajności modeli w czasie.
Jakie są najlepsze rozwiązania dotyczące wdrażania aplikacji OpenAI na platformie Azure w środowisku produkcyjnym?
Zapoznaj się z architekturą referencyjną czatu usługi Azure OpenAI, aby uzyskać najlepsze rozwiązania dotyczące wdrażania standardowej aplikacji do czatu.
Czy możesz podać przykłady lub analizy przypadków pomyślnych implementacji usługi Azure OpenAI Service?
Zobacz forum społeczności technicznej sztucznej inteligencji i uczenia maszynowego.
Aby dowiedzieć się więcej, zobacz Microsoft for Startups (Microsoft for Startups).