Przeczytaj w języku angielskim Edytuj

Udostępnij za pośrednictwem


Sztuczna inteligencja dla startupów — często zadawane pytania

Często zadawane pytania dotyczące korzystania z usług Azure AI na potrzeby uruchamiania.

Wprowadzenie

Jaki jest najlepszy sposób na rozpoczęcie korzystania z usługi Azure OpenAI Service na potrzeby uruchamiania?

Zapoznaj się z kursem Generowanie sztucznej inteligencji dla początkujących w witrynie GitHub. Jest to zestaw instrukcji 18 lekcji, który wprowadza wszystkie główne funkcje usługi Azure OpenAI i pokazuje, jak tworzyć aplikacje z nimi.

Jak szybko przetestować możliwości sztucznej inteligencji platformy Azure przy użyciu podejścia niskiego/bez kodu?

Użyj programu Azure AI Studio, aby przetestować różne możliwości sztucznej inteligencji, w tym wdrażanie modeli Azure OpenAI i stosowanie usług con tryb namiotu ration.

Dostępność regionalna i miejsce przechowywania danych

W których regionach platformy Azure jest dostępna usługa OpenAI?

Różne modele usługi Azure OpenAI są ograniczone do różnych regionów. Aby uzyskać pełną listę, zobacz tabelę dostępności modelu.

W jaki sposób wybór regionów wpływa na opóźnienie i wydajność usług Azure OpenAI?

Wpływ jest minimalny, chyba że używasz funkcji przesyłania strumieniowego. Opóźnienie własnej odpowiedzi modelu ma znacznie większy wpływ na opóźnienie niż różnice w regionie.

Wybór dedykowanego serwera Azure OpenAI a planu płatności zgodnie z rzeczywistym użyciem ma również większy wpływ na wydajność.

Limity szybkości i zarządzanie zasobami

Jak mogę upewnić się, że moja aplikacja może skalować limit przydziału usługi Azure OpenAI?

Zobacz Zarządzanie limitem przydziału usługi Azure OpenAI, aby dowiedzieć się, jak działają limity przydziałów i jak nimi zarządzać.

Jakie są limity szybkości dla usługi Azure OpenAI i jak mogę nimi zarządzać?

W przypadku klientów korzystających z modelu płatności zgodnie z rzeczywistym użyciem (najczęściej) zobacz stronę Zarządzanie limitem przydziału usługi Azure OpenAI Service. W przypadku klientów korzystających z dedykowanego serwera Azure OpenAI zobacz sekcję limitu przydziału powiązanego przewodnika.

Jak mogę obsługiwać ograniczenia tokenu na minutę w usłudze Azure OpenAI Service?

Rozważ połączenie wielu wdrożeń usługi Azure OpenAI w zaawansowanej architekturze w celu utworzenia systemu zapewniającego więcej tokenów na minutę użytkownikom.

Kiedy należy używać dedykowanego serwera Azure OpenAI (PTU) zamiast modelu płatności zgodnie z rzeczywistym użyciem?

Należy rozważyć przejście z płatności zgodnie z rzeczywistym użyciem do aprowizowanej przepływności, jeśli masz dobrze zdefiniowane, przewidywalne wymagania dotyczące przepływności. Zazwyczaj dzieje się tak, gdy aplikacja jest gotowa do produkcji lub została już wdrożona w środowisku produkcyjnym i rozumie oczekiwany ruch. Dzięki temu użytkownicy mogą dokładnie prognozować wymaganą pojemność i unikać nieoczekiwanych rozliczeń.

Równoważenie obciążenia i skalowanie

Jak mogę zarządzać dużym ruchem i upewnić się, że moja aplikacja Azure OpenAI pozostaje elastyczna?

Utwórz moduł równoważenia obciążenia dla aplikacji.

Zobacz przykład równoważenia obciążenia, jeśli używasz modelu płatności zgodnie z rzeczywistym użyciem. Jeśli używasz dedykowanego serwera Azure OpenAI, zapoznaj się z przewodnikiem PTU, aby uzyskać informacje na temat równoważenia obciążenia.

Tworzenie i testowanie

Jak mogę skonfigurować środowisko programistyczne do testowania aplikacji Azure OpenAI?

Tworzenie wdrożenia online przy użyciu przepływu monitów w usłudze Azure AI Studio. Następnie przetestuj ją, wpisując wartości w edytorze formularzy lub edytorze JSON.

Monitorowanie i metryki

Jak mogę śledzić i oceniać metryki użycia mojej aplikacji sztucznej inteligencji?

Zapoznaj się z przewodnikiem metryki oceny i monitorowania, aby uzyskać informacje na temat śledzenia metryk ryzyka i bezpieczeństwa, a także wielu metryk jakości odpowiedzi.

Jakich narzędzi można używać do monitorowania wydajności punktów końcowych usługi Azure OpenAI?

Użyj funkcji monitorowania programu Azure OpenAI Studio. Udostępnia pulpity nawigacyjne, które śledzą metryki wydajności modeli w czasie.

Implementacja produkcji i najlepsze rozwiązania

Jakie są najlepsze rozwiązania dotyczące wdrażania aplikacji OpenAI na platformie Azure w środowisku produkcyjnym?

Zapoznaj się z architekturą referencyjną czatu usługi Azure OpenAI, aby uzyskać najlepsze rozwiązania dotyczące wdrażania standardowej aplikacji do czatu.

Czy możesz podać przykłady lub analizy przypadków pomyślnych implementacji usługi Azure OpenAI Service?

Zobacz forum społeczności technicznej sztucznej inteligencji i uczenia maszynowego.

Aby dowiedzieć się więcej, zobacz Microsoft for Startups (Microsoft for Startups).