Häufig gestellte Fragen zur Verwendung von Azure AI-Diensten für Startups.
Erste Schritte
Was ist der beste Weg, um mit der Verwendung von Azure OpenAI Service für meinen Start zu beginnen?
Schauen Sie sich den Kurs Generative KI für Anfänger auf GitHub an. Es handelt sich um einen Anweisungssatz mit 18 Lektionen, der alle wichtigen Azure OpenAI-Features vorstellt und Ihnen zeigt, wie Sie damit Anwendungen erstellen.
Wie kann ich Azure AI-Funktionen mit einem Low/No-Code-Ansatz schnell testen?
Verwenden Sie das Azure AI Foundry-Portal , um eine Vielzahl von KI-Funktionen zu testen, einschließlich der Bereitstellung von Azure OpenAI-Modellen und der Anwendung von Diensten für die Inhaltsmoderation.
Regionale Verfügbarkeit und Datenresidenz
In welchen Azure-Regionen ist der OpenAI-Dienst verfügbar?
Unterschiedliche Azure OpenAI-Modelle sind auf unterschiedliche Regionen beschränkt. Eine vollständige Liste finden Sie in der Tabelle mit der Verfügbarkeit des Modells .
Wie wirkt sich die Regionsauswahl auf die Latenz und Leistung von Azure OpenAI-Diensten aus?
Die Auswirkungen sind minimal, es sei denn, Sie verwenden die Streaming-Funktion. Die Latenz der eigenen Antwort des Modells hat einen viel größeren Einfluss auf die Latenz als regionale Unterschiede.
Die Entscheidung, einen dedizierten Azure OpenAI-Server oder einen Plan mit nutzungsbasierter Bezahlung zu verwenden, hat ebenfalls einen größeren Einfluss auf die Leistung.
Ratenbegrenzungen und Ressourcenmanagement
Wie kann ich sicherstellen, dass meine Anwendung ihr Azure OpenAI-Kontingent skalieren kann?
Unter Verwalten von Azure OpenAI Service-Kontingenten erfahren Sie, wie Kontingentgrenzen funktionieren und wie Sie sie verwalten.
Was sind die Ratenlimits für Azure OpenAI Service, und wie kann ich sie verwalten?
Kunden, die das Modell der nutzungsbasierten Bezahlung verwenden (am häufigsten), finden Sie auf der Seite Verwalten von Azure OpenAI Service-Kontingenten . Kunden, die einen dedizierten Azure OpenAI-Server verwenden, finden weitere Informationen im Abschnitt "Kontingente " des entsprechenden Handbuchs.
Wie gehe ich mit Einschränkungen pro Minute in Azure OpenAI Service um?
Erwägen Sie, mehrere Azure OpenAI-Bereitstellungen in einer erweiterten Architektur zu kombinieren, um ein System zu erstellen, das mehr Token pro Minute für mehr Benutzer bereitstellt.
Wann sollte ich einen dedizierten Azure OpenAI-Server (PTU) anstelle des Pay-as-you-go-Modells verwenden?
Sie sollten den Wechsel von nutzungsbasierter Bezahlung zu bereitgestelltem Durchsatz in Betracht ziehen, wenn Sie über klar definierte, vorhersehbare Durchsatzanforderungen verfügen. Dies ist in der Regel der Fall, wenn die Anwendung für die Produktion bereit ist oder bereits in der Produktion bereitgestellt wurde und ein Verständnis für den erwarteten Datenverkehr vorhanden ist. Auf diese Weise können Benutzer die erforderliche Kapazität genau prognostizieren und unerwartete Abrechnungen vermeiden.
Lastausgleich und Skalierung
Wie verwalte ich hohen Datenverkehr und stelle sicher, dass meine Azure OpenAI-Anwendung reaktionsfähig bleibt?
Erstellen Sie einen Load Balancer für Ihre Anwendung.
Weitere Informationen finden Sie im Beispiel für den Lastenausgleich , wenn Sie das Modell mit nutzungsbasierter Bezahlung verwenden. Wenn Sie einen dedizierten Azure OpenAI-Server verwenden, finden Sie im PTU-Leitfaden Informationen zum Lastenausgleich.
Entwicklung und Tests
Wie richte ich eine Entwicklungsumgebung ein, um Azure OpenAI-Anwendungen zu testen?
Erstellen Sie eine Onlinebereitstellung mithilfe des Eingabeaufforderungsflows im Azure AI Foundry-Portal. Testen Sie es dann, indem Sie Werte in den Formulareditor oder JSON-Editor eingeben.
Überwachung und Metriken
Wie kann ich Nutzungsmetriken meiner KI-Anwendung verfolgen und auswerten?
Im Leitfaden zu Bewertungs- und Überwachungsmetriken finden Sie Informationen zur Nachverfolgung von Risiko- und Sicherheitsmetriken sowie zu einer Reihe von Metriken zur Reaktionsqualität.
Welche Tools kann ich verwenden, um die Leistung meiner Azure OpenAI-Endpunkte zu überwachen?
Verwenden Sie die Überwachungsfunktion von Azure OpenAI Studio. Es bietet Dashboards, die die Leistungsmetriken Ihrer Modelle im Laufe der Zeit verfolgen.
Produktionsimplementierung und Best Practices
Was sind einige bewährte Methoden für die Bereitstellung von OpenAI-Anwendungen in Azure in der Produktion?
Bewährte Methoden für die Bereitstellung einer Standardchatanwendung finden Sie in der Azure OpenAI-Chatreferenzarchitektur .
Können Sie Beispiele oder Fallstudien für erfolgreiche Implementierungen von Azure OpenAI Service nennen?
Weitere Informationen finden Sie im Tech-Community-Forum für künstliche Intelligenz und maschinelles Lernen .
Verwandte Inhalte
Weitere Informationen finden Sie unter Microsoft für Startups.