Jeśli nie możesz znaleźć odpowiedzi na pytania w tym dokumencie i nadal potrzebujesz pomocy, sprawdź przewodnik po opcjach pomocy technicznej narzędzi Foundry Tools.
Ogólne
Jaka jest różnica między modelami Azure OpenAI i Microsoft Foundry?
Azure OpenAI daje klientom access do zaawansowanych modeli językowych z platformy OpenAI. Microsoft Foundry Models rozszerza taką możliwość, umożliwiając klientom uzyskanie dostępu do wszystkich flagowych modeli w Microsoft Foundry w ramach tej samej usługi, punktu końcowego i poświadczeń. Obejmuje ona Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 laboratoria itp. Klienci mogą bezproblemowo przełączać się między modelami bez zmieniania kodu.
Azure OpenAI znajduje się w modelach sprzedawanych przez rodzinę Azure w modelach Foundry.
Jaka jest różnica między narzędziami Foundry i rozwiązaniem Microsoft Foundry?
Narzędzia foundry to pakiet usług sztucznej inteligencji, które zapewniają wstępnie utworzone interfejsy API dla typowych scenariuszy sztucznej inteligencji. Narzędzia Foundry są częścią platformy Microsoft Foundry. Narzędzia Foundry można używać w portalu Microsoft Foundry, aby ulepszyć modele dzięki wstępnie utworzonym funkcjom sztucznej inteligencji.
Jaka jest różnica między wdrożeniami bezserwerowych interfejsów API i modelami rozwiązania Foundry?
Obie funkcje umożliwiają wdrażanie modeli jako usługa w rozwiązaniu Microsoft Foundry. Istnieją jednak pewne różnice między nimi:
- Zasób zaangażowany: wdrożenia bezserwerowego interfejsu API są wdrażane w zasobie projektu sztucznej inteligencji, podczas gdy Modele Foundry są częścią zasobu Microsoft Foundry.
- Opcje wdrażania: wdrożenia bezserwerowego interfejsu API umożliwiają wdrożenia regionalne, podczas gdy modele Foundry pozwalają na wdrożenia w ramach globalnej pojemności.
- Models: Foundry Models obsługuje również wdrażanie modeli Azure OpenAI.
- Punkt końcowy: wdrożenia bezserwerowego API tworzą jeden punkt końcowy i poświadczenia na wdrożenie, podczas gdy modele Foundry tworzą jeden punkt końcowy i poświadczenie na zasób.
- Router modelu: Modele Foundry umożliwiają przełączanie się między modelami bez zmiany kodu przy użyciu routera modelu.
Models
Dlaczego wszystkie modele w katalogu modeli firmy Microsoft nie są obsługiwane w usługach Microsoft Foundry?
Modele Foundry obsługują wszystkie modele w katalogu Azure AI z rozliczeniami płatności według rzeczywistego użycia. Aby uzyskać więcej informacji, zobacz artykuł the Models.
Katalog modeli firmy Microsoft zawiera szerszą listę modeli, jednak te modele wymagają limitu przydziału zasobów obliczeniowych z subskrypcji. Muszą również mieć centrum projektowe lub centrum AI, w którym można hostować wdrożenie. Aby uzyskać więcej informacji, zobacz opcje wdrażania w rozwiązaniu Microsoft Foundry.
Moja firma nie zatwierdziła określonych modeli do użycia. Jak uniemożliwić użytkownikom wdrażanie ich?
Modele dostępne do wdrożenia w narzędziach Foundry można ograniczyć przy użyciu zasad Azure. Modele są wymienione w wykazie, ale każda próba ich wdrożenia jest zablokowana. Przeczytaj Zarządzanie wdrażaniem modeli AI za pomocą niestandardowych zasad.
Zestawy SDK i języki programowania
Jakie zestawy SDK i języki programowania są obsługiwane dla modeli Foundry?
Zestawu SDK wnioskowania Azure można używać z dowolnym modelem obsługiwanym przez modele Foundry w usługach Microsoft Foundry, klasą AzureOpenAI w zestawie SDK OpenAI lub zestawem SDK Azure OpenAI.
Zestawy SDK Cohere, Mistral SDK oraz SDK specyficzne dla dostawców modeli nie są obsługiwane podczas połączenia z narzędziami Foundry.
Aby uzyskać więcej informacji, zobacz obsługiwane zestawy SDK i języki programowania.
Czy modele foundry działają z najnowszą biblioteką języka Python wydaną przez bibliotekę OpenAI (w wersji>=1.0)?
Narzędzia Foundry obsługują najnowszą wersję biblioteki języka Python OpenAI (wersja>=1.0).
Wysyłam żądanie dotyczące modelu obsługującego modele Foundry, ale otrzymuję błąd 404. Co należy zrobić?
Upewnij się, że utworzono wdrożenie dla danego modelu i że nazwa wdrożenia jest zgodna dokładnie z wartością przekazywaną model parametru. Chociaż routing nie uwzględnia wielkości liter, upewnij się, że nie ma specjalnej interpunkcji ani spacji, ponieważ są to typowe błędy.
Używam pakietu "azure-ai-inference" dla języka Python i otrzymuję błąd 401 podczas próby uwierzytelnienia przy użyciu kluczy. Co należy zrobić?
Zasób narzędzi Foundry wymaga wersji azure-ai-inference>=1.0.0b5 dla języka Python. Upewnij się, że używasz tej wersji.
Używam zestawu OpenAI SDK i wskazałem punkt końcowy wnioskowania Azure OpenAI jako podstawowy URL (https://<resource-name>.openai.azure.com). Występuje jednak błąd 404. Co należy zrobić?
Upewnij się, że używasz poprawnego punktu końcowego Azure OpenAI i odpowiedniego zestawu poświadczeń. Upewnij się również, że używasz klasy AzureOpenAI z zestawu OpenAI SDK, ponieważ używany mechanizm uwierzytelniania i adresy URL są inne.
Czy modele foundry obsługują niestandardowe nagłówki interfejsu API? Dołączamy nagłówki niestandardowe do naszych żądań interfejsu API i otrzymujemy błędy HTTP 431.
Nasze bieżące interfejsy API umożliwiają maksymalnie 10 nagłówków niestandardowych, przekazywanych przez potok i zwracanych. Zauważyliśmy, że niektórzy klienci przekraczają teraz tę liczbę nagłówków, co powoduje błędy HTTP 431. Nie ma rozwiązania dla tego błędu, inne niż zmniejszenie woluminu nagłówka. W przyszłych wersjach interfejsu API nie przekazujemy już nagłówków niestandardowych. Zalecamy, aby nie zależeć od nagłówków niestandardowych w przyszłych architekturach systemu.
Cennik i rozliczenia
Jak są rozliczane modele odlewni?
Opłaty są naliczane za dane wejściowe i wyjściowe w interfejsach API, zazwyczaj w tokenach. Nie ma żadnych kosztów związanych z samym zasobem ani z wdrożeniami.
Cena tokenu różni się w zależności od modelu, a opłaty są naliczane za 1000 tokenów. Szczegóły cennika można wyświetlić przed wdrożeniem danego modelu. Aby uzyskać więcej informacji na temat rozliczeń, zobacz Zarządzanie kosztami.
Gdzie można wyświetlić szczegóły rachunku?
Rozliczenia i koszty są wyświetlane w Microsoft Cost Management + Billing. Szczegóły użycia są widoczne w Azure portal.
Rozliczenia nie są wyświetlane w portalu Microsoft Foundry.
Jak mogę umieścić limit wydatków na rachunku?
Limit wydatków można skonfigurować w Azure portal w obszarze Microsoft Cost Management + Billing. Ten limit uniemożliwia wydawanie więcej niż ustawiony limit. Po osiągnięciu limitu wydatków subskrypcja zostanie wyłączona i nie będzie można używać punktu końcowego do następnego cyklu rozliczeniowego.
Dane i prywatność
W jaki sposób modele od partnerów i społeczności są dostępne?
Modele partnerów i społeczności dostępne do wdrożenia w narzędziach Foundry Tools z rozliczaniem według rzeczywistego użycia (na przykład modele Meta AI lub modele Mistral) są oferowane przez dostawcę modelu, ale hostowane w zarządzanej przez Microsoft infrastrukturze Azure, a dostęp do nich uzyskuje się za pośrednictwem interfejsu API w punkcie końcowym Foundry Models. Dostawcy modeli definiują postanowienia licencyjne i określają cenę użycia swoich modeli, podczas gdy usługa Narzędzi Foundry zarządza infrastrukturą hostingu, udostępnia interfejsy API wnioskowania i działa jako procesor danych dla monitów przesłanych i danych wyjściowych zawartości przez wdrożone modele. Przeczytaj o prywatności danych i zabezpieczeniach modeli innych firm.
W jaki sposób dane są przetwarzane przez typ wdrożenia Global-Standard?
W przypadku wdrożenia modeli w ramach zasobów narzędzi Foundry, wyzwalacze i dane wyjściowe są przetwarzane przy użyciu globalnej infrastruktury Azure, aby dynamicznie kierować ruch do centrum danych z najlepszą dostępną dostępnością dla każdego żądania. Globalny standard zapewnia najwyższy limit przydziału domyślnego i eliminuje konieczność równoważenia obciążenia w wielu zasobach. Dane przechowywane w spoczynku pozostają w wyznaczonej lokalizacji geograficznej Azure, podczas gdy dane mogą być przetwarzane do wnioskowania w dowolnej lokalizacji Azure. Dowiedz się więcej o lokalizacji danych.
Czy do szkolenia dowolnych modeli są wykorzystywane dane firmy?
Modele Foundry nie używają danych klientów do ponownego trenowania, a dane klientów nigdy nie są udostępniane dostawcom modeli.
Czy dane są udostępniane dostawcom modeli?
Firma Microsoft pełni rolę procesora danych dla sygnałów i danych wyjściowych wysyłanych do i generowanych przez wdrożenie modelu w ramach zasobów narzędzi Foundry. Firma Microsoft nie udostępnia tych monitów i danych wyjściowych dostawcy modelu. Ponadto firma Microsoft nie używa tych monitów i danych wyjściowych do trenowania lub ulepszania modeli firmy Microsoft, modeli dostawcy modelu ani modeli innych firm. Jak wyjaśniono w procesie wdrażania modeli jako usługa (Models-as-a-Service), firma Microsoft może udostępniać informacje kontaktowe klienta i szczegóły transakcji (w tym ilość użycia skojarzoną z ofertą) z wydawcą modelu, aby mógł się skontaktować z klientami odnośnie modelu. Dowiedz się więcej na temat informacji dostępnych dla wydawców modeli w Dostęp do informacji dla rynku komercyjnego firmy Microsoft w Centrum partnerskim.
Zobowiązanie dotyczące praw autorskich klienta
Jak uzyskać ochronę w ramach Zobowiązania Praw Autorskich Klienta?
Zobowiązanie do praw autorskich klienta jest postanowieniami zawartymi w postanowieniach dotyczących produktów firmy Microsoft z 1 grudnia 2023 r., które opisują obowiązek ochrony klientów przed niektórymi roszczeniami własności intelektualnej innych niż Microsoft odnoszącymi się do zawartości wyjściowej. Jeśli przedmiotem roszczenia jest zawartość wyjściowa wygenerowana przez Azure OpenAI (lub jakikolwiek inny objęty produkt, który umożliwia klientom konfigurowanie systemów bezpieczeństwa), to aby objąć ochroną, klienci muszą wdrożyć wszystkie środki zaradcze wymagane przez dokumentację Azure OpenAI w ofercie, która dostarczyła zawartość wyjściową. Wymagane środki zaradcze są udokumentowane here i aktualizowane w sposób ciągły. W przypadku nowych usług, funkcji, modeli lub przypadków użycia nowe wymagania CCC zostaną opublikowane i zaczną obowiązywać po uruchomieniu takiej usługi, funkcji, modelu lub przypadku użycia. W przeciwnym razie klienci będą mieli sześć miesięcy od momentu publikacji, aby wdrożyć nowe środki zaradcze w celu utrzymania zasięgu w ramach CCC. Jeśli klient składa wniosek, klient będzie musiał wykazać zgodność z odpowiednimi wymaganiami. Te środki zaradcze są wymagane w przypadku produktów objętych, które umożliwiają klientom konfigurowanie systemów bezpieczeństwa, w tym Azure OpenAI; nie mają one wpływu na pokrycie klientów korzystających z innych produktów objętych.