Szybki start: używanie biblioteki GPT-4 Turbo z usługą Vision na obrazach i filmach wideo za pomocą usługi Azure OpenAI Service - Azure OpenAI

Rozpocznij eksplorowanie biblioteki GPT-4 Turbo z możliwościami przetwarzania obrazów bez kodu za pośrednictwem usługi Azure OpenAI Studio.

Wymagania wstępne

Subskrypcja platformy Azure. Utwórz je bezpłatnie.
Dostęp jest udzielany usłudze Azure OpenAI w żądanej subskrypcji platformy Azure. Obecnie dostęp do tej usługi jest udzielany tylko przez aplikację. Możesz ubiegać się o dostęp do usługi Azure OpenAI, wypełniając formularz pod adresem https://aka.ms/oai/access. Otwórz problem w tym repozytorium, aby skontaktować się z nami, jeśli masz problem.
Zasób usługi Azure OpenAI z wdrożonym modelem GPT-4 Turbo z usługą Vision. Zobacz Dostępność modelu GPT-4 i GPT-4 Turbo Preview dla dostępnych regionów. Aby uzyskać więcej informacji na temat tworzenia zasobów, zobacz przewodnik wdrażania zasobów.
Ulepszenia funkcji przetwarzania obrazów (opcjonalnie): zasób usługi Azure przetwarzanie obrazów w tym samym regionie co zasób usługi Azure OpenAI w warstwie płatnej (S1).

Uwaga

Obecnie nie jest obsługiwane wyłączanie filtrowania zawartości dla modelu GPT-4 Turbo z usługą Vision.

Przejdź do usługi Azure OpenAI Studio

Przejdź do usługi Azure OpenAI Studio i zaloguj się przy użyciu poświadczeń skojarzonych z zasobem usługi Azure OpenAI. Podczas lub po przepływie pracy logowania wybierz odpowiedni katalog, subskrypcję platformy Azure i zasób usługi Azure OpenAI.

W obszarze Zarządzanie wybierz pozycję Wdrożenia i Utwórz wdrożenie GPT-4 Turbo z usługą Vision, wybierając nazwę modelu: "gpt-4" i wersję modelu "vision-preview". Aby uzyskać więcej informacji na temat modeli wdrażania, zobacz przewodnik po modelach wdrażania).

W sekcji Plac zabaw wybierz pozycję Czat.

Plac zabaw

Na tej stronie można szybko iterować i eksperymentować z możliwościami modelu.

Aby uzyskać ogólną pomoc dotyczącą konfigurowania asystenta, sesji czatów, ustawień i paneli, zapoznaj się z przewodnikiem Szybki start czatu.

Rozpoczynanie sesji czatu w celu analizowania obrazów lub wideo

W tej sesji czatu poinstruujesz asystenta, aby pomóc w zrozumieniu obrazów, które wprowadzasz.

Aby rozpocząć, wybierz wdrożenie GPT-4 Turbo z poziomu listy rozwijanej.
W okienku Konfiguracja Asystenta podaj komunikat systemowy, aby kierować asystentem. Domyślny komunikat systemowy to: "Jesteś asystentem sztucznej inteligencji, który ułatwia osobom znajdowanie informacji". Komunikat systemowy można dostosować do obrazu lub scenariusza, który jest przekazywany.

Uwaga

Zaleca się zaktualizowanie komunikatu systemowego tak, aby był specyficzny dla zadania, aby uniknąć nieprzydatnych odpowiedzi z modelu.
Zapisz zmiany, a po wyświetleniu monitu o potwierdzenie aktualizacji komunikatu systemowego wybierz pozycję Kontynuuj.
W okienku Sesja czatu wprowadź monit tekstowy, taki jak "Opisz ten obraz" i przekaż obraz za pomocą przycisku załącznika. W przypadku użycia można użyć innego monitu tekstowego. Następnie wybierz pozycję Wyślij.
Zwróć uwagę na podane dane wyjściowe. Rozważ zadawanie pytań dotyczących analizy obrazu, aby dowiedzieć się więcej.

Czyszczenie zasobów

Jeśli chcesz wyczyścić i usunąć zasób usługi Azure OpenAI, możesz usunąć zasób lub grupę zasobów. Usunięcie grupy zasobów powoduje również usunięcie wszelkich innych skojarzonych z nią zasobów.

Skorzystaj z tego artykułu, aby rozpocząć korzystanie z interfejsów API REST usługi Azure OpenAI do wdrażania i używania modelu GPT-4 Turbo z usługą Vision.

Wymagania wstępne

Subskrypcja platformy Azure. Utwórz je bezpłatnie.
Dostęp jest udzielany usłudze Azure OpenAI w żądanej subskrypcji platformy Azure. Obecnie dostęp do tej usługi jest udzielany tylko przez aplikację. Możesz ubiegać się o dostęp do usługi Azure OpenAI, wypełniając formularz pod adresem https://aka.ms/oai/access. Otwórz problem w tym repozytorium, aby skontaktować się z nami, jeśli masz problem.
Środowisko Python w wersji 3.8 lub nowszej.
Następujące biblioteki języka Python: requests, json.
Zasób usługi Azure OpenAI z wdrożonym modelem GPT-4 Turbo z usługą Vision. Zobacz Dostępność modelu GPT-4 i GPT-4 Turbo Preview dla dostępnych regionów. Aby uzyskać więcej informacji na temat tworzenia zasobów, zobacz przewodnik wdrażania zasobów.
Ulepszenia funkcji przetwarzania obrazów (opcjonalnie): zasób usługi Azure przetwarzanie obrazów w tym samym regionie co zasób usługi Azure OpenAI w warstwie płatnej (S1).

Uwaga

Obecnie nie jest obsługiwane wyłączanie filtrowania zawartości dla modelu GPT-4 Turbo z usługą Vision.

Pobieranie klucza i punktu końcowego

Aby pomyślnie wywołać interfejsy API usługi Azure OpenAI, potrzebne są następujące informacje dotyczące zasobu usługi Azure OpenAI:

Zmienna	Nazwa/nazwisko	Wartość
Punkt końcowy	`api_base`	Wartość punktu końcowego znajduje się w obszarze Klucze i punkt końcowy zasobu w witrynie Azure Portal. Wartość tę można też znaleźć w obszarze Azure OpenAI Studio>Środowisko testowe>Widok kodu. Przykładowy punkt końcowy to: `https://docs-test-001.openai.azure.com/`.
Klawisz	`api_key`	Wartość klucza znajduje się również w obszarze Klucze i punkt końcowy zasobu w witrynie Azure Portal. Platforma Azure generuje dwa klucze dla zasobu. Możesz użyć jednej z tych wartości.

Przejdź do zasobu w witrynie Azure Portal. W okienku nawigacji wybierz pozycję Klucze i punkt końcowy w obszarze Zarządzanie zasobami. Skopiuj wartość Punkt końcowy i wartość klucza dostępu. Możesz użyć wartości KLUCZ 1 lub KLUCZ 2 . Posiadanie dwóch kluczy umożliwia bezpieczne obracanie i ponowne generowanie kluczy bez powodowania przerw w działaniu usługi.

Tworzenie nowej aplikacji w języku Python

Utwórz nowy plik w języku Python o nazwie quickstart.py. Otwórz nowy plik w preferowanym edytorze lub środowisku IDE.

Zastąp zawartość quickstart.py poniższym kodem.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Wprowadź następujące zmiany:
1. Wprowadź adres URL i klucz punktu końcowego w odpowiednich polach.
2. Wprowadź nazwę wdrożenia GPT-4 Turbo z nazwą wdrożenia przetwarzania obrazów w odpowiednim polu.
3. Zmień wartość "image" pola na adres URL obrazu.
  
  Napiwek
  
  Można również użyć zakodowanych w formacie base 64 danych obrazu zamiast adresu URL. Aby uzyskać więcej informacji, zobacz Przewodnik z instrukcjami GPT-4 Turbo with Vision.
Uruchom aplikację za python pomocą polecenia :
```
python quickstart.py
```

GPT-4 Turbo with Vision zapewnia wyłączny dostęp do dostosowanych ulepszeń usług Azure AI Services. W połączeniu z usługą Azure AI Vision zwiększa środowisko czatu, udostępniając model czatu bardziej szczegółowe informacje o widocznym tekście na obrazie i lokalizacjach obiektów.

Integracja optycznego rozpoznawania znaków (OCR) umożliwia modelowi tworzenie odpowiedzi o wyższej jakości dla gęstego tekstu, przekształconych obrazów i dokumentów finansowych o dużej liczbie. Obejmuje ona również szerszy zakres języków.

Integracja uziemania obiektów zapewnia nową warstwę do analizy danych i interakcji użytkownika, ponieważ funkcja może wizualnie odróżnić i wyróżnić ważne elementy na obrazach, które przetwarza.

Uwaga

Ulepszenia sztucznej inteligencji platformy Azure dla GPT-4 Turbo z usługą Vision będą rozliczane oddzielnie od podstawowych funkcji. Każde konkretne rozszerzenie sztucznej inteligencji platformy Azure dla usługi GPT-4 Turbo z usługą Vision ma własne odrębne opłaty. Aby uzyskać szczegółowe informacje, zobacz specjalne informacje o cenach.

Zastąp zawartość quickstart.py poniższym kodem.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Wprowadź następujące zmiany:
1. Wprowadź nazwę wdrożenia GPT-4 Turbo z nazwą wdrożenia przetwarzania obrazów w odpowiednim polu.
2. Wprowadź adres URL i klucz punktu końcowego przetwarzanie obrazów w odpowiednich polach.
3. Zmień wartość "image" pola na adres URL obrazu.
  
  Napiwek
  
  Można również użyć zakodowanych w formacie base 64 danych obrazu zamiast adresu URL. Aby uzyskać więcej informacji, zobacz Przewodnik z instrukcjami GPT-4 Turbo with Vision.
Uruchom aplikację za python pomocą polecenia :
```
python quickstart.py
```

Czyszczenie zasobów

Jeśli chcesz wyczyścić i usunąć zasób usługi Azure OpenAI, możesz usunąć zasób lub grupę zasobów. Usunięcie grupy zasobów powoduje również usunięcie wszelkich innych skojarzonych z nią zasobów.

Skorzystaj z tego artykułu, aby rozpocząć korzystanie z zestawu SDK języka Python platformy Azure OpenAI do wdrażania i używania modelu GPT-4 Turbo z usługą Vision.

Pakiet kodu | źródłowego biblioteki (PyPi) |

Wymagania wstępne

Subskrypcja platformy Azure. Utwórz je bezpłatnie.
Dostęp jest udzielany usłudze Azure OpenAI w żądanej subskrypcji platformy Azure. Obecnie dostęp do tej usługi jest udzielany tylko przez aplikację. Możesz ubiegać się o dostęp do usługi Azure OpenAI, wypełniając formularz pod adresem https://aka.ms/oai/access. Otwórz problem w tym repozytorium, aby skontaktować się z nami, jeśli masz problem.
Środowisko Python w wersji 3.8 lub nowszej.
Następujące biblioteki języka Python: os
Zasób usługi Azure OpenAI z wdrożonym modelem GPT-4 Turbo z usługą Vision. Zobacz Dostępność modelu GPT-4 i GPT-4 Turbo Preview dla dostępnych regionów. Aby uzyskać więcej informacji na temat tworzenia zasobów, zobacz przewodnik wdrażania zasobów.
Ulepszenia funkcji przetwarzania obrazów (opcjonalnie): zasób usługi Azure przetwarzanie obrazów w tym samym regionie co zasób usługi Azure OpenAI w warstwie płatnej (S1).

Konfiguruj

Zainstaluj bibliotekę klienta języka Python openAI za pomocą następujących elementów:

pip install openai

Uwaga

Ta biblioteka jest utrzymywana przez interfejs OpenAI i jest obecnie dostępna w wersji zapoznawczej. Zapoznaj się z historią wydania lub historią zatwierdzeń version.py, aby śledzić najnowsze aktualizacje biblioteki.

Pobieranie klucza i punktu końcowego

Aby pomyślnie wykonać wywołanie usługi Azure OpenAI, potrzebujesz punktu końcowegoi klucza.

Nazwa zmiennej	Wartość
`ENDPOINT`	Tę wartość można znaleźć w sekcji Klucze i punkt końcowy podczas badania zasobu z poziomu witryny Azure Portal. Alternatywnie możesz znaleźć wartość w widoku kodu placu zabaw>usługi Azure OpenAI Studio>. Przykładowy punkt końcowy to: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Tę wartość można znaleźć w sekcji Klucze i punkt końcowy podczas badania zasobu z poziomu witryny Azure Portal. Możesz użyć wartości `KEY1` lub `KEY2`.

Przejdź do zasobu w witrynie Azure Portal. Sekcję Klucze i punkt końcowy można znaleźć w sekcji Zarządzanie zasobami. Skopiuj punkt końcowy i klucz dostępu, ponieważ będzie potrzebny zarówno do uwierzytelniania wywołań interfejsu API. Możesz użyć wartości KEY1 lub KEY2. Zawsze posiadanie dwóch kluczy umożliwia bezpieczne obracanie i ponowne generowanie kluczy bez powodowania zakłóceń usługi.

Zmienne środowiskowe

Tworzenie i przypisywanie trwałych zmiennych środowiskowych dla klucza i punktu końcowego.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Tworzenie nowej aplikacji w języku Python

Utwórz nowy plik w języku Python o nazwie quickstart.py. Otwórz nowy plik w preferowanym edytorze lub środowisku IDE.

Zastąp zawartość quickstart.py poniższym kodem.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Wprowadź następujące zmiany:
1. Wprowadź nazwę urządzenia GPT-4 Turbo z wdrożeniem usługi Vision w odpowiednim polu.
2. Zmień wartość "url" pola na adres URL obrazu.
  
  Napiwek
  
  Można również użyć zakodowanych w formacie base 64 danych obrazu zamiast adresu URL. Aby uzyskać więcej informacji, zobacz Przewodnik z instrukcjami GPT-4 Turbo with Vision.
Uruchom aplikację za python pomocą polecenia :
```
python quickstart.py
```

GPT-4 Turbo with Vision zapewnia wyłączny dostęp do dostosowanych ulepszeń usług Azure AI Services. W połączeniu z usługą Azure AI Vision zwiększa środowisko czatu, udostępniając model czatu bardziej szczegółowe informacje o widocznym tekście na obrazie i lokalizacjach obiektów.

Integracja optycznego rozpoznawania znaków (OCR) umożliwia modelowi tworzenie odpowiedzi o wyższej jakości dla gęstego tekstu, przekształconych obrazów i dokumentów finansowych o dużej liczbie. Obejmuje ona również szerszy zakres języków.

Integracja uziemania obiektów zapewnia nową warstwę do analizy danych i interakcji użytkownika, ponieważ funkcja może wizualnie odróżnić i wyróżnić ważne elementy na obrazach, które przetwarza.

Uwaga

Ulepszenia sztucznej inteligencji platformy Azure dla GPT-4 Turbo z usługą Vision będą rozliczane oddzielnie od podstawowych funkcji. Każde konkretne rozszerzenie sztucznej inteligencji platformy Azure dla usługi GPT-4 Turbo z usługą Vision ma własne odrębne opłaty. Aby uzyskać szczegółowe informacje, zobacz specjalne informacje o cenach.

Zastąp zawartość quickstart.py poniższym kodem.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Wprowadź następujące zmiany:
1. Wprowadź nazwę wdrożenia GPT-4 Turbo z nazwą wdrożenia przetwarzania obrazów w odpowiednim polu.
2. Wprowadź adres URL i klucz punktu końcowego przetwarzanie obrazów w odpowiednich polach.
3. Zmień wartość "url" pola na adres URL obrazu.
  
  Napiwek
  
  Można również użyć zakodowanych w formacie base 64 danych obrazu zamiast adresu URL. Aby uzyskać więcej informacji, zobacz Przewodnik z instrukcjami GPT-4 Turbo with Vision.
Uruchom aplikację za python pomocą polecenia :
```
python quickstart.py
```

Czyszczenie zasobów

Jeśli chcesz wyczyścić i usunąć zasób usługi Azure OpenAI, możesz usunąć zasób lub grupę zasobów. Usunięcie grupy zasobów powoduje również usunięcie wszelkich innych skojarzonych z nią zasobów.

Szybki start: używanie obrazów w czatach sztucznej inteligencji

Wymagania wstępne

Przejdź do usługi Azure OpenAI Studio

Plac zabaw

Rozpoczynanie sesji czatu w celu analizowania obrazów lub wideo

Czyszczenie zasobów

Wymagania wstępne

Pobieranie klucza i punktu końcowego

Tworzenie nowej aplikacji w języku Python

Czyszczenie zasobów

Wymagania wstępne

Konfiguruj

Pobieranie klucza i punktu końcowego

Zmienne środowiskowe

Tworzenie nowej aplikacji w języku Python

Czyszczenie zasobów

Następne kroki

Dodatkowe zasoby