Czat w przedsiębiorstwie usługi Azure OpenAI z obrazami przy użyciu biblioteki GPT-4 Turbo z usługą Vision

Ważne

Niektóre funkcje opisane w tym artykule mogą być dostępne tylko w wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.

Skorzystaj z tego artykułu, aby dowiedzieć się, jak dostarczać własne dane obrazu dla biblioteki GPT-4 Turbo z usługą Vision, modelem przetwarzania obrazów platformy Azure OpenAI. GPT-4 Turbo z usługą Vision enterprise chat umożliwia modelowi generowanie bardziej dostosowanych i ukierunkowanych odpowiedzi przy użyciu rozszerzonej generacji pobierania na podstawie własnych obrazów i metadanych obrazu.

Napiwek

Ten artykuł służy do używania danych obrazu w modelu GPT-4 Turbo z usługą Vision. Zobacz Wdrażanie aplikacji internetowej do czatu dla przedsiębiorstw, aby zapoznać się z samouczkiem dotyczącym wdrażania aplikacji internetowej czatu przy użyciu danych tekstowych.

Wymagania wstępne

• Subskrypcja platformy Azure — utwórz bezpłatnie.
• Zasób usługi Azure OpenAI z wdrożonym modelem GPT-4 Turbo z usługą Vision. Aby uzyskać więcej informacji na temat modeli wdrażania, zobacz przewodnik po modelach wdrażania).
• Upewnij się, że masz przypisaną co najmniej rolę Współautor usług Cognitive Services dla zasobu Azure OpenAI.
• Zasób usługi Azure AI Search. Zobacz tworzenie usługa wyszukiwania usługi Azure AI w portalu. Jeśli nie masz zasobu usługi Azure AI Search, zostanie wyświetlony monit o utworzenie go podczas dodawania źródła danych w dalszej części tego przewodnika.
• Centrum usługi AI Studio z zasobem usługi Azure OpenAI i zasobem usługi Azure AI Search dodanym jako połączenia.

Wdrażanie modelu GPT-4 Turbo za pomocą usługi Vision

1. Zaloguj się do usługi Azure AI Studio i wybierz centrum, w którym chcesz pracować.
2. W menu nawigacji po lewej stronie wybierz pozycję Usługi sztucznej inteligencji. Wybierz panel Wypróbuj GPT-4 Turbo.
3. Na stronie gpt-4 wybierz pozycję Wdróż. W wyświetlonym oknie wybierz zasób Azure OpenAI. Wybierz vision-preview jako wersję modelu.
4. Wybierz Wdróż.
5. Następnie przejdź do strony nowego modelu i wybierz pozycję Otwórz na placu zabaw. Na placu zabaw czatu na liście rozwijanej Wdrożenie należy wybrać utworzone wdrożenie GPT-4.

Wybieranie źródła danych obrazu

1. W okienku po lewej stronie wybierz kartę Dodaj dane i wybierz pozycję Dodaj źródło danych.
2. W wyświetlonym oknie wybierz opcję źródła danych. Każda opcja używa indeksu usługi Azure AI Search, który jest trenowany na obrazach i może służyć do pobierania rozszerzonej generacji na placu zabaw czatu.
   • Azure AI Search: jeśli masz istniejący indeks usługi Azure AI Search , możesz użyć go jako źródła danych.
   • Azure Blob Storage: opcja Azure Blob Storage jest szczególnie przydatna, jeśli masz dużą liczbę plików obrazów i nie chcesz ręcznie przekazywać każdego z nich. Usługa Azure AI Studio wygeneruje indeks wyszukiwania obrazów.
   • Przekazywanie plików obrazów i metadanych: możesz przekazać pliki obrazów i metadane przy użyciu placu zabaw. Ta opcja jest przydatna, jeśli masz niewielką liczbę plików obrazów. Usługa Azure AI Studio wygeneruje indeks wyszukiwania obrazów.

Dodawanie danych obrazu

Azure AI Search

Jeśli masz istniejący indeks usługi Azure AI Search , możesz użyć go jako źródła danych. Jeśli nie masz jeszcze indeksu wyszukiwania, ale chcesz utworzyć go samodzielnie, postępuj zgodnie z repozytorium wyszukiwania wektorów sztucznej inteligencji w usłudze GitHub, które udostępnia skrypty do tworzenia indeksu z plikami obrazów.

1. W oknie Wybieranie lub dodawanie źródła danych na placu zabaw wybierz pozycję Azure AI Search i wprowadź szczegóły indeksu. Zaznacz pola, aby potwierdzić, że wdrożenia i połączenia powodują użycie na twoim koncie.
2. Opcjonalnie włącz opcję Użyj mapowania pól niestandardowych. Dzięki temu można kontrolować mapowanie między polami niestandardowymi w indeksie wyszukiwania a standardowymi polami używanymi przez modele czatów usługi Azure OpenAI podczas pobierania rozszerzonej generacji.
3. Wybierz pozycję Dalej i przejrzyj ustawienia na następnej stronie. Następnie wybierz pozycję Zapisz i zamknij.
4. Na placu zabaw czatu widać, że twoje dane zostały dodane.

Azure Blob Storage

Jeśli masz istniejący kontener usługi Azure Blob Storage z obrazami, możesz go użyć do utworzenia indeksu wyszukiwania obrazów. Jeśli chcesz utworzyć nowe konto usługi Blob Storage, zobacz dokumentację szybkiego startu usługi Azure Blob Storage.

Konto usługi Azure Blob Storage musi zawierać zarówno pliki obrazów, jak i plik JSON ze ścieżkami i metadanymi pliku obrazu.

Plik JSON metadanych musi:

• Nazwa pliku rozpoczynająca się od wyrazu metadata (wszystkie małe litery bez spacji).
• Wyświetl nie więcej niż 10 000 plików obrazów. Jeśli masz więcej plików w kontenerze, możesz mieć wiele plików JSON, z których każdy ma maksymalną wartość maksymalną.

Plik metadanych JSON powinien być sformatowany w następujący sposób:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Po wypełnieniu kontenera magazynu obiektów blob plikami obrazów i co najmniej jednym plikiem JSON metadanych możesz dodać magazyn obiektów blob jako źródło danych.

1. W oknie Wybieranie lub dodawanie źródła danych na placu zabaw wybierz pozycję Azure Blob Storage i wprowadź szczegóły źródła danych. Wybierz również nazwę indeksu usługi Azure AI Search, który zostanie utworzony.

   Uwaga

   Usługa Azure OpenAI wymaga zarówno zasobu konta magazynu, jak i zasobu wyszukiwania w celu uzyskania dostępu do danych i indeksowania ich. Dane są bezpiecznie przechowywane w ramach subskrypcji platformy Azure.

   Podczas dodawania danych do wybranego konta magazynu po raz pierwszy w usłudze Azure AI Studio może zostać wyświetlony monit o włączenie współużytkowania zasobów między źródłami (CORS). Usługi Studio AI platformy Azure i Azure OpenAI wymagają dostępu do konta usługi Azure Blob Storage.

   

2. Zaznacz pola, aby potwierdzić, że wdrożenia i połączenia powodują użycie na twoim koncie. Następnie kliknij przycisk Dalej.

3. Przejrzyj wprowadzone szczegóły, a następnie wybierz pozycję Zapisz i zamknij.

   

4. Teraz na placu zabaw czatu widać, że pozyskiwanie danych jest w toku. Przed kontynuowaniem poczekaj, aż zostanie wyświetlona nazwa źródła danych i indeksu zamiast stanu.

Przekazywanie plików obrazów i metadanych

1. Na stronie Wybieranie lub dodawanie źródła danych wybierz pozycję Przekaż pliki z listy rozwijanej Wybierz źródło danych.

2. Wprowadź szczegóły źródła danych. Wybierz również nazwę indeksu usługi Azure AI Search, który zostanie utworzony.

   Uwaga

   Usługa Azure OpenAI wymaga zarówno zasobu konta magazynu, jak i zasobu wyszukiwania w celu uzyskania dostępu do danych i indeksowania ich. Dane są bezpiecznie przechowywane w ramach subskrypcji platformy Azure.

   Podczas dodawania danych do wybranego konta magazynu po raz pierwszy w usłudze Azure AI Studio może zostać wyświetlony monit o włączenie współużytkowania zasobów między źródłami (CORS). Usługi Studio AI platformy Azure i Azure OpenAI wymagają dostępu do konta usługi Azure Blob Storage.

   

3. Zaznacz pola, aby potwierdzić, że wdrożenia i połączenia powodują użycie na twoim koncie. Następnie kliknij przycisk Dalej.

4. Na stronie Przekazywanie plików wybierz pozycję Przeglądaj dla pliku i wybierz pliki, które chcesz przekazać. Jeśli chcesz przekazać więcej niż jeden plik, zrób to teraz. Nie będzie można dodać więcej plików w dalszej części tej samej sesji placu zabaw.

   Następujące typy plików są obsługiwane w przypadku plików obrazów o rozmiarze do 16 MB:

   • .jpg
   • .png
   • .gif
   • bmp
   • .tiff

5. Wybierz pozycję Przekaż , aby przekazać pliki na konto usługi Azure Blob Storage. Następnie kliknij przycisk Dalej.

   

6. Na stronie Dodawanie metadanych wprowadź opis tekstu dla każdego obrazu w odpowiednich polach tekstowych. Następnie kliknij przycisk Dalej.

   

7. Przejrzyj wprowadzone szczegóły. Możesz zobaczyć nazwy kontenera magazynu i indeks wyszukiwania, który zostanie utworzony dla Ciebie. Wybierz pozycję Zapisz i zamknij.

   

8. Teraz na placu zabaw czatu widać, że pozyskiwanie danych jest w toku. Przed kontynuowaniem poczekaj, aż zostanie wyświetlona nazwa źródła danych i indeksu zamiast stanu.

Używanie danych z modelem GPT-4 Turbo z usługą Vision

Po dodaniu danych obrazu możesz wypróbować rozmowę na czacie uziemiona na danych obrazu.

1. Użyj przycisku załącznika w oknie czatu, aby przekazać nowy obraz. Zadaj pytanie dotyczące jego relacji z innymi obrazami w zestawie danych.

2. Model odpowie odpowiedzią, która jest uziemiona na danych obrazu.

Dodawanie i usuwanie źródeł danych

Usługa Azure OpenAI umożliwia używanie tylko jednego źródła danych na sesję czatu. Jeśli chcesz dodać nowe źródło danych, musisz najpierw usunąć istniejące źródło danych. W tym celu wybierz pozycję Usuń źródło danych w obszarze informacji o źródle danych.

Po usunięciu źródła danych zostanie wyświetlony komunikat ostrzegawczy. Usunięcie źródła danych usuwa sesję czatu i resetuje wszystkie ustawienia placu zabaw.

Następne kroki

• Dowiedz się, jak utworzyć projekt w usłudze Azure AI Studio.
• Wdrażanie aplikacji internetowej do czatu dla przedsiębiorstw