Krok nr 1. Identyfikowanie plików kontraktów i wyodrębnianie danych przy użyciu Microsoft Syntex

Twoja organizacja potrzebuje sposobu identyfikowania i klasyfikowania wszystkich dokumentów kontraktowych z wielu otrzymywanych plików. Chcesz również szybko wyświetlić kilka kluczowych elementów w każdym z zidentyfikowanych plików kontraktu (na przykład Klient, Wykonawca i Kwota opłaty). Można to zrobić za pomocą narzędzia Syntex], aby utworzyć model przetwarzania dokumentów bez struktury i zastosować go do biblioteki dokumentów.

Omówienie procesu

Modele przetwarzania dokumentów bez struktury używają sztucznej inteligencji (AI) do automatyzowania klasyfikacji plików i wyodrębniania informacji. Te typy modeli są również optymalne w wyodrębnianiu informacji z dokumentów bez struktury i częściowo ustrukturyzowanych, w których potrzebne informacje nie są zawarte w tabelach lub formularzach, takich jak kontrakty.

Modele przetwarzania dokumentów bez struktury używają technologii optycznego rozpoznawania znaków (OCR) do skanowania plików PDF, obrazów i plików TIFF, zarówno podczas trenowania modelu z przykładowymi plikami, jak i podczas uruchamiania modelu względem plików w bibliotece dokumentów.

1. Najpierw należy znaleźć co najmniej pięć przykładowych plików, których można użyć do "wytrenowania" modelu w celu wyszukania cech specyficznych dla typu zawartości, który próbujesz zidentyfikować (kontrakt).

2. Za pomocą narzędzia Syntex utwórz nowy model przetwarzania dokumentów bez struktury. Korzystając z przykładowych plików, musisz utworzyć klasyfikator. Szkoląc klasyfikator przy użyciu przykładowych plików, nauczysz go wyszukiwać cechy specyficzne dla tego, co można zobaczyć w kontraktach firmy. Na przykład utwórz "wyjaśnienie", które wyszukuje określone ciągi znajdujące się w umowach, takie jak umowa serwisowa, warunki umowy i kompensacja. Możesz nawet wytrenować wyjaśnienie, aby wyszukać te ciągi w określonych sekcjach dokumentu lub znajdujących się obok innych ciągów. Jeśli uważasz, że wytrenowałeś klasyfikator z wymaganymi informacjami, możesz przetestować model na przykładowym zestawie przykładowych plików, aby zobaczyć, jak wydajny jest. Po przetestowaniu w razie potrzeby możesz wprowadzić zmiany w wyjaśnieniach, aby były bardziej wydajne.

3. W modelu można utworzyć wyodrębniacz do ściągania określonych fragmentów danych z każdego kontraktu. Na przykład dla każdej umowy najbardziej interesuje Cię informacja o tym, kim jest klient, nazwa wykonawcy i całkowity koszt.

4. Po pomyślnym utworzeniu modelu zastosuj go do biblioteki dokumentów programu SharePoint. Podczas przekazywania dokumentów do biblioteki dokumentów model przetwarzania dokumentów bez struktury zostanie uruchomiony i będzie identyfikował i klasyfikował wszystkie pliki zgodne z typem zawartości kontraktów zdefiniowanym w modelu. Wszystkie pliki sklasyfikowane jako kontrakty będą wyświetlane w widoku biblioteki niestandardowej. Pliki będą również wyświetlać wartości z każdego kontraktu zdefiniowanego w wyodrębniaczu.

   

5. Jeśli masz wymagania dotyczące przechowywania lub zabezpieczeń dla kontraktów, możesz również użyć modelu, aby zastosować etykietę przechowywania lub etykietę poufności , która uniemożliwi usunięcie kontraktów przez określony okres lub ograniczyć, kto może uzyskać dostęp do umów.

Kroki tworzenia i trenowania modelu

Uwaga

W tych krokach można użyć przykładowych plików w repozytorium Zasobów rozwiązania do zarządzania kontraktami. Przykłady w tym repozytorium zawierają zarówno pliki modelu, jak i pliki używane do trenowania modelu.

Tworzenie modelu kontraktu

Pierwszym krokiem jest utworzenie modelu kontraktu.

1. W centrum zawartości wybierz pozycję Nowa>metoda nauczaniamodelu>.

2. W okienku Tworzenie modelu za pomocą metody dydaktycznej w polu Nazwa wpisz nazwę modelu. W przypadku tego rozwiązania do zarządzania kontraktami możesz nazwać model Contract.

3. Wybierz pozycję Utwórz. Spowoduje to utworzenie strony głównej modelu.
   

   

Trenowanie modelu w celu klasyfikowania typu pliku

Dodawanie przykładowych plików dla modelu

Musisz dodać co najmniej pięć przykładowych plików, które są dokumentami kontraktów, oraz jeden przykładowy plik, który nie jest dokumentem kontraktu (na przykład instrukcja pracy).

1. Na stronie Kontrakt modeli > w obszarze Akcje kluczy>Dodaj przykładowe pliki wybierz pozycję Dodaj pliki.

   

2. Na stronie Wybieranie przykładowych plików dla modelu otwórz folder Kontrakt, wybierz pliki, których chcesz użyć, a następnie wybierz pozycję Dodaj. Jeśli nie masz tam przykładowych plików, wybierz pozycję Przekaż , aby je dodać.

Oznaczanie plików jako pozytywnych lub negatywnych przykładów

1. Na stronie Kontrakt modeli > w obszarze Akcje kluczy>Klasyfikuj pliki i uruchom trenowanie wybierz pozycję Train classifier (Trenowanie klasyfikatora).

   

2. Na stronie Klasyfikator kontraktów kontraktów > modeli > w przeglądarce w górnej części pierwszego przykładowego pliku zobaczysz tekst z pytaniem, czy plik jest przykładem utworzonego modelu kontraktu. Jeśli jest to pozytywny przykład, wybierz pozycję Tak. Jeśli jest to przykład negatywny, wybierz pozycję Nie.

3. Z listy Przykłady oznaczone po lewej stronie wybierz inne pliki, których chcesz użyć jako przykłady, i oznacz je etykietami.

   

Dodaj co najmniej jedno wyjaśnienie, aby wytrenować klasyfikator

1. Na stronie Klasyfikator kontraktów kontraktów > modeli > wybierz kartę Train (Trenowanie).

2. W sekcji Wytrenowane pliki zostanie wyświetlona lista plików przykładowych, które zostały wcześniej oznaczone etykietą. Wybierz jeden z pozytywnych plików z listy, aby wyświetlić go w przeglądarce.

3. W sekcji Wyjaśnienia wybierz pozycję Nowy , a następnie pozycję Puste.

4. Na stronie Tworzenie wyjaśnienia :

   a. W polu Nazwa wpisz nazwę wyjaśnienia (np. "Umowa").

   b. W polu Typ wyjaśnienia wybierz pozycję Lista fraz, ponieważ dodajesz ciąg tekstowy.

   c. W polu Lista fraz wpisz ciąg (na przykład "AGREEMENT"). Jeśli ciąg musi uwzględniać wielkość liter, możesz wybrać pozycję Wielkość liter.

   d. Wybierz pozycję Zapisz i wytrenuj.

   

Testowanie modelu

Model kontraktu można przetestować na przykładowych plikach, których wcześniej nie widział. Jest to opcjonalne rozwiązanie, ale może być przydatnym najlepszym rozwiązaniem.

1. Na stronie Klasyfikator kontraktów kontraktów > modeli > wybierz kartę Test. Spowoduje to uruchamianie modelu w plikach przykładowych bez etykiet.

2. Na liście Pliki testowe przykładowe pliki są wyświetlane i pokazują, czy model przewidział ich wyniki dodatnie lub ujemne. Te informacje ułatwiają określenie skuteczności klasyfikatora w identyfikowaniu dokumentów.

   

3. Po zakończeniu wybierz pozycję Zakończ trenowanie.

Tworzenie i trenowanie ekstraktora

1. Na stronie Kontrakt modeli > w obszarze Akcje kluczy>Utwórz i wytrenuj wyodrębniacze wybierz pozycję Utwórz wyodrębniacz.

   

2. W panelu New entity extractor (Nowy wyodrębniacz jednostki ) w polu Nowa nazwa wpisz nazwę swojego wyodrębniacza. Na przykład nadaj mu nazwę Klient , jeśli chcesz wyodrębnić nazwę klienta z każdego kontraktu.

3. Po zakończeniu wybierz pozycję Utwórz.

Etykieta jednostki, którą chcesz wyodrębnić

Podczas tworzenia ekstraktora zostanie otwarta strona wyodrębniacza. W tym miejscu zostanie wyświetlona lista przykładowych plików z pierwszym plikiem na liście wyświetlonej w przeglądarce.

Aby oznaczyć jednostkę etykietą:

1. W przeglądarce wybierz dane, które chcesz wyodrębnić z plików. Jeśli na przykład chcesz wyodrębnić klienta, wyróżnisz wartość klienta w pierwszym pliku (w tym przykładzie Best For You Organics), a następnie wybierz pozycję Zapisz. Wartość wyświetlana z pliku zostanie wyświetlona na liście Przykłady oznaczone w kolumnie Etykieta .

2. Wybierz pozycję Następny plik , aby automatycznie zapisać i otworzyć następny plik na liście w przeglądarce. Lub wybierz pozycję Zapisz, a następnie wybierz inny plik z listy Przykłady oznaczone etykietami .

3. W przeglądarce powtórz kroki 1 i 2, a następnie powtarzaj je do momentu zapisania etykiety we wszystkich plikach.

Po oznaczeniu plików etykietą zostanie wyświetlony baner powiadomień informujący o przejściu do szkolenia. Możesz wybrać etykietę większej liczby dokumentów lub przejść do szkolenia.

Dodawanie objaśnienia

Możesz utworzyć wyjaśnienie, które zawiera wskazówkę dotyczącą samego formatu jednostki i odmian, które może mieć w przykładowych plikach. Na przykład wartość daty może być w wielu różnych formatach, takich jak:

• 10/14/2019
• 14 października 2019 r.
• Poniedziałek, 14 października 2019 r.

Aby ułatwić identyfikację daty rozpoczęcia kontraktu, możesz utworzyć wyjaśnienie.

1. W sekcji Wyjaśnienia wybierz pozycję Nowy , a następnie pozycję Puste.

2. Na stronie Tworzenie wyjaśnienia :

   a. W polu Nazwa wpisz nazwę wyjaśnienia (na przykład Date).

   b. W polu Typ wyjaśnienia wybierz pozycję Lista fraz.

   c. W polu Wartość podaj odmianę daty wyświetlaną w przykładowych plikach. Jeśli na przykład masz formaty dat, które są wyświetlane jako 0/00/0000, wprowadź wszelkie odmiany wyświetlane w dokumentach, takie jak:

   • 0/0/0000
   • 0/00/0000
   • 00/0/0000
   • 00/00/0000

3. Wybierz pozycję Zapisz i wytrenuj.

Ponownie przetestuj model

Model kontraktu można przetestować na przykładowych plikach, których wcześniej nie widział. Jest to opcjonalne rozwiązanie, ale może być przydatnym najlepszym rozwiązaniem.

1. Na stronie Klasyfikator kontraktów kontraktów > modeli > wybierz kartę Test. Spowoduje to uruchamianie modelu w plikach przykładowych bez etykiet.

2. Na liście Pliki testowe przykładowe pliki są wyświetlane i pokazują, czy model może wyodrębnić potrzebne informacje. Te informacje ułatwiają określenie skuteczności klasyfikatora w identyfikowaniu dokumentów.

3. Po zakończeniu wybierz pozycję Zakończ trenowanie.

Stosowanie modelu do biblioteki dokumentów

Aby zastosować model do biblioteki dokumentów programu SharePoint:

1. Na stronie Kontrakt modeli > w obszarze Akcje kluczy>Zastosuj model do bibliotek wybierz pozycję Zastosuj model.

   

2. Na panelu Dodawanie kontraktu wybierz witrynę programu SharePoint zawierającą bibliotekę dokumentów, do których chcesz zastosować model. Jeśli witryna nie jest wyświetlana na liście, użyj pola wyszukiwania, aby ją znaleźć. Wybierz opcję Dodaj.

   Uwaga

   Musisz mieć uprawnienia Do zarządzania listą lub Uprawnienia do edycji do biblioteki dokumentów, do których stosujesz model.

3. Po wybraniu witryny wybierz bibliotekę dokumentów, do której chcesz zastosować model.

4. Ponieważ model jest skojarzony z typem zawartości, po zastosowaniu go do biblioteki doda typ zawartości i jego widok z wyodrębnionymi etykietami wyświetlanymi jako kolumny. Ten widok jest domyślnie widokiem domyślnym biblioteki, ale opcjonalnie możesz wybrać, aby nie był to widok domyślny, wybierając pozycję Ustawienia zaawansowane i wyczyść pole wyboru Ustaw nowy widok jako domyślny .

5. Wybierz pozycję Dodaj , aby zastosować model do biblioteki.

6. Na stronie Kontrakt modeli > w sekcji Biblioteki z tym modelem zostanie wyświetlony adres URL witryny programu SharePoint.

   

7. W obszarze Ustawienia>ustawienia biblioteki:

   • Dodaj kolumnę o nazwie Status i wybierz pozycję Wybór jako typ kolumny.
   • Zastosuj wartości W przeglądzie, Zatwierdzone i Odrzucone .

Po zastosowaniu modelu do biblioteki dokumentów możesz rozpocząć przekazywanie dokumentów do witryny i wyświetlić wyniki.

Następny krok

Krok nr 2. Tworzenie kanału zarządzania kontraktami przy użyciu usługi Microsoft Teams