Dela via

Transparensanteckning för Radiology Insights

Vad är en transparensanteckning?

Ett AI-system innehåller teknik och de personer som använder det påverkas av det och miljön där det distribueras. Att skapa ett system som är lämpligt för sitt avsedda syfte kräver en förståelse för hur tekniken fungerar, vilka dess funktioner och begränsningar är och hur man uppnår bästa prestanda. Microsofts Transparensanteckningar är avsedda att hjälpa dig att förstå hur vår AI-teknik fungerar, vilka val systemägare kan göra som påverkar systemets prestanda och beteende samt vikten av att tänka på hela systemet, inklusive teknik, människor och miljö. Du kan använda Transparensanteckningar när du utvecklar eller distribuerar ditt eget system eller delar dem med de personer som kommer att använda eller påverkas av systemet. Microsofts transparensanteckningar är en del i en mer omfattande insats på Microsoft för att börja använda våra AI-principer. Mer information finns i Microsoft AI-principerna.

Grunderna i Radiology Insights

Inledning

Radiology Insights (RI) är en modell som syftar till att tillhandahålla kvalitetskontroller som feedback om fel och inkonsekvenser (matchningar) och hjälper till att identifiera och kommunicera kritiska resultat med hjälp av rapportens fullständiga kontext. Dessutom identifieras uppföljningsrekommendationer och kliniska resultat med mätningar (storlekar) som dokumenteras av radiologen.

  • Radiology Insights är en inbyggd AI-programvarumodell som levereras i Project Health Insights Azure AI-tjänsten
  • Radiology Insights tillhandahåller inte externa referenser. Som en Health Insights-modell ger Radiology Insights slutsatsdragningar till de angivna indata som ska användas som referens för djupgående förståelse av modellens slutsatser.

Funktionen Radiology Insights i Azure Health Insights använder språkteknologi för att bearbeta ostrukturerade medicinska radiologidokument. Den lägger till flera typer av slutsatsdragningar som hjälper användaren att effektivt övervaka, förstå och förbättra ekonomiska och kliniska resultat i en radiologiarbetsflödeskontext. De typer av slutsatsdragningar som för närvarande stöds av systemet är: AgeMismatch, SexMismatch, LateralityDiscrepancy, CompleteOrderDiscrepancy, LimitedOrderDiscrepancy, Finding, CriticalResult, FollowupRecommendation, RadiologyProcedure, Communication.

Dessa slutsatsdragningar kan användas både för att stödja klinisk analys eller för att ge realtidshjälp under processen för att skapa dokument.

  • RI möjliggör analys och bearbetning av data från det radiologiska arbetsflödet för att skapa viktiga insikter som leder till användbar information.
  • RI möjliggör analys av det förflutna och förbättrar framtiden genom att generera meningsfulla insikter som avslöjar styrkor och identifierar områden som behöver ingripa.
  • RI gör det möjligt att skapa kvalitetskontroller och automatiserade, interna aviseringar för avvikelser och möjliga kritiska fynd.
  • RI förbättrar uppföljningsrekommendationskonsekvensen med AI-driven, automatiserad vägledningssupport och kvalitetskontroller som driver evidensbaserade kliniska beslut.

Radiology Insights kan ta emot ostrukturerad text på engelska som en del av sitt nuvarande erbjudande och använder Textanalys för hälsa (TA4H) för namngiven entitetsigenkänning (NER), extrahering av relationer mellan identifierade entiteter, för att visa påståenden som negation och villkorlighet och för att länka identifierade entiteter till vanliga vokabulärer.

Viktiga termer

Begrepp Definition
Dokument Indata från RI-modellen är ett radiologi kliniskt dokument, som bredvid den narrativa informationen också innehåller metadata som innehåller patientinformation och specifikationer för procedurordning.
Modalitet Modalitet avser den specifika typen av bildteknik eller teknik som används för att fånga medicinska bilder av kroppen. Varje modalitet använder olika fysiska principer (till exempel röntgenstrålar, ljudvågor eller magnetfält) för att generera bilder som hjälper till med diagnos och behandling.
Slutsatsdragning Utdata från RI-modellen är en lista över slutsatsdragningar eller anteckningar som lagts till i det bearbetade dokumentet.
AgeMismatch Kommentar som utlöses när det finns en avvikelse mellan åldersinformation i metadata och narrativ text.
SexMismatch Kommentar som utlöses när det finns en avvikelse mellan sexinformation i metadata och narrativ text (inkluderar patientreferenser, könsspecifika resultat och könsspecifika kroppsdelar).
LateralityDiskrepans Kommentar som utlöses när det finns en avvikelse mellan lateralitetsinformation i metadata och narrativ text eller mellan resultat och visningsavsnitt i rapporttext.
Fullföra orderavvikelse Annotation som utlöses när rapporttexten inte innehåller alla relevanta kroppsdelar enligt informationen i metadata som visar att en fullständig studie har beställts.
Begränsad Orderavvikelse En kommentar utlöses när ett begränsat urval av kroppsdelar, enligt procedurordningen i metadata, ska kontrolleras, men rapporttexten innehåller alla relevanta kroppsdelar.
Fynd Kommentar som identifierar och belyser en sammansättning av klinisk information som rör en, kliniskt relevant, uppfattning som finns i rapporttexten.
KritisktResultat Kommentar som identifierar och markerar resultat i rapporttext som ska kommuniceras inom en viss tidsgräns enligt regelefterlevnad.
UppföljningRekommendation Kommentar som identifierar och markerar en eller flera rekommendationer i rapporttexten och ger en normalisering av varje rekommendation till en uppsättning strukturerade datafält.
Radiologisk procedur Normalisering av procedurordningsinformation som finns i metadata med hjälp av Loinc/Radlex-koder.
Kommunikation Kommentar som identifierar och markerar när det noteras i rapporttexten att resultaten kommuniceras strikt eller icke-strikt med mottagaren.
Klinisk vägledning Klinisk vägledning kan betraktas som ett beslutsträd som tillhandahåller en strukturerad metod för evidensbaserade riktlinjer (ACR Guidelines1 och Fleischner Society Guidelines2) för att hjälpa vårdgivare att fatta lämpligaste beslut om avbildning eller behandling för kliniska tillstånd. Modellen innehåller viktig information från dokumentationen för att mata in beslutsträdet, så att du kan föreslå en eller flera kandidatrekommendationer.
Kvalitetsmått Modellen utvärderar om kvalitetsmåttets prestanda uppfylldes eller inte när en medicinsk procedur utfördes. Kvalitetsmåttets prestanda förklaras genom att visa bevis från dokumentet och/eller konstatera en brist på sådana bevis.
Riskpoängsättning och bedömning Riskbedömnings- och bedömningssystem används i medicinsk bildbehandling och diagnostik för att standardisera utvärderingen och rapporteringen av kliniska fynd. Modellen belyser viktiga bedömnings- och riskbedömningsfaktorer med värden som radiologen dikterar i en radiologianteckning eller rapport.

Förmågor

Systemets beteende

Radiology Insight lägger till flera typer av slutsatsdragningar/anteckningar i det ursprungliga kliniska dokumentet för radiologi. Ett dokument kan utlösa en eller flera anteckningar. Flera instanser av samma anteckning i ett dokument är möjliga.

  • AgeMismatch
  • SexMismatch
  • LateralityDiskrepans
  • Fullföra orderavvikelse
  • Begränsad Orderavvikelse
  • Fynd
  • KritisktResultat
  • UppföljningRekommendation
  • Radiologisk procedur
  • Kommunikation
  • Klinisk vägledning
  • Bedömning och utvärdering
  • Kvalitetsmått

Exempel på ett kliniskt radiologidokument med slutsatsdragningar:

Skärmbild av ett radiologidokument med en slutsats om matchningsfel och uppföljningsrekommendering.

Funktionell beskrivning av slutsatsdragningarna i omfång och exempel

Åldersskillnad

Åldersmatchningar identifieras baserat på jämförelse av tillgänglig information om patientålder i patientens demografiska metadata och rapporttexten. Motstridiga åldersinformationer markeras i texten.

Skärmbild av ett radiologidokument med ett åldersmatchningsfel.

Matchningsfel för kön

Identifiering av könsmatchningar baseras på en jämförelse av patientens sexinformation i patientens demografiska metadata å ena sidan och å andra sidan patientreferenser, könsspecifika resultat och könsspecifika kroppsdelar i texten. Motstridig sexinformation taggas i texten.

Skärmbild av ett radiologidokument med ett könsmatchningsfel.

Lateralitetsavvikelse

En lateralitet, definierad som "Vänster" (Lt, lft) och "Höger" (rt, rght), tillsammans med en anatomi (kroppsdelar) i procedurbeskrivningen för metadataprocedurordningen används för att skapa lateralitetsmissmatchningar i rapporten. Inga matchningar för tidigare innehåll. Om endast lateralitet och ingen anatomi är tillgänglig i procedurbeskrivningen, taggas alla motsatta lateraliteter i texten. Till exempel: "vänstervyer" i Procedurbeskrivning visar alla "högra" ord i rapporttexten.

Skärmbild av ett radiologidokument med ett lateralitetsfel.

CompleteOrder-avvikelse

Kompletthetsavvikelser kan inträffa om den beställda undersökningen är ett ultraljud för BUKEN, RETROPERITONEAL, PELVIS eller bröstet. En bristande fullständighet uppstår om antingen ordningen är fullständig och inte texten, eller tvärtom.

Skärmbild av ett radiologidokument med komplett ordningskonflikt.

LimitedOrder-avvikelse

Kompletthetsavvikelser kan inträffa om den beställda undersökningen är ett ultraljud för BUKEN, RETROPERITONEAL, PELVIS eller bröstet. En bristande fullständighet uppstår om antingen ordningen är fullständig och inte texten, eller tvärtom.

Skärmbild av ett radiologidokument med ett matchningsfel i begränsad ordning.

hitta

A Finding är en NLU-baserad sammansättning av klinisk information som rör en, kliniskt relevant, uppfattning som finns i medicinska journaler. Den skapas som sådan att den är programoberoende. En slutsatsdragning för sökning består av olika fält, som alla innehåller delar för att sammanställa en fullständig översikt över vad sökningen är.
En sökning kan bestå av följande fält: Klinisk indikator, AnatomiLateralitetInfo om storlek, skärpa, allvarlighetsgrad, orsak, status, flera – kontroll, RegionFunktioner, Tidpunkt

Kritiskt resultat

Identifierar och markerar potentiella kritiska resultat som nämns i rapporten. Identifierar och markerar potentiella ACR-åtgärdsbara resultat som dikteras i en rapport. Identifierar endast kritiskt resultat i rapporttexten (inte i metadata) Termerna baseras på Mass Coalition för förebyggande av medicinska fel: http://www.macoalition.org/Initiatives/docs/CTRstarterSet.xls.

Skärmbild av ett radiologidokument med ett kritiskt resultat.

UppföljningRekommendation

Den här slutsatsdragningen visar ett potentiellt besök som måste schemaläggas. Varje rekommendation innehåller en modalitet och en kroppsdel. Dessutom innehåller den en tid, en lateralitet, ett eller flera resultat och en indikation på att en villkorsfras finns (sant eller falskt).

Exempel på cfr-könmatchning

RadiologyProcedure

Radiology Insights extraherar information som modalitet, kroppsdel, lateralitet, vy och kontrast från procedurordningen. Ordnade procedurer normaliseras med LOINC-koderna med hjälp av LOINC/RSNA Radiology Playbook som utvecklas och underhålls av LOINC/RadLex-kommittén: http://playbook.radlex.org/playbook/SearchRadlexAction.

Skärmbild av ett radiologidokument med en procedurnormalisering.

Kommunikation

RI samlar in språk i texten, vanligtvis ett verb som anger kommunikation i kombination med ett korrekt namn (typiskt för- och efternamn) eller en referens till en kliniker eller sjuksköterska. Det kan finnas flera sådana mottagare. Kommunikation till icke-medicinsk personal (sekreterare, kontorister osv.) taggas inte som kommunikation om inte rätt namn på den här personen nämns. Språk som identifieras som tidigare kommunikation (till exempel i historikavsnitt) eller framtida kommunikation (till exempel "kommer att kommuniceras") taggas inte som kommunikation.

Exempel på Cfr SexMismatch

Klinisk vägledning

Klinisk vägledning kan betraktas som ett beslutsträd som tillhandahåller en strukturerad metod för evidensbaserade riktlinjer (ACR Guidelines1-4 och Fleischner Society Guidelines5) för att hjälpa radiologer att fatta lämpligaste beslut för framtida åtgärder, till exempel att välja en specifik bildstudie och tidpunkten för den.

Modellen extraherar klinisk sökningsinformation från dokumentationen för att hämta nödvändig nyckelinformation för att mata beslutsträdet. Slutförande av trädnoderna kan resultera i ett förslag på en eller flera kandidatrekommendationer. Flera kliniska fyndinstanser kan utlösa samma kliniska vägledning. I sådana fall rangordnas kliniska fynd från hög till låg enligt mängden nödvändig nyckelinformation som finns.

Modellen föreslår kandidatrekommendationer som härleds från vägledningsträdlogik för den riktlinje som den identifierade från sökningen i rapporten. Dessa rekommendationer är standardiserade när det gäller modalitet, anatomi, lateralitet och tidsram. Om de hittade trädnoderna leder till flera procedurer ger modellen separata kandidatrekommendationer för varje procedur (t.ex. rekommendationer för CT, PET CT eller vävnadsprovtagning). Modellen kommer också att ge saknad information om det kliniska fyndet om inga kandidatrekommendationer skulle kunna föreslås av modellen. Om radiologen väljer att dokumentera dessa saknade uppgifter kommer ytterligare rekommendationer att ges av modellen.

Förutom kandidatrekommendationer kan ACR kliniska riktlinjer också föreslå en poäng eller ett stadium som indikerar allvarlighetsgrad eller progression av vissa kliniska tillstånd. Som exempel tilldelas var och en av den nödvändiga nyckelinformationen i sköldkörtelavbildningsrapporten och datasystemet (TI-RADS) riktlinje5 till en poäng, och den totala poängen bestämmer kategorin. Baserat på kategorin kan kandidatrekommendationer föreslås.

I avsnittet med resultat i exemplet nedan:

"En 8 mm nodule i den högra övre loben, bild nr 15 serie 4. Ny bakre höger övre lobe nodule mäta 6 mm, bild nr 28 serie 4. Ny 1,2 cm pulmonell nodule, höger övre lobe, bild #33 serie 4."

Radiology Insight-modellen extraherar från dessa informationsvägledningsvärden som finns i dokumentet och ytbehandlar kandidatrekommendationer baserat på den kliniska riktlinjen för pulmonell nodule (Fleishner Society Guideline5). I det här fallet föreslår modellen olika rekommendationer för samma lungstruktur med olika metoder: Datoriserad axiell tomografi, Positron Emissions Tomography och Imaging Guided Biopsy.

Dessutom finns exempeldokumenten med i intrycksavsnittet.

Tidigare identifierade små lungknutor i den högra övre loben har löst upp sig, men flera nya små knutor är utspridda i båda lungorna.

Observationen i den högra övre loben kommer också att framföras av modellen som aktuella vägledningsvärden. Men modellen visar också vägledningsvärden som missas och inte dokumenteras i rapporten. Om dessa värden dokumenteras kan modellen föreslå andra kandidatrekommendationer enligt den kliniska riktlinjen för pulmonell nodule. Detta gör det möjligt för radiologen att föreslå en kandidatrekommendation och/eller förbättra dokumentationen för att inkludera ytterligare rekommendationer som en del av alternativen.

Skärmbild av ett radiologidokument med klinisk vägledning.

Från det som framkom i fyndavsnittet (blått) föreslår modellen två rekommendationskandidater: Positronemissionstomografi och Bildstyrd Biopsi, båda av Lungan. Vägledningsvärdena som visas för det här fyndet är för loben, höger övre lob och för storlek, 12 mm. Från resultatet i avsnittet Intryck returneras vägledningsvärdet för loben, men storleken saknas och returneras därför som ett saknat vägledningsvärde. Inga kandidater för rekommendationer föreslås.

Tabell ACR Kliniska riktlinjer som stöds av modellen

Klinisk vägledning Kod
Adnexal tumör SNAF: 445039006: MASSA AV LIVMODER ADNEXA (HITTA)
ADRENAL NODULE SNAF: 237783006: MASSA AV BINJUREN (FÖRFUND)
LEVERTRAUMA SNAF: 39400004: SKADA AV LEVER (STÖRNING)
LEVERSKADA SNAF: 300331000: LESION AV LEVER (HITTA)
MELLANLAGRING AV LUNGCANCER SNAF: 258319005: LUNG ENGAGEMANG STEG (TUMÖR MELLANLAGRING)
GRADERING AV BUKSPOTTSKÖRTELSKADOR SNAF: 61823004: SKADOR PÅ BUKSPOTTKÖRTELN (SJUKDOM)
NJURSKADA SNAF: 79131000119100: NJURFÖRÄNDRING (FYND)
BEDÖMNING AV SPLENIC-SKADOR SNAF: 23589004: SKADA AV MJÄLTE (TILLSTÅND)
GRADERING AV NJURSKADOR SNAF: 40095003: NJURSKADA (SJUKDOM)
SKÖLDKÖRTELN NODULE SNAF: 237495005: SKÖLDKÖRTELKNÖL (TILLSTÅND)
Abdominellt aortaaneurysm SNAF: 233985008: BUKAORTAANEURYSM (SJUKDOM)
GRAVIDITETSPLATS SNAF: 858901000000108: GRAVIDITET MED OKÄND LOKALISATION (TILLSTÅND)
GRAVIDITET HÅLLBARHETSBEDÖMNING INITIALT SNAF: 289208006: UPPFATTNING AV LIVSDUGLIGHET FÖR GRAVIDITET (UPPFATTNING)
MELLANLAGRING AV REKTAL CANCER SNAF: 254310002: TUMÖR-NODE-METASTASIS (TNM) COLON AND RECTUM TUMOR STAGING (TUMÖRSTADIERING)
GRAVIDITETSLIVASBARHET FOLLOW-UP SNAF: 364327007: VIABILITET AV GRAVIDITET (OBSERVERBAR ENTITET)
Äggstocksrelaterad cysta SNAF: 97171000119100: CYSTA I LIVMODERSADNEXA (SJUKDOM)
Pankreatisk cysta SNAF: 31258000: CYSTA I BUKSPOTTKÖRTELN (SJUKDOM)
Germinalmatrixblödning SNAF: 276650005: PERINATAL SUBEPENDYMAL BLÖDNING (TILLSTÅND)
GALLBLÅSA OCH GALLARY TRACT SNAF: 300346007: LESION AV GALLBLÅSAN (HITTA)
HYPOFYS SNAF: 399244003: SJUKDOM I HYPOFYSEN (SJUKDOM)
O-RADS SNAF: 289840004: LESION PÅ ÄGGSTOCKEN (FÖREKOMST)
Lungnodul RADLEX: RID50149: PULMONELL NODULE
TI-RADS RADLEX: RID50503: TI-RADS UTVÄRDERING
LUNG-RADS RADLEX: RID50134: LUNG-RADS UTVÄRDERING

Kvalitetsmått

Kvalitetsmått spelar en avgörande roll för att förbättra kvaliteten på hälso- och sjukvården genom att tillhandahålla ramverk för kvalitetsmätningar, kvalitetsrapportering och kontinuerlig förbättring. Kvalitetsmått7 som stöds av modellen visas i tabellerna nedan. MIPS-kvalificerat kliniskt dataregister | American College of Radiology.

Modellen samlar in kvalitetsmåttskriterier som dokumenteras i rapporten och avgör om dokumentationen är klar genom att kontrollera om alla kriterier som krävs för att uppfylla kvalitetsstandarder ingår.

Om dokumentationen är kompatibel med obligatoriska kriterier för kvalitetsmått är kvalitetsmåttets prestanda "uppfylld". I de fall då dokumentationen inte uppfyller kriterierna är prestandan "inte uppfylld". Modellen kommer att märka ett kvalitetsmått som ett "undantag" om dokumentationen innehåller resultat som inte kräver att kvalitetsmåttets prestanda uppfylls (till exempel att en patient är allergisk mot klorhexidin, ett kriterier för att uppfylla kvalitetsmått för CVC-infogning).

I exemplet nedan måste en CVC eller central venkateter sättas in i en patient. Det är avgörande i kliniska miljöer att undvika allvarliga komplikationer som blodinfektioner. Därför måste förfarandet följa CVC-insättningsstandarder, korrekt handhygien med konventionella tekniker och maximal sterila barriärmetoder som användning av sterila handskar, ett lock, en mask, en steril klänning och en steril helkroppsdrape. Dessutom kräver proceduren korrekt hudförberedelse med klorhexidin och tillämpning av sterila ultraljudstekniker, inklusive användning av ultraljud, steril gel och ett sterilt sondskydd. Men i det här exemplet är prestandan inte "uppfylld" på grund av saknad information om användningen av ett sterilt sondskydd, vilket är en kritisk komponent i den sterila ultraljudstekniken. Därför är dokumentationen inte kompatibel med Kvalitetsmåttet CVC-infektionsprevention.

När det gäller kriterier som saknas kan dokumentationen uppdateras för att även omfatta de saknade dokumenterade men utförda kriterierna eller så kan en efterhand ordnas för att förstå varför dessa viktiga kriterier inte ingick i proceduren som utfördes.

Skärmbild av ett radiologidokument med kvalitetsmått.

Bildkvalitetsmått: Modellen rapporterar att för kvalitetsmåttet CVC INSERTION uppfyller dokumentationen inte dess kvalitetskriterier och klassificerar typen av efterlevnad som "prestanda inte uppfylld" i modellsvaret. Det saknas information om användningen av ett sterilt sondskydd.

Tabell för kvalitetsmått – MIPS implementerat

MIPS Nr MIPS
76 Förebyggande av central venkateter - relaterade blodomloppsinfektioner.
145 Exponeringsdosindex eller exponeringstid och antal bilder som rapporterats för procedurer med fluoroskopi.
147 Korrelation med befintliga bildstudier för alla patienter som genomgår benscintigrafi.
360 Optimera patientens exponering för joniserande strålning: antal potentiella studier av högdosstrålningsavbildning: datortomografi (CT) och hjärt- och nukleärmedicinska studier.
364 Lämplighet: uppföljande CT-avbildning för oavsiktligt upptäckta lungnoduler enligt rekommenderade riktlinjer.
405 Lämplig uppföljande bilddiagnostik för tillfälligt upptäckta bukförändringar.
406 Lämplig bilddiagnostisk uppföljning av incipientella sköldkörtelknölar hos patienter.
436 Användning av dossänkningstekniker.
ACRad Nr ACRad
36 Oavsiktlig kranskärlsförkalkning upptäckt på datortomografi av bröstkorgen
37 Tolkning av CT Pulmonell angiografi (CTPA) för lungemboli
38 Användning av lågdos-CT eller MR-undersökningar för patienter med ventrikulära shuntar
40 Användning av strukturerad rapportering i prostata MRI
41 Användning av kvantitativa kriterier för Oncologic FDG PET Imaging
42 Övervakningsbildteknik för levernoduler <10 mm hos patienter med risk för hepatocellulär cancer (HCC)
MSDN QCDR Nej MSN QCDR
MEDNAX55 Användning av ASPECTS (Alberta Stroke Program Early CT Score) vid datortomografi av huvudet utan kontrast för misstänkt akut stroke.
MSN13 Screening för bedömning av koronar kalcium för kardiovaskulär riskbedömning, inklusive bedömning av regional distribution av kranskärlsförkalkning
MSN15 Användning av Thyroid Imaging Reporting & Data System (TI-RADS) i slutrapport för att stratifiera risk för sköldkörtelknut
QMM26 Screening av abdominellt aortaaneurysmrapportering med rekommendationer
QMM17 Lämpliga uppföljningsrekommendationer för ovariella adnexala skador med hjälp av Ovarian-Adnexal Reporting and Data System (O-RADS)
QMM18 Användning av bröstcancer riskpoäng på mammografi
QMM19 DEXA/DXA och riskbedömning av frakturer för patienter med osteopeni

Bedömning och utvärdering

Riskbedömnings- och bedömningssystem används i medicinsk bildbehandling och diagnostik för att standardisera utvärdering och rapportering av resultat. Dessa system ger en strukturerad metod för att tolka bildstudier, bedöma risken för sjukdom och vägleda klinisk hantering. De riskbedömnings- och utvärderingssystem8 som implementeras visas i tabellen nedan.

Modellen visar och markerar risker, poängsättningar och utvärderingar med klassificeringar eller värden som radiologen dikterar i en radiologisk anteckning eller rapport.

I exemplet nedan identifierar modellen två slutsatsdragningar: ASCVD-risken (atherosklerotisk kardiovaskulär sjukdom) med värdet 17,6% och Agatston Score (mått som används för att kvantifiera mängden kalcium i kranskärlen) med värdet noll. Den 10-åriga ASCVD-riskpoängen (atherosklerotisk kardiovaskulär sjukdom) är en uppskattning av sannolikheten för att en person kommer att uppleva en kardiovaskulär händelse (som en hjärtattack eller stroke) inom de närmaste 10 åren. Denna poäng beräknas (inte av modellen) baserat på olika riskfaktorer, inklusive ålder, kolesterolnivåer, blodtryck, rökningsstatus, diabetes och andra. I det här fallet innebär en riskpoäng på 17,6% att det, baserat på personens riskfaktorer, finns en 17,6% chans att uppleva en kardiovaskulär händelse under de kommande 10 åren.

Skärmbild av ett radiologidokument med bedömning och utvärdering.

Riskpoäng och bedömning: Modellen identifierar två poäng- och bedömningsinstanser (blå), en av kategorin ASCVD-riskkategori med värdet 17,6% och en av kategorin Kalciumpoäng med värde 0.

Implementerade risk- eller bedömningskategorier i tabell

Risk- eller utvärderingskategori Värde/Klassificering Enhet
BIRADS 0, 1, 2, 3, 4, 4a, 4b, 4c, 5, 6
C-RADS Kolonfynd C0, C1, C2, C3, C4
C-RADS Extracolonic Resultat E0, E1, E2, E3, E4
CAD-RADS 0, 1, 2, 3, 4, 4a, 4b, 5, N
LI-RADS NC, 1, 2, 3, 4, 5, M, TIV
Visualiseringspoäng för USA LI-RADS A, B, C
Lung-RADS 0, 1, 2, 3, 4a, 4b, 4x, S, C
NI-RADS 0, 1, 2, 2a, 2b, 3, 4
O-RADS 0, 1, 2, 3, 4, 5
PI-RADS 0, 1, 2, 3, 4, 5
TI-RADS 0, 1, 2, 3, 4, 5
Kellgren-Lawrence betygsskala 0, 1, 2, 3, 4
Tonnis-klassificering 1, 2, 3, 4
Kalciumpoäng Numeriskt värde (vanligtvis mellan 1 och 1 000)
ASPEKTER (Alberta Stroke Program Early CT Score) 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10
Z-poäng -4 till 4
T-poäng -4 till 4
Livstids bröstcancerrisk Numeriskt 0–100 %
ASCVD-risk Numeriskt 0–100 %
Ändrad Gail-modellrisk Numeriskt 0–100 %
Risk för Tyrer Cusick-modell Numeriskt 0–100 %
10 års CHD-risk Numeriskt 0–100 %
Risk för malignitetsindex (RMI) Numerisk
HNPCC-mutationsrisk Numeriskt 0–100 %

Användningsfall

Hälso- och sjukvårdsorganisationer och radiologiteam måste ha insyn i trender och resultat som är specifika för radiologiska operationer och prestanda, med ständig uppmärksamhet på kvalitet. Radiology Insights-modellen extraherar värdefull information från radiologidokument för en radiolog.

Omfattningen för vart och ett av dessa användningsfall är alltid det aktuella dokument som radiologen dikterar. Det finns ingen bildanalys eller patientjournalinformation inblandad. Metadata ger administrativ kontext för den aktuella rapporten och är begränsad till patientålder, patientsex och det förfarande som beställdes. (till exempel: CT av buken, MRI i hjärnan,...)

Microsoft tillhandahåller den här funktionen som ett API med den modell som gör att informationen i omfånget kan identifieras eller extraheras. Kunden skulle införliva modellen i sin egen eller tredje parts radiologirapporteringsprogram och fastställa användargränssnittet för informationen. Kunder kan vara en ISV eller ett hälsosystem som utvecklar eller ändrar program för radiologirapportering för användning i hälsosystemet.

Därför kan kundernas specifika användningsfall och hur informationen skulle presenteras eller användas av en radiolog variera något från det som beskrivs, men beskrivningarna illustrerar det avsedda syftet med API-funktionen.

Användningsfall 1 – Identifiera felmatchningar: En radiolog får möjliga felmatchningar som identifieras av modellen mellan vad radiologen har dokumenterat i radiologirapporten och den information som fanns i rapportens metadata. Missmatchningar kan identifieras för kön, ålder och kroppsdelens sida. Matchningsfel identifierar potentiella skillnader mellan den dikterade texten och angivna metadata. De identifierar också potentiella inkonsekvenser i den dikterade/skrivna texten. Inkonsekvenser är begränsade till kön, ålder, lateralitet och typ av bildbehandling. Detta är bara för att göra det möjligt för radiologen att åtgärda eventuella inkonsekvenser under rapporteringen. Systemet känner inte till bilden som radiologen rapporterar om. Inte på något sätt ger denna modell någon klinisk bedömning av radiologens tolkning av bilden. Radiologen ansvarar för diagnos och behandling av patienten och rätt dokumentation om detta.

Användningsfall 2 – Tillhandahålla kliniska resultat: Modellen extraherar som strukturerade data två typer av kliniska fynd: kritiska resultat och användbara resultat. Endast kliniska fynd som uttryckligen dokumenteras i rapporten av radiologen extraheras av modellen. Kliniska fynd som produceras av modellen härleds inte från informationsdelar i rapporten eller från bilden. Dessa fungerar bara som en potentiell påminnelse för radiologen att kommunicera med leverantören. Modellen producerar två kategorier av kliniska fynd, Actionable Finding and Critical Result, och baseras på det kliniska fyndet, som uttryckligen anges i rapporten, och kriterier som formulerats av ACR (American College of Radiology). Modellen extraherar alltid alla resultat som uttryckligen dokumenteras av radiologen. De extraherade resultaten kan användas för att varna en radiolog om möjliga kliniska fynd som måste förmedlas tydligt och ageras i tid av en sjukvårdspersonal. Kunder kan också använda de extraherade resultaten för att fylla i underordnade eller relaterade system (till exempel EHR eller funktioner för automatisk schemaläggning).

Användningsfall 3 – Kommunicera uppföljningsrekommendationer: En radiolog upptäcker fynd som i vissa fall rekommenderas en uppföljning. Den dokumenterade rekommendationen extraheras och normaliseras av modellen för kommunikation till en sjukvårdspersonal (läkare). Uppföljningsrekommendationer genereras inte, härleds eller föreslås. Modellen extraherar bara uppföljningsrekommendationsuttalanden som uttryckligen dokumenteras av radiologen. Uppföljningsrekommendationer normaliseras genom kodning till SNOMED.

Användningsfall 4 – Rapporteringsmätningar: En radiolog dokumenterar kliniska fynd med mätningar. Modellen extraherar kliniskt relevant information som rör fyndet. Modellen extraherar mätningar som radiologen uttryckligen angav i rapporten. Modellen söker efter mätningar som redan har tagits och granskats av radiologen. Extrahera dessa mått från det relevanta textbaserade dokumentet och strukturerar dem. Extraherade och strukturerade mätdata kan användas för att se trender i mätningar för en viss patient över tid. En kund kan söka i en uppsättning patienter baserat på de mätdata som extraheras av modellen.

Användningsfall 5 – Rapporter om produktivitets- och nyckelkvalitetsmått: Radiology Insights-modellen extraherade information (information som extraheras i användningsfall 1 till 5) kan användas för att generera rapporter och supportanalyser för ett team av radiologer. Baserat på den extraherade informationen kan instrumentpaneler och retrospektiva analyser ge uppdateringar av produktivitets- och nyckelkvalitetsmått för att vägleda förbättringsarbete, minimera fel och förbättra rapportens kvalitet och konsekvens. RI-modellen skapar inte instrumentpaneler men levererar extraherad information, inte härledd, som en användare kan aggregera för forskning och administrativa ändamål. Modellen är tillståndslös.

Användningsfall 6 – Kvalitetsmått: Efterlevnad av ersättningskriterier i sjukvårdsprogram Scenario: En sjukvårdsorganisation måste se till att de nya ersättningsprogrammen efterlevs, till exempel det meritbaserade incitamentsbetalningssystemet (MIPS) som upprättats enligt MACRA-lagen. Organisationen måste uppfylla specifika prestandakriterier för att kvalificera sig för ersättningsincitament eller undvika påföljder. Lösning: Organisationen aggregerar lämpliga kvalitetsmåttkriterier från sina kliniska och administrativa data. Systemet automatiserar spårningen och rapporteringen av dessa kriterier och stöder efterlevnad av ersättningskrav, minskar manuell ansträngning och säkerställer korrekt rapportering till Medicare. RI-modellen skapar inte instrumentpaneler men levererar extraherad information, inte härledd, som en kund kan aggregera. Modellen är tillståndslös.

Användningsfall 7 – Bedömning och bedömning: Population Health Management via Radiology Insights Scenario: En vårdgivare strävar efter att förbättra hälsohanteringen för befolkningen genom att identifiera individer eller patientgrupper som behöver mer screening eller förebyggande tjänster. Organisationen vill extrahera värdefulla insikter från radiologirapporter för att förbättra patientresultaten. Lösning: Poäng och värden aggregeras sedan för att identifiera trender, upprätta baslinjer och flagga individer eller grupper som kan dra nytta av ytterligare screening eller förebyggande vård. Systemet hjälper kliniker att proaktivt hantera patientpopulationer, förbättra förebyggande vård samtidigt som sannolikheten för framtida komplikationer minskar.

Användningsfall 8 – Klinisk vägledning för radiologen Scenario: Radiologer behöver ofta referera till specifika kliniska riktlinjer när de dokumenterar resultaten i sina rapporter. Information som saknas eller är ofullständig kan dock fördröja åtkomsten till dessa riktlinjer och dess rekommendationer, vilket kan påverka rapporternas noggrannhet. Lösning: Radiology Insights visar automatiskt dokumenterade resultat i radiologirapporten som är relevanta för tillämpliga kliniska riktlinjer och dess kandidatrekommendationer. Om viktig information saknas, vilket kan påverka rekommendationsresultatet av en klinisk riktlinje, flaggar systemet dessa luckor. Detta proaktiva tillvägagångssätt säkerställer att radiologer har omedelbar tillgång till nödvändig information om riktlinjerna, vilket ökar noggrannheten och fullständigheten i deras rapporter.

Att tänka på när du väljer andra användningsfall

Radiology Insights är ett värdefullt verktyg för att extrahera kunskap från ostrukturerad medicinsk text och stödja arbetsflödet för radiologidokumentation. Men med tanke på hälsorelaterade datas känsliga karaktär är det viktigt att tänka igenom dina användningsfall noggrant. I samtliga fall bör en människa fatta beslut med hjälp av den information som systemet returnerar, och i samtliga fall bör du ha ett sätt att granska källdata och korrigera fel. Här följer några saker att tänka på när du väljer ett användningsfall:

  • Undvik scenarier som använder den här tjänsten som en medicinteknisk enhet, för att tillhandahålla kliniskt stöd eller som ett diagnostiskt verktyg som ska användas vid diagnos, botemedel, lindring, behandling eller förebyggande av sjukdomar eller andra tillstånd utan mänsklig inblandning. En kvalificerad läkare bör alltid utföra due diligence och verifiera källdata som kan påverka beslut om patientvård och fatta beslut.

  • Undvik scenarier som rör att automatiskt bevilja eller neka medicinska tjänster eller sjukförsäkringar utan mänsklig inblandning. Eftersom beslut som påverkar täckningsnivåer påverkas bör källdata alltid verifieras i dessa scenarier.

  • Undvik scenarier som använder personlig hälsoinformation i ett syfte som inte tillåts av patientens medgivande eller tillämplig lag. Hälsoinformation har särskilt skydd för sekretess och medgivande. Se till att alla data som du använder har patientmedgivande för hur du använder data i systemet eller att du på annat sätt är kompatibel med tillämplig lag när det gäller användning av hälsoinformation.

  • Överväg noggrant att använda identifierade slutsatsdragningar för att uppdatera patientjournaler utan mänsklig inblandning. Se till att det alltid finns ett sätt att rapportera, spåra och korrigera eventuella fel för att undvika att sprida felaktiga data till andra system. Se till att alla uppdateringar av patientjournaler granskas och godkänns av kvalificerade proffs.

  • Överväg noggrant att använda identifierade slutsatsdragningar i patientfakturering utan mänsklig inblandning. Se till att leverantörer och patienter alltid har ett sätt att rapportera, spåra och korrigera data som genererar felaktig fakturering.

Begränsningar

De specifika egenskaperna hos det inmatade radiologidokumentet är avgörande för att få användbara och exakta utdata från RI-modellen. Några av de objekt som spelar en viktig roll i detta är:

  • Språk: För närvarande är RI-funktioner endast aktiverade för engelsk text.
  • Okända ord: radiologidokument innehåller ibland okända förkortningar/ord eller homonymer eller stavfel ur kontext.
  • Indatametadata: RI förväntar sig för vissa typer av slutsatser att indatainformation är tillgänglig i dokumentet eller i dokumentets metadatan.
  • Mallar och formatering: RI utvecklas med hjälp av en verklig, representativ uppsättning dokument, men det är möjligt att specifika användningsfall och/eller dokumentmallar kan orsaka utmaningar för RI-logiken att vara korrekt. Kapslade tabeller eller komplicerade strukturer kan till exempel orsaka suboptimal parsning.
  • Ordförråd och beskrivningar: RI utvecklas och testas på verkliga dokument. Naturligt språk är dock omfattande och beskrivningen av vissa kliniska fakta kan variera över tid, vilket kan påverka logikens utdata.

Systemprestanda

Systemets prestanda utvärderas genom att beräkna statistik baserat på sanna positiva, sanna negativa, falska positiva och falska negativa fall. För att kunna göra det måste en representativ uppsättning dokument skapas, så småningom kommenterade med de förväntade resultat. Utdata från RI kan jämföras med önskade utdata för att fastställa noggrannhetsnumren.

De främsta orsakerna till att Radiology Insights utlöser falska positiva/falska negativa utdata är:

  • Indatadokument som inte innehåller all nödvändig metainformation
  • Indatadokumentformat och formatering (avsnittsrubriker, skiljetecken, ...)
  • Text som inte är engelsk (delvis)
  • Okända ord (förkortningar, felstavningar, ...)
  • Problem med att parsa komplex formatering (kapslade tabeller, ...)

Utvärdering av Radiology Insights

Utvärderingsmetoder

Radiologisk insiktslogik utvecklas och utvärderas med hjälp av en stor uppsättning verkliga kliniska radiologidokument. En träningsuppsättning på över 5 000 dokument som kommenterats av mänskliga experter och används för att implementera och förfina logiken som utlöser RI-slutsatsdragningarna. En del av denna uppsättning samplas slumpmässigt från en corpus som tillhandahålls av ett amerikanskt medicinskt centrum och fokuserar främst på vuxna patienter.

Uppsättningen som används ger nästan lika representation av usa-baserade manliga och kvinnliga patienter och tillräcklig representation av varje åldersgrupp. Det bör noteras att ingen ytterligare analys av representativiteten för träningsdata (till exempel geografisk, demografisk eller etnografisk representation) görs eftersom data inte innehåller den typen av metadata. Träningsuppsättningen och andra utvärderingsuppsättningar som används är konstruerade så att alla typer av slutsatsdragningar finns för olika typer av patientegenskaper (ålder, kön). Logikens noggrannhet eller regression testas med hjälp av enhets- och funktionstester som täcker hela logikomfånget. Generalisering av RI-modeller utvärderas med hjälp av utelsutna uppsättningar av dokument som delar samma egenskaper som träningssatsen.

Riktade lägsta prestandanivåer för varje slutsatsdragning i hela populationen utvärderas, spåras och granskas med ämnesexperter. Alla underliggande NLP- och NLU-kärnkomponenter kontrolleras och granskas separat med hjälp av specifika testuppsättningar.

Utvärderingsresultat

Utvärderingsmått som används är precision, träffsäkerhet och f1-poäng när manuella gyllene sanningsanteckningar från mänskliga experter finns. Regressionstestning görs via avvikelseanalys och feedbackcykler för mänsklig expert.

Utvärderingen av osedda uppsättningar och träningsuppsättningar med radiologidokument visar att Radiology Insights uppnår stark och konsekvent prestanda för datauppsättningar som har annoterats för alla Radiology Insights-annoteringar.

Utbildningsuppsättningarna, totalt över 15 000 dokument, innehåller omfattande anteckningar. De valdes ut av medicinska experter för alla områden som fynd, kritiska resultat, kommunikation, mismatcher, rekommendationer, poängsättning och bedömning, och klinisk vägledning. Dessa uppsättningar ger en solid grund för modellens funktioner genom att täcka olika användningsfall.

De osynliga uppsättningarna, totalt mer än 6 000 dokument, fungerar som ett rigoröst test för generaliserbarhet, vilket bekräftar att modellen presterar även på data som den inte har stött på under träningen.

Sammanfattningsvis, även om utvärderingen visar stark och konsekvent prestanda i både sedda och osedda uppsättningar, förblir kontinuerlig validering och utforskning av fler scenarier, inklusive gränsfall och oprövade förhållanden, avgörande och pågår för att säkerställa omfattande täckning och bestående kvalitet i verkliga applikationer.

Utvärdera och integrera Radiology Insights för din användning

När du förbereder dig för att distribuera Radiology Insights, hjälper följande aktiviteter dig att skapa en grund för framgång:

  • Förstå vad den kan göra: Utvärdera funktionerna i RI fullt ut för att förstå dess funktioner och begränsningar. Förstå hur det fungerar i ditt scenario och din kontext.

  • Testa med verkliga, olika data: Förstå RI hur presterar i ditt scenario genom att noggrant testa det med hjälp av verkliga förhållanden och data som återspeglar mångfalden i dina användare, geografi och distributionskontexter. Små datamängder, syntetiska data och tester som inte återspeglar ditt scenario från slutpunkt till slutpunkt kommer sannolikt inte att representera produktionsprestanda tillräckligt.

  • Respektera en individs rätt till integritet: Samla endast in eller använda data och information från individer för lagliga och berättigade ändamål. Använd endast de data och den information som du har samtyckt till att använda eller som är lagligt tillåtna att använda.

  • Juridisk granskning: Få lämplig juridisk granskning av din lösning, särskilt om du använder den i känsliga program eller högriskprogram. Förstå vilka begränsningar du kan behöva arbeta inom och eventuella risker som måste minimeras före användning. Det är ditt ansvar att minska sådana risker och lösa eventuella problem som kan uppstå.

  • Systemgranskning: Om du planerar att integrera och på ett ansvarsfullt sätt använda en AI-baserad produkt eller funktion i ett befintligt system för program- eller kund- eller organisationsprocesser kan du ta dig tid att förstå hur varje del av systemet påverkas. Fundera på hur din AI-lösning överensstämmer med Microsofts principer för ansvarsfull AI.

  • Mänsklig övervakning: Håll en människa involverad och inkludera mänsklig tillsyn som ett konsekvent område att utforska. Det innebär konstant mänsklig tillsyn över den AI-drivna produkten eller funktionen och att se till att människor fattar beslut som baseras på modellens utdata. För att förhindra skador och hantera hur AI-modellen presterar ser du till att människor har ett sätt att ingripa i lösningen i realtid.

  • Säkerhet: Se till att din lösning är säker och att den har tillräckliga kontroller för att bevara innehållets integritet och förhindra obehörig åtkomst.

  • Loop för kundfeedback: Ge en feedbackkanal som användare och enskilda användare kan använda för att rapportera problem med tjänsten efter distributionen. När du har distribuerat en AI-baserad produkt eller funktion kräver den kontinuerlig övervakning och förbättring. Ha en plan och var redo att implementera feedback och förslag på förbättringar.

Referenser

  1. American College of Radiology. "ACR-lämplighetskriterier." American College of Radiology, n.d. Web. den 29 januari 2025. https://www.acr.org/Clinical-Resources/Clinical-Tools-and-Reference/Appropriateness-Criteria
  2. American College of Radiology. Oavsiktliga Fynd. American College of Radiology, n.d. Web. den 29 januari 2025. https://www.acr.org/Clinical-Resources/Clinical-Tools-and-Reference/Incidental-Findings
  3. American College of Radiology. "Rapporterings- och datasystem (RADS)." American College of Radiology, n.d. Web. den 29 januari 2025. https://www.acr.org/Clinical-Resources/Clinical-Tools-and-Reference/Reporting-and-Data-Systems
  4. Amerikanska föreningen för traumakirurgi. "Bedömningsskala för skador." American Association for the Surgery of Trauma, n.d. Web. den 29 januari 2025. https://www.aast.org/resources-detail/injury-scoring-scale
  5. MacMahon H, Naidich D, Goo J och andra. Riktlinjer för hantering av incidental pulmonell nod som upptäckts på CT-bilder: Från Fleischner Society 2017. Radiologi. 2017; 284(1):228-43. doi:10.1148/radiol.2017161659 - Pubmed
  6. Tessler, Franklin N., och andra. "ACR Sköldkörtelavbildning, rapportering och datasystem (TI-RADS): Vitbok från ACR:s TI-RADS-kommitté." Tidsskrift för American College of Radiology, 2017.
  7. MIPS-kvalificerat kliniskt dataregister | American College of Radiology
  8. Referenser till systemresurser för riskbedömning och utvärdering
    a. Risk för malignitetsindex i äggstockstumörer | Referensartikel för radiologi | Radiopaedia.org
    b) BI-RADS, C-RADS, CAD-RADS, LI-RADS, Lung-RADS, NI-RADS, O-RADS, PI-RADS, TI-RADS: Rapport- och datasystem - PubMed