Kliniske tekstalgoritmer performer markant forskelligt afhængigt af, hvor i kroppen en medicinsk tilstand optræder — med sensitivitetsfald på op til 89 procentpoint.
Kliniske sprogmodeller har vist lovende resultater til automatisk klassifikation af medicinske tilstande i journaltekst. Men hvor godt fungerer modellerne på tværs af forskellige anatomiske lokationer? I dette studie undersøger vi anatomisk bias — det vil sige systematisk dårligere algoritmisk performance for patienter med tilstande i bestemte anatomiske lokationer.
Vi testede to deep learning-modeller (en transformer-baseret ELECTRA-model og en LSTM-model) på to klassifikationsopgaver: detektion af blødning og venøs tromboemboli (VTE) i danske journaltekster fra Odense Universitetshospital. Når en anatomisk lokation blev fjernet fra træningssættet, faldt sensitiviteten dramatisk — op til 36 procentpoint for blødning og 89 procentpoint for VTE.
Analysen viser, at de ord der bruges til at beskrive samme medicinske tilstand varierer markant mellem anatomiske lokationer. For eksempel bruges “epistaxis” kun ved næseblødninger, mens “hæmaturi” kun optræder ved urogenitale blødninger. Denne sproglige variation er en central årsag til den anatomiske bias.
Studiet understreger vigtigheden af omhyggelig datakuration ved udvikling af kliniske NLP-algoritmer. Datasæt bør konstrueres med en kendt fordeling af anatomiske lokationer for at kunne måle og forebygge bias mod specifikke patientgrupper.