Vi har udviklet MeDa-BERT — en dansk BERT-baseret sprogmodel prætrænet på 134 millioner tokens medicinsk dansk tekst. Modellen overgår generelle sprogmodeller på kliniske klassifikationsopgaver og er frit tilgængelig.
Store sprogmodeller er kernen i moderne NLP-systemer, men modeller trænet på generel tekst performer ofte dårligere i specialiserede domæner som det medicinske. For det danske sprog har der hidtil kun været offentligt tilgængelige sprogmodeller trænet på generelle tekstkilder. Med MeDa-BERT præsenterer vi den første offentligt tilgængelige danske medicinske sprogmodel.
Vi har opbygget et nyt dansk medicinsk tekstkorpus bestående af 134 millioner tokens indsamlet fra kliniske retningslinjer fra alle fem danske regioner, medicinske opslagsværker (Medicin.dk, Sundhed.dk, Netdoktor.dk), 107 medicinske bøger fra FADLs Forlag samt medicinske Wikipedia-artikler. Med udgangspunkt i en eksisterende dansk BERT-model har vi foretaget domæne-adaptiv prætræning på dette korpus.
MeDa-BERT blev evalueret på fire kliniske klassifikationsopgaver baseret på journaltekst fra Odense Universitetshospital: binær blødningsklassifikation, blødningslokalisation (10 klasser), binær VTE-klassifikation og VTE-lokalisation (3 klasser). MeDa-BERT overgik den generelle BERT-model på tre af fire opgaver med en gennemsnitlig forbedring på 1,2 procentpoint. Den største forbedring sås ved blødningslokalisation med 2,4 procentpoint. De medicinske word embeddings viste endnu mere markante forbedringer — i gennemsnit 8,9 procentpoint bedre end generelle embeddings.
Både MeDa-BERT og de medicinske word embeddings er frit tilgængelige via HuggingFace og kan bruges som grundlag for kliniske NLP-opgaver på dansk.