Najťažšie sa hľadá chyba, ktorú nevidno: keď v prepise niečo chýba

Keď sme začali testovať prepis na slovenských ambulantných rozhovoroch, veľkú časť chýb sme vedeli predvídať. Všeobecný model rozpoznávania reči nepozná každý slovenský odborný výraz. Názvy liekov niekedy prepíše foneticky, občas zle pochopí číslo a menej bežné slovo nahradí niečím, čo mu znie podobne.

Takéto chyby sú nepríjemné, ale majú jednu výhodu: dajú sa nájsť. Veta so skomoleným slovom väčšinou nedáva zmysel a pozorný čitateľ si ju všimne. Postupne sme však narazili aj na dva typy chýb, ktoré sú menej intuitívne.

Keď AI napíše, čo nikto nepovedal

Mnohé modely na rozpoznávanie reči sa učia na obrovskom množstve nahrávok z internetu spolu s ich prepismi a titulkami. Občas je to na výsledku vidieť. V tichu alebo pri nejasnom zvuku vie model vytvoriť frázu typickú pre internetové videá, ktorú v ambulancii nikto nevyslovil. Tomuto javu sa hovorí halucinácia.

Niektoré takéto frázy sa opakujú a sú dosť charakteristické na to, aby ich systém vedel rozpoznať a z prepisu odstrániť.

Keď AI časť rozhovoru vynechá

Oveľa horší je opačný prípad. Človek hovorí, zvuk v nahrávke je, ale v prepise po ňom neostane nič.

Predstavme si vetu „Pacient udáva palpitácie najmä večer.“ Ak ju model skomolí, pri čítaní to často vidno. Ak ju však vynechá celú, text pred ňou aj za ňou pokračuje plynulo a zmysluplne. Nič nebliká na červeno a systém nehlási žiadnu chybu. Len niekoľko sekúnd rozhovoru zmizlo.

Pri zdravotnej dokumentácii je to vážne. Chýbať môže práve príznak, liek alebo nameraná hodnota. Preto sme prestali hodnotiť kvalitu prepisu len podľa toho, koľko slov je napísaných správne. Rovnako dôležitá je pre nás otázka, či sa do prepisu vôbec dostalo všetko, čo bolo povedané.

Väčšie neznamená automaticky lepšie

Intuitívna odpoveď na chyby modelu znie: použime väčší alebo presnejší. Aj túto cestu sme skúšali. Ukázalo sa, že variant, ktorý na papieri vyzerá lepšie, môže inde pridať nový problém, napríklad vynechať inú časť rozhovoru alebo pokaziť nadiktované hodnoty. Model preto nevyberáme podľa jedného čísla, ale podľa toho, ako sa správa na nahrávkach, ktoré sa podobajú na skutočnú ambulanciu.

Čo s tým robíme

Vynechanú reč nemožno opraviť, kým o nej nevieme. Preto sme sa najprv naučili stratu reči merať: koľko z toho, čo zaznelo, sa v prepise naozaj objavilo, a čo sa pri každej zmene zlepšilo alebo zhoršilo.

Na tomto základe sme do spracovania pridali ochranné kroky, ktoré takéto miesta hľadajú a snažia sa ich zachrániť. Pre každú zmenu platí rovnaké pravidlo: musí stratu zmenšiť a nesmie pritom pridať novú chybu inde.

Úplne odstrániť sa to zatiaľ nedá a netvrdíme opak. Preto platí jednoduché odporúčanie: prepis aj návrh dekurzu pred podpisom vždy porovnajte s tým, čo v ambulancii naozaj zaznelo.

Čo to znamená pre prax

Pri kontrole prepisu a dekurzu sa oplatí venovať pozornosť hlavne miestam, kde by chyba bola najdrahšia: lieky a dávky, nadiktované hodnoty, varovné príznaky a diagnóza. Ak viete, že ste niečo také nadiktovali, overte, či to v texte naozaj je.

A keď si všimnete, že v prepise niečo chýba, dajte nám vedieť. Každý taký prípad nám pomáha hľadať ďalšie situácie, v ktorých sa reč stráca.

V ďalšej časti sa pozrieme na to, ako systém zlepšujeme a prečo pri tom potrebujeme lekárov z praxe.