Ako učíme AMBULANCIA.AI rozumieť slovenskej ambulantnej reči

Keď sme zistili, že prepis dokáže potichu vynechať časť rozhovoru, mali sme dve možnosti. Mohli sme skúšať ďalšie a ďalšie technológie a dúfať, že niektorá sa bude správať lepšie. Alebo sme mohli presne zistiť, kde reč strácame, prečo ju strácame a či sa to dá zmerať. Vybrali sme si druhú cestu.

Výsledkom nie je jedna zázračná oprava, ale niekoľko vrstiev, ktoré sa navzájom dopĺňajú. Niektoré pracujú so zvukom, iné s textom, a každá rieši iný druh chyby.

Predvolené nastavenie nestačí

Jedno poučenie sa nám potvrdilo opakovane: nastavenie, ktoré funguje v návode alebo na čistej nahrávke, nemusí fungovať v ambulancii. Pri jednej úprave sme s predvoleným nastavením na hlučnejšej testovacej nahrávke prišli takmer o polovicu rozhovoru. Technicky pritom všetko „fungovalo“. Až keď sme nastavenie systematicky premerali, našli sme také, ktoré na testovacích nahrávkach stratu reči výrazne znížilo a nepridalo novú.

Keby sme zmenu len zapli a skontrolovali, či softvér beží, výsledok by bol nepoužiteľný. Preto každú zmenu najprv meriame a až potom nasadzujeme.

Testovacia sada nie je ambulancia

Veľkú časť zmien overujeme na testovacích nahrávkach, ktoré presne poznáme. Vieme, čo v nich zaznelo, a teda aj to, čo v prepise chýba. To je nevyhnutný základ, no nestačí.

Preto zmeny skúšame aj na nahrávkach z reálneho mikrofónu z našej testovacej prevádzky. Výsledky tam bývajú menej dokonalé, a práve preto sú užitočnejšie. Pri spomínanej úprave sa strata reči na takých nahrávkach výrazne zmenšila, no nezmizla úplne. Takú odpoveď považujeme za poctivejšiu než vetu „problém sme vyriešili“.

Na čo sa pri meraní pozeráme

Pri každej zmene sledujeme tri otázky. Dostalo sa do prepisu všetko, čo zaznelo? Sú slová napísané správne? A sedia nadiktované hodnoty, napríklad tlak či teplota? Zmenu porovnávame s predchádzajúcim stavom na tých istých nahrávkach a meranie opakujeme, pretože umelá inteligencia nedáva zakaždým úplne rovnaký výsledok. Jeden úspešný pokus pre nás ešte nie je dôkaz.

Slovenčina z ambulancie je iná než z učebnice

Reč v ambulancii je zložitá. Lekár vyslovuje názvy liekov, diktuje dávkovanie, čísla, hodnoty tlaku a skratky. Pacient hovorí prirodzene, niekedy nesúvisle, skáče do reči a opravuje sa. A do toho vstupuje samotná slovenčina: rôzna výslovnosť, tempo aj miestne slová.

Bratislava nie je Orava a Zemplín nie je Záhorie. Ak má systém slúžiť slovenským ambulanciám, nestačí mu jedna dokonale nahratá vzorka v tichej miestnosti. Musí sa postupne stretávať s realitou, v ktorej lekári naozaj pracujú.

Tu vstupujú do vývoja ambasádori

Pripravovaný Ambasádorský program pre nás nie je len spôsob, ako dostať zariadenie k prvým používateľom. Je to zdroj situácií, ktoré v laboratóriu nedokážeme vierohodne nasimulovať. Iný odbor používa inú terminológiu, iná ambulancia má iné podmienky a iný lekár hovorí iným tempom.

Ambasádori nám budú ukazovať, ako má vyzerať dobrý dekurz v ich odbore, budú kontrolovať výstupy pri bežnej práci a hovoriť nám, kde systém zlyháva. Tieto zistenia potom zmeriame a premietneme do ďalšieho vývoja.

Netvrdíme, že sme rozpoznávanie slovenskej medicínskej reči vyriešili. Nevyriešili. Máme však čoraz presnejší obraz o tom, kde systém zlyháva, a postupne budujeme vrstvy, ktoré tieto zlyhania obmedzujú. Veta „prepis sme zlepšili“ znie v reklame lepšie. Pre lekára, ktorý sa na výsledok spolieha, je však užitočnejšia veta „stratu reči sme zmerali a výrazne zmenšili“.