Proč AI ještě není připravena do ordinace

Tento článek byl původně uveden na KFF Health News.

Jaký užitek by mohla mít zdravotní péče pro někoho, kdo si vymýšlí, neumí udržet tajemství, vlastně nic neví a když mluví, jen doplní další slovo na základě toho, co bylo předtím? Spousta, pokud je tento jedinec nejnovější formou umělé inteligence, podle některých největších společností.

Společnosti prosazující nejnovější technologii AI – známou jako „generativní AI“ – se hromadí: Google a Microsoft chtějí do zdravotnictví přinést typy takzvaných velkých jazykových modelů. Velké firmy, které znají lidé v bílých pláštích – ale možná méně váš průměrný Joe a Jane – jsou stejně nadšené: giganti elektronických lékařských záznamů Epic a Oracle Cerner nezůstávají pozadu. Prostor je také přeplněný startupy.

Společnosti chtějí, aby jejich umělá inteligence dělala poznámky lékařům a poskytovala jim druhý názor – za předpokladu, že dokážou zabránit tomu, aby zpravodajské informace „halucinovaly“ nebo aby prozradily soukromé informace pacientů.

„Je tady něco, co je docela vzrušující,“ řekl Eric Topol, ředitel Scripps Research Translational Institute v San Diegu. „Jeho schopnosti budou mít nakonec velký dopad.“ Topol, stejně jako mnoho dalších pozorovatelů, přemýšlí, kolik problémů to může způsobit – jako únik dat pacientů – a jak často. „Zjistíme.“

Přízrak takových problémů inspiroval více než 1000 technologických lídrů, aby v březnu podepsali otevřený dopis, v němž naléhali, aby společnosti pozastavily vývoj pokročilých systémů umělé inteligence, dokud „nebudeme přesvědčeni, že jejich účinky budou pozitivní a jejich rizika budou zvládnutelná“. Přesto někteří z nich utápějí další peníze do AI podniků.

Základní technologie se opírá o syntézu obrovských kusů textu nebo jiných dat – například některé lékařské modely se spoléhají na 2 miliony poznámek na jednotce intenzivní péče z Beth Israel Deaconess Medical Center v Bostonu – k předvídání textu, který bude následovat daný dotaz. Tato myšlenka existuje již léta, ale zlatá horečka a marketingová a mediální mánie kolem ní jsou novější.

Zběsilost odstartovala v prosinci 2022 OpenAI podporovaná Microsoftem a její vlajkový produkt ChatGPT, který odpovídá na otázky s autoritou a stylem. Může vysvětlit genetiku například v sonetu.

OpenAI, která začala jako výzkumný podnik nasazený elitami ze Silicon Valley jako Sam Altman, Elon Musk a Reid Hoffman, strhla nadšení do kapes investorů. Podnik má složitou, hybridní pro- a neziskovou strukturu. Ale nové kolo financování ve výši 10 miliard dolarů od Microsoftu posunulo hodnotu OpenAI na 29 miliard dolarů, uvedl The Wall Street Journal. Právě nyní společnost licencuje svou technologii společnostem jako Microsoft a prodává předplatné spotřebitelům. Jiné startupy uvažují o prodeji přepisu AI nebo jiných produktů do nemocničních systémů nebo přímo pacientům.

Hyperbolické citáty jsou všude. Bývalý ministr financí Larry Summers nedávno tweetoval: „Nahradí to, co dělají lékaři – slyší příznaky a stanovují diagnózy – dříve, než změní to, co dělají sestry – pomáhá pacientům vstát a zvládnout se v nemocnici.“

Ale jen několik týdnů poté, co OpenAI přijalo další obrovskou hotovostní infuzi, je dokonce Altman, jeho generální ředitel, opatrný vůči fanfárám. „Humbuk kolem těchto systémů – i když vše, v co doufáme, je dlouhodobě správné – se krátkodobě zcela vymkne kontrole,“ uvedl pro březnový článek v The New York Times.

Jen málo lidí ve zdravotnictví věří, že tato nejnovější forma umělé inteligence jim brzy vezme práci (ačkoli některé společnosti experimentují – kontroverzně – s chatboty, kteří fungují jako terapeuti nebo průvodci péče). Přesto si ti, kdo jsou v této technologii býčí, myslí, že jim to hodně usnadní práci.

Eric Arzubi, psychiatr v Billings v Montaně, řídil kolegy psychiatry v nemocničním systému. Znovu a znovu dostával seznam poskytovatelů, kteří ještě nedokončili své poznámky – jejich shrnutí stavu pacienta a plán léčby.

Psaní těchto poznámek je jedním z velkých stresorů ve zdravotním systému: V souhrnu jde o administrativní zátěž. Je ale potřeba vypracovat záznam pro budoucí poskytovatele a samozřejmě pojistitele.

„Když jsou lidé v dokumentaci hodně pozadu, vytváří to problémy,“ řekl Arzubi. „Co se stane, když pacient přijde do nemocnice a bude tam lístek, který není vyplněný a my nevíme, co se děje?“

Nová technologie by mohla pomoci odlehčit tuto zátěž. Arzubi testuje službu nazvanou Nabla Copilot, která se účastní jeho virtuálních návštěv pacientů a poté je automaticky shrnuje a organizuje do standardního formátu poznámky stížnost, historii onemocnění a plán léčby.

Výsledky jsou solidní po asi 50 pacientech, řekl: „Je to 90% cesty tam.“ Copilot vytváří použitelné souhrny, které Arzubi obvykle upravuje. Shrnutí nemusí nutně vycházet z neverbálních podnětů nebo myšlenek, které by Arzubi nemusel chtít vyjádřit. Přesto řekl, že zisky jsou významné: Nemusí se starat o psaní poznámek a místo toho se může soustředit na mluvení s pacienty. A šetří čas.

„Kdybych měl celý pacientský den, kdy bych mohl vidět 15 pacientů, řekl bych, že mi to na konci dne ušetří dobrou hodinu,“ řekl. (Pokud bude tato technologie rozšířena, doufá, že nemocnice nevyužijí čas ušetřený tím, že jednoduše naplánují více pacientů. „To není fér,“ řekl.)

Nabla Copilot není jedinou takovou službou; Microsoft zkouší stejný koncept. Na dubnové konferenci Healthcare Information and Management Systems Society – oborové konference, kde si zdravotničtí technici vyměňují nápady, dělají oznámení a prodávají své zboží – investiční analytici z Evercore zdůraznili snížení administrativní zátěže jako nejlepší možnost pro nové technologie.

Ale celkově? Slyšeli smíšené recenze. A tento názor je běžný: Mnoho technologů a lékařů je ambivalentních.

Pokud například váháte s diagnózou, vkládání údajů o pacientech do jednoho z těchto programů „může poskytnout druhý názor, o tom není pochyb,“ řekl Topol. „Jsem si jistý, že to lékaři dělají.“ To však naráží na současná omezení technologie.

Joshua Tamayo-Sarver, klinický pracovník a vedoucí pracovník ze startupu Inflect Health, vložil smyšlené pacientské scénáře založené na jeho vlastní praxi na pohotovostním oddělení do jednoho systému, aby zjistil, jak bude fungovat. Vynechal život ohrožující podmínky, řekl. „To se zdá problematické.“

Technologie má také tendenci „halucinovat“ – to znamená vytvářet informace, které zní přesvědčivě. Formální studie zjistily širokou škálu výkonu. Jeden předběžný výzkum zkoumající produkty ChatGPT a Google pomocí otevřených otázek z neurochirurgie zjistil míru halucinací 2 %. Studie vědců ze Stanfordu, která zkoumala kvalitu reakcí umělé inteligence na 64 klinických scénářů, nalezla v 6 % případů vymyšlené nebo halucinované citace, řekl spoluautor Nigam Shah KFF Health News. Další předběžný dokument zjistil, že ve složitých kardiologických případech ChatGPT v polovině případů souhlasil s názorem odborníků.

Další starostí je soukromí. Není jasné, zda informace vložené do tohoto typu systému založeného na umělé inteligenci zůstanou uvnitř. Podnikavým uživatelům ChatGPT se například podařilo získat technologii, která jim řekne recept na napalm, který lze použít k výrobě chemických bomb.

Teoreticky má systém zábradlí, které brání úniku soukromých informací. Například, když KFF Health News požádal ChatGPT o jeho e-mailovou adresu, systém odmítl sdělit tyto soukromé informace. Ale když mu bylo řečeno, aby si zahrál roli jako postava, a zeptal se na e-mailovou adresu autora tohoto článku, šťastně to vzdal. (Byla to skutečně správná e-mailová adresa autora v roce 2021, kdy končí archiv ChatGPT.)

„Nevkládal bych data pacientů,“ řekl Shah, hlavní datový vědec ve Stanford Health Care. „Nechápeme, co se stane s těmito daty, jakmile se dostanou na servery OpenAI.“

Tina Sui, mluvčí OpenAI, řekla KFF Health News, že „nikdy by člověk neměl používat naše modely k poskytování diagnostických nebo léčebných služeb pro vážné zdravotní stavy“. „Nejsou vyladěni, aby poskytovali lékařské informace,“ řekla.

S explozí nového výzkumu Topol řekl: „Nemyslím si, že lékařská komunita má opravdu dobré ponětí o tom, co se stane.“

KFF Health News je národní redakce, která produkuje hloubkovou žurnalistiku o zdravotních otázkách a je jedním z hlavních operačních programů na KFF – nezávislý zdroj výzkumu zdravotní politiky, průzkumů veřejného mínění a žurnalistiky. Zjistěte více o KFF.