Duboko učenje za automatsku segmentaciju CT i MRI slika kardiovaskularnog sustava — koliko smo blizu (daleko) primjeni u kliničkoj praksi?

Autorica: Marija Habijan

Kao što je moj lab-mate Marin Benčević s Osječkog FERIT-a napisao u fenomenalnom članku o automatskom mjerenju volumena epikardijalne masti, kardiovaskularne bolesti predstavljaju ozbiljnu prijetnju ljudskom zdravlju. Prema posljednjim dostupnim statistikama Svjetske zdravstvene organizacije, kardiovaskularne bolesti čine oko 17,7 milijuna ili 31% svih smrtnih slučajeva u svijetu [1]. Uz mjerenje volumena epikardijalne masti, postoji niz drugih funkcionalnih indikatora koji pravovremeno mogu ukazati i upozoriti na postojanje i razvoj kardiovaskularnih bolesti. Primjerice, volumen lijeve i desne klijetke neophodni su za računanje frakcije izbacivanja, čije odstupanje jasno ukazuje na postojanje srčanih problema.

Kako bismo mogli računati takve podatke, prvo je potrebno izdvojiti cijelo srce ili pojedine srčane strukture iz CT ili MRI snimki. Jedan od postupaka koji nam to omogućuje je semantička segmentacija. Općenito, semantička segmentacija je postupak pridjeljivanja semantičke oznake svakom dijelu slike. Oznake koje se pridjeljuju predstavljaju kategorije ili razrede kojima pripadaju označeni predmeti ili dijelovi slike. Primjerice, ako želimo segmentirati pojedine srčane strukture — lijevu klijetku, desnu klijetku, lijevu pretklijetku, desnu pretklijetku, miokard, plućnu arteriju i aortu, imat ćemo sedam različitih oznaka. Isto tako možemo segmentirati i cijelo srce (jedna oznaka za sve srčane strukture). Kada imamo takve segmentacije, možemo ih vizualizirati i tako omogućiti jednostavniji i detaljniji uvid u kardiovaskularno zdravlje što značajno pomaže liječnicima prilikom postavljanja rane dijagnoze kardiovaskularnih bolesti, preoperativno planiranje kao i intraoperativno liječenje. Sve navedeno u konačnici dovodi do poboljšanja kvalitete ljudskoga života.

Slika 1. Gore (s lijeva na desno): jedan 2D presjek volumetrijske CT slike iz 3 različita pogleda, aksijalni pogled, sagitalni pogled i koronalni pogled. Dolje (s lijeva na desno): jedan 2D presjek volumetrijske MRI slike iz 3 različita pogleda, aksijalni pogled, sagitalni pogled i koronalni pogled

Srce i srčane strukture na CT i MRI slikama

Ljudsko srce je mišićni organ veličine šake, smješteno u sredini prsnog koša, s malim pomakom ulijevo. Sastoji se od četiri osnovne komore: dvije pretklijetke i dvije klijetke. Uz primarnu zadaću pumpanja krvi kroz ljudski krvožilni sustav i opskrbu stanica kisikom i hranjivim tvarima, srce i krvožilni sustav imaju nezamjenjivu ulogu u preuzimanju suvišnih i štetnih tvari iz tijela. Različite tehnologije medicinskog snimanja, poput računalne tomografije (CT) i magnetske rezonance (MRI), razvijene su kako bi se omogućio detaljan uvid u strukture unutar tijela. Kod snimanja CT uređajem, slika nastaje kombiniranjem višestrukih rendgenskih zraka, tijekom kojih dolazi do izloženosti pacijenta zračenju. MRI uređaji koriste magnetska polja i radio valove što ih čini manje invazivnom tehnikom snimanja od CT-a. Slike kardiovaskularnog sustava dobivene CT i MRI uređajima teško su interpretabilni zbog velikih odstupanja intenziteta nastalih zbog izrazito dinamičkih svojstava srca i srčanog mišića. Kako bi se tako dobiveni podaci mogli dalje obrađivati (npr. izdvajanje pojedinih dijelova i 3D vizualizacija) koriste se različiti algoritmi iz područja obrade slike, računalnog vida i umjetne inteligencije.

Slika 2. Osnovne tematske cjeline projekta IMAGINEHEART i ilustrativni primjeri rezultata razvijenih računalnih algoritama za kardiovaskularnu obradu slika.

Projekt „Metode za interpretaciju medicinskih snimki za detaljnu analizu zdravlja srca” — IMAGINEHEART

Kako bi se razvili novi, ali i poboljšali postojeći algoritmi iz područja dubokog učenja za obradu slika kardiovaskularnog sustava, na FERIT-u u Osijeku se provodi Uspostavno-istraživački projekt Hrvatske zaklade za znanost „Metode za interpretaciju medicinskih snimki za detaljnu analizu zdravlja srca” voditeljice izv.prof.dr.sc. Irene Galić. Unutar projekta provodi se računalno rješavanje specifičnih kardiovaskularnih problema kako bi se dobila cjelovita slika kardiovaskularnog zdravlja pojedinca. Primjerice, razvijamo metode za lokalizaciju srca i segmentaciju srčanih komora, vizualizaciju srca i koronarnih arterija, određivanje geometrije srca i srčanih komora, određivanje geometrije i položaja srčanih žila u odnosu na ostale dijelove srca, segmentaciju i analizu aurikula lijeve pretklijetke, mjerenje minutnog volumena i protoka krvi, određivanje brzine pulsnog vala, simulaciju toka krvi kroz aortu, određivanje srčane popustljivosti te kvantifikaciju epikardijalne masti.

Slika 3. Ilustracija predložene 3D arhitekture neuronske mreže za segmentaciju srca i srčanih struktura [3].

Duboko učenje za segmentaciju i kvantifikaciju srca i srčanih struktura iz CT i MRI slika

Često korišteni pristupi za segmentaciju medicinskih slika metodama dubokog učenja uključuju različite arhitekture neuronskih mreža, najčešće temeljene na koder-dekoder arhitekturi. Koder-dekoder arhitektura simetrična je i sastoji se od dva glavna dijela: koder dijela ili kontrakcijske staze i dekoder dijela ili ekspanzivne staze [2]. U koder dijelu, mreža uči značajke niskih razina te reducira njihov broj pomoću niza konvolucijskih slojeva. U dekoder dijelu, mreža uči značajke visokih razina te vraća sliku u originalnu dimenziju. Značajke niskih razina su zapravo manji detalji na slici (poput linija ili točki) pomoću kojih se ‘grade’ značajke visokih razina (veći jedinstevni oblici ili objekti). Značajke iz ovih dvaju puteva se povezuju pomoću ‘veza preskakanja’. One prilikom rekonstrukcije originalnih dimenzija mapama značajki koje sadrže apstraktne semantičke informacije daju informacije o prostornom položaju objekata. Na taj način trenirani model preciznije raspoznaje objekte. Dodavanje većeg broja slojeva karakteristično je za duboke konvolucijske mreže poput ResNet mreža. Osim toga, ResNet mrežu karakterizira i rezidualno učenje kod kojega se konvolucijski slojevi ne vežu direktno jedan na drugi već se uvodi veza prema ulaznom sloju bloka tako da od ulaza do izlaza imamo put gradijenata bez operacije konvolucije. Prema tome, logično je zaključiti da će kombinacija koder-dekoder arhitektura i rezidualnog učenja ostvarivati još točnije rezultate. Mi se bavimo upravo time — istražujemo postojeće algoritme dubokog učenja kako bismo dobili ideje za razvoj novih algoritama, posebno specijaliziranih za segmentaciju slika kardiovaskularnog sustava. Primjer jedne takve nove razvijene arhitekture neuronske mreže prikazan je na Slici 3. Tijekom istraživanja ResNet mreža, primijetila sam da će dodavanje dodatnog konvolucijskog sloja na početak i na kraj već postojećih pre-aktivacijskih rezidualnih blokova poboljšati rezultate. Gornji konvolucijski sloj će balansirati parametre između dviju grana, a donji sloj će smanjivati dimenzije kanala. Ovime sam dobila novu strukturu povezivanja rezidualnih jedinica FM-Pre-ResNet koja omogućava kreiranje izrazito dubokih modela bez povećanja broja parametara (manji broj parametara znači da nam je potrebno i manje računalnih resursa te da će treniranje biti brže). Nakon toga, ubacila sam nove FM-Pre-ResNet jedinice u koder-dekoder arhitekturu s varijacijskim autoenkoderom (Slika 3).

Nakon uspješnog treniranja mreže, dobivene su automatske segmentacije srca i srčanih struktura kao na Slici 4.

Slika 4. Gore s lijeva na desno: Jedan 2D presjek volumetrijske CT slike iz 3 različita pogleda sa označenim srčanim strukturama: desna klijetka (magenta), desna pretklijetka (zeleno), aorta (narandžasto), lijeva klijetka (crveno), lijeva pretklijetka (plavo), miokardij (žuto) i plućna arterija (cijan). Dolje s lijeva na desno: 3D vizualizacija srca i srčanih struktura iz različitih pogleda.

Kvantifikacija podrazumijeva računanje značajnih kliničkih parametara koji su neophodni za postavljanje različitih dijagnoza. Tako se na temelju dobivenih 3D segmentacija može izračunati volumen lijeve i desne klijetke u različitim fazama srčanog ciklusa kao i miokarda [5]. Na temelju volumena se dalje mogu izračunati značajni funkcionalni indikatori kardiovaskularnog sustava poput frakcije izbacivanja, odnosno udio krvi koja se ispušta iz pojedine klijetke prilikom svakog srčanog otkucaja, zatim volumena miokarda na kraju sistole kao i masa miokarda.

Slika 5. S lijeva na desno: jedan 2D presjek volumetrijske MRI slike na kraju dijastole s označenim srčanim strukturama: desna klijetka (plavo), lijeva klijetka (crveno), i miokardij (žuto), 3D vizualizacija, jedan 2D presjek volumetrijske MRI slike na kraju sistole s označenim srčanim strukturama: desna klijetka (plavo), lijeva klijetka (crveno), i miokardij (žuto), 3D vizualizacija.

Primjena metoda dubokog učenja u kliničkoj praksi

Jedan od glavnih problema u razvoju algoritama dubokog učenja za primjenu u medicini predstavlja dostupnost datasetova. Javno objavljivanje snimaka pacijenata (čak i anonimiziranih) podložno je strogim etičkim regulativama kako bi se osigurala njihova privatnost. Ako bismo htjeli javno objaviti dataset potrebno je zatražiti pisanu dozvolu samih pacijenata te dobiti odobrenje etičkog povjerenstva unutar bolnica za njihovo javno objavljivanje, što je često teško ostvarivo. Do sada su organizirana različita medicinska natjecanja tijekom kojih su označeni datasetovi od strane radiologa i kliničkih eksperata dani na korištenje [5,8,9]. Često su ti podaci jako maleni i ne sadrže raznolike patologije srčanih bolesti. Iako je na neki način poanta razvoja novih algoritama dubokog učenja dobivanje visoke točnost uz malu količinu podataka za treniranje, to istovremeno predstavlja i veliki problem u izradi produkcijski spremnih modela segmentacije koji bi se eventualno koristili u kliničkoj praksi. Ukoliko bi se takvi, čisto “tehnički” problemi uspješno i riješili, odnosno kada bi se i napravile metode koje daju potencijalno savršene rezultate (u smislu točnosti, preciznosti, robusnosti, niskih računalnih zahtjeva) ostaju neriješeni etički i pravni izazovi (privatnost i sigurnost podataka, preuzima li odgovornosti u slučaju pogrešne dijagnostike pružatelj usluge odnosno softvera ili bolnica, i slično…). Iako su posljednjih godina uloženi i postignuti ogromni napreci u približavanju automatskih softvera za obradu i analizu medicinskih slika, zbog svega navedenog, čini se da smo još podosta daleko od njihove primjene u stvarnoj kliničkoj praksi.

— —

Marija Habijan

Marija Habijan je asistentica i doktorandica na Katedri za vizualno računarstvo na FERIT-u u Osijeku i doktorand na Ghent University u Belgiji. Kroz projekt Hrvatske zaklade za znanost, voditeljice izv. prof. dr. sc. Irene Gaić, “Metode za interpretaciju medicinskih snimki za detaljnu analizu zdravlja srca”, u svom znanstveno-istraživačkom radu bavi se obradom i analizom medicinskih slika kardiovaskularnog sustava korištenjem algoritama dubokog učenja. Članica je projekta Digital Health and Patient Safety Platform koji potiče suradničko istraživanje za razvoj novih inovativnih proizvoda i rješenja u personaliziranoj medicini. Iznimno uživa u svim DevOps aktivnostima.

Kontakt: marija.habijan@ferit.hr
https://www.linkedin.com/in/marija-habijan
https://www.researchgate.net/profile/Marija-Habijan

Literatura

[1] Geneva: World Health Organization. 2016 (WHO/DAD/2016.1). World health statistics overview 2016: monitoring health for the sdgs, sustainable development goals. https://www.who.int/gho/publications/world_health_statistics/2016/en/.

[2] Çiçek, Özgün et al. “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation.” ArXiv abs/1606.06650 (2016), https://arxiv.org/abs/1606.06650

[3] Habijan, M.; Galić, I.; Leventić, H.; Romić, K. Whole Heart Segmentation Using 3D FM-Pre-ResNet Encoder–Decoder Based Architecture with Variational Autoencoder Regularization. Appl. Sci. 2021, 11, 3912. https://doi.org/10.3390/app11093912

[4] Habijan, M., Galic, I., Leventic, H., Romic, K., & Babin, D. (2021). Segmentation and quantification of bi-ventricles and myocardium using 3D SERes-U-Net. In The 28th International Conference on Systems, Signals and Image Processing, IWSSIP 2021, Proceedings. Bratislava, Slovakia.

[5] Bernard O, Lalande A, Zotti C, et al. Deep Learning Techniques for Automatic MRI Cardiac Multi-Structures Segmentation and Diagnosis: Is the Problem Solved?. IEEE Trans Med Imaging. 2018;37(11):2514–2525. doi:10.1109/TMI.2018.2837502

[6] Cardiac Atlas Project, https://www.cardiacatlas.org/

[7] Zhuang, X., Li, L., Payer, C., Štern, D., Urschler, M., Heinrich, M.P., Oster, J., Wang, C., Smedby, Ö., Bian, C., Yang, X., Heng, P., Mortazi, A., Bagci, U., Yang, G., Sun, C., Galisot, G., Ramel, J., Brouard, T., Tong, Q., Si, W., Liao, X., Zeng, G., Shi, Z., Zheng, G., Wang, C., MacGillivray, T.J., Newby, D.E., Rhode, K.S., Ourselin, S., Mohiaddin, R.H., Keegan, J., Firmin, D.N., & Yang, G. (2019). Evaluation of algorithms for Multi-Modality Whole Heart Segmentation: An open-access grand challenge. Medical Image Analysis, 58., http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/mmwhs/