Automatic detection of head and neck cancer from PET/MRI imaging using deep learning

Abstract

Detecting head and neck cancer (HNC) from medical images is a challenging problem due to the complex anatomy of the region and the heterogeneity of the disease. Traditional imaging techniques struggle to differentiate inflammation and scar tissue from tumours, especially with recurrent disease. Hybrid imaging (PET/CT and PET/MRI) utilises metabolic information to distinguish these and is routinely used. PET/MRI has gained popularity due to its improved soft-tissue contrast compared to PET/CT. Moreover, human interpretation of the images is complicated by inter- and intra-observer variability. Recently, deep learning (DL) has been proposed to mitigate these issues. DL has been shown to identify malignancies accurately in various medical imaging tasks using features learned from large annotated datasets. However, its usability in HNC diagnostics from 18F-FDG PET/MRI images has not been thoroughly investigated.

This thesis investigated the applicability of DL in HNC 18F-FDG PET/MRI diagnostics. First, a 2D (two-dimensional) segmentation model was evaluated in a small cohort of 44 patients containing positive and negative samples, yielding a Dice score of 0.84 ± 0.14 per slice for correctly detected lesions. However, the overall accuracy in detecting such lesions was 71%. Next, a 2D PET-only binary classifier was assessed with a cohort of 200 patients (50:50 positive/negative), achieving 78.6% accuracy and an AUC (area under the curve) of 85.1%. The study also indicated that certain subgroups of HNC were more likely to be classified correctly, depending on how frequently they appear in the training data. In addition, models trained with squamous cell carcinoma data only, were able to classify other HNCs accurately as well. A 3D (three-dimensional) classifier trained on the same cohort achieved an accuracy of 90% on a separate test set of 20 patients, compared with a radiologist who reached 100%. The interpretability of the model was examined using gradient-weighted class activation mapping. This method was found to provide useful insights into model decisions. Overall, DL shows promise in HNC PET/MRI analysis, though larger datasets and refined models are required for clinical use.

<b> Pään ja kaulan alueen syöpien automaattinen tunnistaminen PET/MRI kuvista syväoppimista hyödyntäen</b>

Pään ja kaulan alueen syövän (HNC) tunnistaminen kuvantamisella on haastavaa alueen monimutkaisen anatomian ja vaihtelevan taudinkuvan vuoksi. Tulehduksen tai arpikudoksen erottaminen pahanlaatuisesta muutoksesta on toisinaan vaikeaa tavanomaisilla kuvantamismenetelmillä. Fuusiokuvantaminen (PET/TT ja PET/MRI) hyödyntää metabolista informaatiota ja helpottaa näiden hyvänlaatuisten muutosten erottelua pahanlaatuisista. PET/MRI:n suosio on ollut kasvussa viime aikoina verrattuna PET-TT:hen johtuen sen paremmasta pehmytkudosten erottelukyvystä. Kuvantamismenetelmien tulkintaa vaikeuttavat tulkitsijoiden väliset erot ja heikko toistettavuus. Syväoppimisella (DL) on saavutettu hyviä tuloksia syöpäkuvantamisen eri osa-alueilla hyödyntämällä ennalta opittua hahmontunnistusta laajoista koulutusaineistoista. Tutkimustieto sen käytöstä pään ja kaulan alueen syöpien 18F-FDG PET/MRI kuviin on kuitenkin puutteellista.

Tämän väitöskirjan tavoitteena oli tutkia DL:n käyttöä HNC:n 18F-FDG PET/MRI diagnostiikassa. Segmentoiva 2D-malli koulutettiin ja arvioitiin hyödyntäen 44 potilaan aineistoa, joka sisälsi sekä positiivisia, että negatiivisia kuvauslöydöksiä. Malli ylsi 0,84 ± 0,14 Dice-pisteisiin oikein tunnistettujen tuumoreiden osalta. Kokonaistarkkuus tuumoreiden tunnistuksessa oli 71 %. Luokitteleva 2D-malli koulutettiin käyttäen 200 potilaan aineistoa (50:50 positiivisia/negatiivisia). Paras malli saavutti 78,6 % tarkkuuden ja 85,1 % AUC:n. Tämä tutkimus osoitti myös, että tietyt HNC:n alatyypit luokitellaan sitä todennäköisimmin oikein, mitä useammin ne esiintyvät koulutusaineistossa. Toisaalta vain levyepiteelisyövillä koulutettu malli kykeni tunnistamaan tarkasti myös muita syöpiä pään ja kaulan alueelta. Samalla aineistolla koulutettu 3D-luokittelija saavutti 90 % tarkkuuden erillisellä 20 potilaan testijoukolla, jolla radiologi saavutti 100 %. Tämän mallin läpinäkyvyyttä pyrittiin tutkimaan hyödyntämällä Grad-CAM-tekniikkaa, joka antoi hyödyllistä tietoa mallin päätöksenteon taustoista. DL vaikuttaa lupaavalta menetelmältä HNC:n PET/MRI tulkinnan työkaluna, mutta suurempia koulutusaineistoja ja kehittyneempiä malleja vaaditaan ennen rutiininomaista kliinistä käyttöä.