MRI Görüntüleri Üzerinden Beyin Tümörü Tespiti — Bölüm 1 (U-Net)
Deep Learning Türkiye tarafından Koç Üniversitesi Girişimcilik Araştırma Merkezi desteğiyle İstanbul’da toplam 4 ay süren Proje Odaklı Derin Öğrenme Eğitimi sonucunda “Deep Health” takımı olarak MRI görüntüleri üzerinden beyin tümörü tespiti projesini tamamlamış bulunuyoruz.
DeepHealth grubu: Mustafa Mert Tunalı, Merve Turan, Feyza Doğan
Giriş
Makine öğrenimi son zamanlarda çarpıcı gelişmeler gördü. Bu da endüstri, akademi ve popüler kültürden büyük ilgi görmesini sağladı. Yapay sinir ağlarının daha fazla gizli katman içererek büyük veriler üzerinde karmaşık kalıpları kolayca öğrenmesi ile artık günümüzde birçok problem daha hızlı çözülebilir hale geldi.
Artık birçok farklı sektörde bile derin öğrenme modelleri kullanılarak daha hızlı çözümler üretebiliyoruz. Özellikle son zamanlarda sağlık alanında bu modellerin uygulamaya alınmasıyla birlikte akıllı sistemler, birçok hastalığı önceden tespit edebilmekte veya uzman bir kişinin göremediği ayrıntıları gözden kaçırmamaktadır.
4 ay süren etkinlikte, medikal görüntüleme alanında bir proje geliştirmeye ve Manyetik rezonans görüntüleme (Magnetic resonance imaging, MRI) ile beyin tümörü tespiti ve segmentasyonu üzerine çalışmaya karar verdik. Bu projeyi seçmemizdeki temel amaç; medikal görüntüleme alanına giriş yapmak ve fikir edinmek, farklı derin öğrenme modellerini uygulayarak anlamak ve geliştirmek, tecrübe kazanmak ve bu alanda Türkçe kaynaklara katkı sağlamaktır.
Benim açımdan da böyle bir proje çok önemliydi ve anlamlıydı çünkü bu sene kansere yakalanmıştım. Kasım 2018'de biyopsi yapılmasına rağmen kansere yakalandığımı Mart 2019'da öğrendim. Haziran 2019'da da kanseri yendiğimi öğrendim ve bir süre sonra bu etkinliğe fuat hocamın daveti ile katıldım, kendisine buradan teşekkürlerimi sunarım. Kanser gibi hastalıkların önceden tespiti için bu teknolojilerin kullanılması, birçok insan hayatını kurtarabilir veya farklı çözümler üretebiliriz.
Beyin Tümörü Nedir?
Beyin tümörü (Görsel 2), beyindeki hücrelerin veya kitlenin anormal büyümesidir. Her tümör öldürücü olmasa da beyin tümörlerinde, beyin dokusunun istisnai bir durumu vardır. İyi huylu tümörler de beyin kafatası içinde kapalı bir odada yer aldığından öldürücü olabilir. Bu nedenle beyin tümörlerinin tümü öldürücü olmasa da mutlaka kontrol altında tutulmalı ve doğru müdahale edilmelidir.
MRI Sekansları
MRI, nöroloji ve beyin cerrahisinde en sık kullanılan görüntüleme tekniklerinden biridir. Canlıların iç yapısını görüntüleme amacıyla daha çok tıpta kullanılan bir yöntemdir [6]. Beyin, omurilik ve damar anatomisinin ayrıntılarını sunar ve her üç düzlemde (Sagital düzlem, uzunlamasına düzlem, koronal düzlem) anatomiyi görselleştirme avantajına sahiptir.
Sekans, MRI sinyali oluşturmak için uygulanan radyo frekans pulse, gradient ve sinyal toplama süreçlerini gösteren veridir. MRI’da 3 temel sekans vardır.
En sık kullanılan MRI sekansları T1, T2 ve Flair olarak adlandırılır. Bu her bir sekansın özellikleri birbirinden farklıdır.
T1 — Kısa zamanlamalı radyo frekansları kullanılır. Kontrast madde sonucunda görüntüyü daha parlak ve anatomiyi daha iyi gösterir. Subakut kanamayı (methemoglobilin) iyi gösterir.
T2 — Uzun zamanlamalı radyo frekanslar kullanılır. Kontrast ve parlaklık dokunun özelliğine göre belirlenir.
Flair — Çok uzun zamanlamalı radyo frekanslar kullanılır. T2'ye biraz benzerdir fakat görüntü daha karanlıktır ve anormallikler daha parlaktır.
Biz de eğiteceğimiz veriyi bu özellikleri araştırarak kararlaştırdık ve Flair görüntüleri üzerinden ilerleme kararı aldık. Flair üzerinden gitmemizin ana sebebi tümörün diğer sekanslara oranla daha belirgin gözükmesidir ve bu şekilde modelimizi daha kolay ve başarılı eğitebiliriz diye düşündük.
Görüntü Bölütleme (Segmentasyon) Nedir?
Bir görüntüyü farklı özelliklerin tutulduğu anlamlı bölgelere ayırmayı bölütleme olarak tarif edebiliriz. Yani, her piksel için etiketler çıkartılır ve tahminler yapılarak çıkarımlar sağlanır.
Görüntü bölütlemenin blackbone (ana yapısını oluşturan) kısmını oluşturan birkaç önemli model:
- AlexNet: 2012 ImageNet yarışmasını % 84,6 doğrulukla kazanan CNN’in öncüsü.
- VGG-16: Oxford’un modeli, 2013 ImageNet yarışmasını % 92.7 doğrulukla kazandı
- GoogLeNet: Google’ın modeli, 2014 ImageNet yarışmasını % 93,3 doğrulukla kazandı
- ResNet: Microsoft’un modeli, 2016 ImageNet yarışmasını % 96,4 doğrulukla kazandı.
Veri Seti (Dataset)
MRI görüntülerini nereden toplayacağımızı öğrenmek için ilk olarak internette bu alanda yapılan çalışmaları araştırdık ve bunun sonucunda BraTS adlı yarışmanın verilerini kullanmaya karar verdik. BraTS adlı bu yarışma Pensilvanya Üniversitesi tarafından 2013 yılından beri her yıl düzenlenmektedir. MRI görüntülerini almak için üniversiteye başvurduk ve kendileri verileri paylaşmaya kabul ettiler. Biz de bu çalışmada BraTS 2019 (Görsel 5) MRI görüntülerini kullandık. BraTS ve Pensilvanya Üniversitesi’ne buradan görüntüler için teşekkürlerimizi sunarız.
Ön İşleme (Pre-Processing)
MRI görüntüleri NIFTI formatında geliyor ve bu formattaki görüntüleri okumak için SimpleITK kütüphanesini kullandık. Eğer flair haricinde farklı sekans kullanılırsa, normalizasyon algoritması kullanılması gerektiğini de belirtelim. Her bir MRI görüntüsünde görüntüsünde toplam 600 slayt var ve her görüntünün 60–120 arasında olan slaytları eğitim verisi olarak kullandık. Çünkü bu aralıklarda tümör varsa direkt belli olmaktadır.
Eğitime hazır hale getirmek ve görüntülerden anlamsal bir şeyler çıkarmak içinse görüntülerin ortalamasını ve standart sapmasını alarak Sıfır Ortalama Normalizasyon / Birim Norm Normalizasyon (Zero Mean Normalization / Unit Norm Normalization) uyguladık.
Elimizde MRI verimiz çok olmadığından, Veri Arttırma (Data Augmentation) metodu ile örnek sayımızı çoğalttık. Görüntüleri döndürme (rotation), yatay çevirme (horizontal flip) ve dikey döndürme(vertical flip) ile örnek sayımızı çoğaltarak eğitim için gerekli olan veriyi tamamladık.
Son olarak da verilerimizi x.npy ve y.npy formatındaki dosyalarda saklıyoruz ve verimiz artık eğitime hazır!
Ağ Mimarisi
DeepHealth ekibi olarak 3 model üzerinde çalışmalarımızı gerçekleştirdik. Her bir modelde farklı sonuçlar elde ettik. Kullandığımız modeller şu şekilde:
- U-Net: U-Net (Görsel 7), Almanya’daki Freiburg Üniversitesi Bilgisayar Bilimleri Bölümü’de, biyomedikal görüntü segmentasyonu için geliştirilen bir evrimsel sinir ağıdır. Ağ tamamen evrişimli sinir ağları üzerine kuruludur ve mimarisi, daha az eğitim görüntüsü ile çalışmak ve daha hassas bölümleme sağlamak için genişletildi. Bu konuyla ilgili daha fazla bilgi edinmek için Ayyüce Kızrak hocamızın “Görüntü Bölütleme (Segmentasyon) için Derin Öğrenme: U-Net” başlıklı detaylı yazısını okumanızı kesinlikle tavsiye ederim. Ben de kayıp/yitim(Loss) hesabı yaklaşımlarını bu yazıdan alıntılayacağım. Özellikle projeyi geliştirirken bu yazının yayımlanması, modeli anlamamızda çok yardımcı oldu, teşekkür ederiz. 🙏
- FCN: CNN’den farklı olarak, baştan sona konvolüsyon katmanları kullanılır. Bölge önerilerini çıkarmadan piksellerden piksellere bir eşleme öğrenir. Çok fazla katman olmamasından dolayı da parametre sayısını ve hesaplama süresini azdır. Detaylı bilgiye Birol Kuyumcu hocamızın hazırlamış olduğu “Semantik Bölütleme ve FCN” başlıklı yazısına buradan ulaşabilirsiniz.
- Mask R-CNN: Makine öğrenmesinde veya bilgisayarlı görmede ,segmentasyon problemini çözmeyi amaçlayan derin bir yapay sinir ağıdır. Başka bir deyişle, bir görüntüdeki veya videodaki farklı nesneleri ayırabilir.
Eğitim (Training)
U-Net’in verilen verileri ne kadar iyi modellediğini anlamak için aşağıdaki kayıp /yitim (loss) fonksiyonları uyguladık.
Kayıp/Yitim (Loss) hesabı yaklaşımları
1. Standart ikili çapraz entropi ve Dice: Dice yöntemi (Görsel 8), özellikle biyomedikal görüntülerde sıklıkla kullanılan bir performans kriteridir. Biz de U-Net modelini eğitirken Dice yönteminden yararlandık.
Birleşimlerin Kesişimi Intersection over Union(IoU)
Bölütleme performansını değerlendirmek için kullanılır ve piksel temelli bir ölçüttür. Hedeflenen matris ile tahmin edilen matris arasındaki ötüşen piksel oranıdır. Dice hesabı ile ilişkilidir.
U-Net modelini eğitirken epoch sayısı çok verildiğinde overfitting olabiliyor. Genel anlamda tabloyu görmek için biz epoch sayısını 10 belirledik. Daha fazla eğitim ve test görüntüsü olması durumunda epoch sayısı arttırılabilir. Medikal görüntülerde özellikle verilerin training, test ve validation şeklinde kullanılması modeli çok daha başarılı hale getirdiğini hatırlatmak isterim.
2.Binary Cross-Entropy: İkili Çapraz Entropi, evet / hayır (ikili) kararları içeren problemlerde kullanılan bir kayıp fonksiyonudur.
Tahmin (Prediction)
Biyomedikal alanda yapılan çalışmalarda modelin başarılı eğitilmesi için veriler, eğitim(training), test ve validasyon(validation) şeklinde eğitilmesi gerekmektedir. Bunun temel sebebi de hata payını en düşüğe indirerek modelin hata yapmasını engellemektir. Medikal görüntülemede yapılan yanlış bir tahmin, bir insanının ölümüne kadar gidebilir! ⚠️
Medikal alanda eğitim işlemi yaparken çok veriye ihtiyacımız yoktur. Çünkü, görüntülerin boyutları çok yüksektir ve bu yüzden daha çok piksele sahiptir. Modeli yeterli düzeyde eğitmek üzere 70 adet MRI görüntüsü yeterli diyebilirim( Not: Her MRI görüntüsü ortalama 600 slayttan oluşmaktadır).
BraTS 2019 verileri ile U-Net modelini eğittiğimiz bu çalışmada, bir uzmanın etiketlediği doğrulukta olmasa da modelin gayet iyi bir iş çıkardığını söyleyebilirim. Aşağıda gördüğünüz üzere( Görsel 11 ve 12), uzmanın etiketlediği ile eğittiğimiz model arasında çok bir fark yoktur.
Son olarak
Deep Learning Türkiye’nin Proje Odaklı Derin Öğrenme Programı sonucunda “Deep Health” takımı olarak bu projeyi gerçekleştirdiğimiz için mutluyuz. Bu alanda yapılan çalışmaların ileride birçok çözüme vesile olacağını düşünmekteyiz. Biz bu projeyi geliştirirken çok şey öğrendik ve umarız siz de bu yazı ile birlikte en azından fikir sahibi olmuşsunuzdur. İkinci bölümde, FCN ve Mask R-CNN modellerinin MRI görüntülerinde nasıl bir performans gösterdiğini ele alacağız ve bu modeller ile U-Net’i karşılaştıracağız. Görüşmek üzere.✔️
Yaptığımız çalışmanın kodları 2.bölüm yayınlandıktan sonra aşağıdaki adreste paylaşılacaktır:
Github: deeplearningturkiye/Brain-Tumor-Detection-and-Segmentation-using-Deep-Learning
📕 Kaynakça
- MRI Basics
- Image Segmentation — Fırat Üniversitesi)
- Spin Echo
- What is Semantic Segmentation?
- U-Net Keras Segmenting Images
- Understanding binary cross-entropy / log loss: a visual explanation
- How to do Semantic Segmentation using Deep learning
- Semantik Bölütleme ve FCN
- Simple Understanding of Mask RCNN
- An overview of deep learning in medical imaging focusing on MRI
- An exploratory analysis of multi-class uncertainty approximation in Bayesian convolution neural networks S. Murray — University of Bergen (2018)
- Ayyüce Kızrak — Görüntü Bölütleme (Segmentasyon) için Derin Öğrenme: U-Net
- Intelligent Scanning Using Deep Learning for MRI
- Brain Tumor Segmentation (Dataset)
- github.com/zsdonghao/u-net-brain-tumor, github.com/JooHyun-Lee/BraTs
- Reconstructing Brain MRI Images Using Deep Learning (Convolutional Autoencoder)
- Z. Yaniv, B. C. Lowekamp, H. J. Johnson, R. Beare, “SimpleITK Image-Analysis Notebooks: a Collaborative Environment for Education and Reproducible Research”, J Digit Imaging., https://doi.org/10.1007/s10278-017-0037-8, 2017
- [1] B. H. Menze, A. Jakab, S. Bauer, J. Kalpathy-Cramer, K. Farahani, J. Kirby, et al. “The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS)”, IEEE Transactions on Medical Imaging 34(10), 1993–2024 (2015) DOI: 10.1109/TMI.2014.2377694
- [2] S. Bakas, H. Akbari, A. Sotiras, M. Bilello, M. Rozycki, J.S. Kirby, et al., “Advancing The Cancer Genome Atlas glioma MRI collections with expert segmentation labels and radiomic features”, Nature Scientific Data, 4:170117 (2017) DOI: 10.1038/sdata.2017.117
- [3] S. Bakas, M. Reyes, A. Jakab, S. Bauer, M. Rempfler, A. Crimi, et al., “Identifying the Best Machine Learning Algorithms for Brain Tumor Segmentation, Progression Assessment, and Overall Survival Prediction in the BRATS Challenge”, arXiv preprint arXiv:1811.02629 (2018)
- [4] S. Bakas, H. Akbari, A. Sotiras, M. Bilello, M. Rozycki, J. Kirby, et al., “Segmentation Labels and Radiomic Features for the Pre-operative Scans of the TCGA-GBM collection”, The Cancer Imaging Archive, 2017. DOI: 10.7937/K9/TCIA.2017.KLXWJJ1Q
- [5] S. Bakas, H. Akbari, A. Sotiras, M. Bilello, M. Rozycki, J. Kirby, et al., “Segmentation Labels and Radiomic Features for the Pre-operative Scans of the TCGA-LGG collection”, The Cancer Imaging Archive, 2017. DOI: 10.7937/K9/TCIA.2017.GJQ7R0EF
- [6]Manyetik Rezonans Görüntüleme