Active contour and deep learning methods for single-cell segmentation in microscopy images

Tasnádi Ervin
Active contour and deep learning methods for single-cell segmentation in microscopy images.
Doctoral thesis (PhD), University of Szeged.
(2024)

[thumbnail of PhD-thesis-ET.pdf] PDF (thesis)
Download (16MB)
[thumbnail of theses.pdf] PDF (booklet)
Download (9MB)

Abstract in Hungarian

A munkában mikroszkópos képek egysejt szintű szegmentálásához fejlesztett módszereinket mutatjuk be, melyek aktív kontúr és deep learning módszereken alapulnak. Az első tézispont az általános level set módszerhez kidolgozott phase field alapú regularizációs technikát tárgyalja. A phase field funkcionál minimumpontja egy olyan mező, amely a level set által reprezentált kontúr környezetében egy sima átmenetet hoz létre. Ez az a fázisátmenet használható reinicializációs módszerként. A phase field funkcionál ugyanakkor a görbület alapján elmozdı́tja a kontúrt nem kı́vánt mellékhatásként. A kidolgozott módszer egy első és másodrendű simasági tag megfelelő kopmozı́ciójával azonban kiküszöböli ezt a nem kı́vánt mellékhatást. A második tézispont egy 3 dimenziós aktı́v kontúr alapú szegmentációs módszert mutat be. A kidolgozott 3D szelektı́v aktı́v kontúr alak és térfogat priorok segı́tségével az előre meghatározott paraméterü objektumot nyeri ki a képből. A 3D szelektı́v aktı́v kontúr módszert beépı́tettük egy orvosi képfeldolgozó alkalmazásba, amely segı́tségével 3 dimenziós mikroszkópfelvételeken lehet sejtmagokat félig automatizáltan szegmentálni. A módszer jelentősen gyorsı́tja a szegmentálási folyamatot a manuális kontúrrajzoláshoz képest. A harmadik tézispont két automatikus augmentálási eljárást mutat be sejtmatok 2D szegmentálásához. A nucleAIzer módszer maszkok parametrikus technikákkal való szimulálása után a style transfer módszerrel generál szintetikus mikroszkópos képeket. A módszer továbbfejlesztéseként bemutatunk egy olyan módszert, amely segı́tségével a maszkokat GAN-okkal reprezentáljuk. A bemutatt augmentációs módszerek segı́tségével létrehozott szintetikus képek növelik a szegmentáció teszt halmazon mért pontosságát.

Abstract in foreign language

This work introduces methods for single-cell segmentation of microscopy images. The developed methods are based on active contours and deep learning. In the first thesis point, a reinitialization method is developed for level sets that is based on the phase field theory. When the phase field functional is minimized, it forms a smooth transition between the two phases. This phase transition can be used as a reinitialization technique when combined with level sets. However, we show that the original phase field functional moves the zero transition away from its original position as an undesired side effect. We propose a proper combination of the original gradient based and a second order term to eliminate this effect and shown to be effective when combined with different active contour models. In the second thesis point, we propose an selective active contour model in 3D for the instance segmentation of 3D microscopy images. The proposed method uses surface and volume priors and a shape prior that is a combination of the former two to describe common shapes of biological objects. The resulting segmentation method is then embedded into a popular 3D medical image analysis software for semi-automatic segmentation shown to greatly reduce the annotation time. The third thesis point investigates the applications of the image-to-image translation method for automatic data augmentation. The first proposed method synthesizes artificial instance masks using a traditional parametric cell population simulation tool and then applies the learned image-to-image translation model to synthesize the corresponding microscopy images. The second method tries to learn the discrete instance masks directly from the data using generative adversarial networks thus enabling the synthesis of complex tissue structures. The proposed methods shown to increase the test accuracy when used with different instance segmentation models.

Item Type: Thesis (Doctoral thesis (PhD))
Creators: Tasnádi Ervin
Hungarian title: Aktív kontúr- és mély neurális hálózat alapú módszerek mikroszkópos képek sejtszintű szegmentálásához
Supervisor(s):
Supervisor
Position, academic title, institution
MTMT author ID
Horvath Peter
kutatócsoport-vezető, MTA-SZBK-NAP B BIOMAG Biológiai Képanalízis és Gépi Tanulási Kutató Csoport HRN SZBK / BKI
10030964
Subjects: 01. Natural sciences > 01.02. Computer and information sciences > 01.02.01. Computer sciences, information science and bioinformatics > 01.02.01.16. Computer graphics, computer vision, multimedia, computer games > 01.02.01.16.02. Computer vision
01. Natural sciences > 01.02. Computer and information sciences > 01.02.01. Computer sciences, information science and bioinformatics > 01.02.01.09. Bioinformatics, e-Health, medical informatics
Divisions: Doctoral School of Computer Science
Discipline: Engineering > Information Technology
Language: English
Date: 2024. March 06.
Uncontrolled Keywords: single-cell segmentation, active contour, deep learning, machine learning
Item ID: 11892
doi: https://doi.org/10.14232/phd.11892
Date Deposited: 2023. Aug. 31. 07:37
Last Modified: 2024. May. 10. 10:33
Depository no.: B 7381
URI: https://doktori.bibl.u-szeged.hu/id/eprint/11892
Defence/Citable status: Defended.

Actions (login required)

View Item View Item