Active contour and deep learning methods for single-cell segmentation in microscopy images

	PDF (thesis) Download (16MB)
	PDF (booklet) Download (9MB)

Abstract in Hungarian

A munkában mikroszkópos képek egysejt szintű szegmentálásához fejlesztett módszereinket mutatjuk be, melyek aktív kontúr és deep learning módszereken alapulnak. Az első tézispont az általános level set módszerhez kidolgozott phase field alapú regularizációs technikát tárgyalja. A phase field funkcionál minimumpontja egy olyan mező, amely a level set által reprezentált kontúr környezetében egy sima átmenetet hoz létre. Ez az a fázisátmenet használható reinicializációs módszerként. A phase field funkcionál ugyanakkor a görbület alapján elmozdı́tja a kontúrt nem kı́vánt mellékhatásként. A kidolgozott módszer egy első és másodrendű simasági tag megfelelő kopmozı́ciójával azonban kiküszöböli ezt a nem kı́vánt mellékhatást. A második tézispont egy 3 dimenziós aktı́v kontúr alapú szegmentációs módszert mutat be. A kidolgozott 3D szelektı́v aktı́v kontúr alak és térfogat priorok segı́tségével az előre meghatározott paraméterü objektumot nyeri ki a képből. A 3D szelektı́v aktı́v kontúr módszert beépı́tettük egy orvosi képfeldolgozó alkalmazásba, amely segı́tségével 3 dimenziós mikroszkópfelvételeken lehet sejtmagokat félig automatizáltan szegmentálni. A módszer jelentősen gyorsı́tja a szegmentálási folyamatot a manuális kontúrrajzoláshoz képest. A harmadik tézispont két automatikus augmentálási eljárást mutat be sejtmatok 2D szegmentálásához. A nucleAIzer módszer maszkok parametrikus technikákkal való szimulálása után a style transfer módszerrel generál szintetikus mikroszkópos képeket. A módszer továbbfejlesztéseként bemutatunk egy olyan módszert, amely segı́tségével a maszkokat GAN-okkal reprezentáljuk. A bemutatt augmentációs módszerek segı́tségével létrehozott szintetikus képek növelik a szegmentáció teszt halmazon mért pontosságát.

Abstract in foreign language

This work introduces methods for single-cell segmentation of microscopy images. The developed methods are based on active contours and deep learning. In the first thesis point, a reinitialization method is developed for level sets that is based on the phase field theory. When the phase field functional is minimized, it forms a smooth transition between the two phases. This phase transition can be used as a reinitialization technique when combined with level sets. However, we show that the original phase field functional moves the zero transition away from its original position as an undesired side effect. We propose a proper combination of the original gradient based and a second order term to eliminate this effect and shown to be effective when combined with different active contour models. In the second thesis point, we propose an selective active contour model in 3D for the instance segmentation of 3D microscopy images. The proposed method uses surface and volume priors and a shape prior that is a combination of the former two to describe common shapes of biological objects. The resulting segmentation method is then embedded into a popular 3D medical image analysis software for semi-automatic segmentation shown to greatly reduce the annotation time. The third thesis point investigates the applications of the image-to-image translation method for automatic data augmentation. The first proposed method synthesizes artificial instance masks using a traditional parametric cell population simulation tool and then applies the learned image-to-image translation model to synthesize the corresponding microscopy images. The second method tries to learn the discrete instance masks directly from the data using generative adversarial networks thus enabling the synthesis of complex tissue structures. The proposed methods shown to increase the test accuracy when used with different instance segmentation models.

View Item