Development of Automated Approaches to High-Throughput Plant Image Analysis

Abstract

Image-based phenotyping of whole plants and plant organs with high-resolution optical sensors became a method of choice for assessing quantitative plant traits in a non-destructive, high-throughput manner. Due to several technical and natural factors, optical appearance of plant and background structures undergoes substantial variations. Consequently, automated analysis of large phenotypic data renders a challenging problem. The intrinsic complexity of phenotypic image data requires higher-level cognitive approaches to pattern classification and segmentation, such as convolutional neural networks (CNN). However, the advanced CNN methods require a large amount of representative ground truth data, which poses a bottle-neck for their straightforward application. Consequently, this thesis deals with investigating and developing semi-and fully automated image processing approaches to plant image segmentation and pattern detection in application to high-throughput plant phenotyping. In particular, the application-oriented effort of this work is on the analysis of large image data from major IPK high-throughput imaging platforms, including multiple greenhouse shoot and root phenotyping facilities. Starting with semi-automated approaches, more than 80% accuracy of root and spike image segmentation was achieved. Based on the ground truth data from the semi-automated image segmentation, U-net CNN models were developed and trained, which achieved an accuracy of more than 90% for fully automated root and shoot segmentation. In these applications, the proposed U-net-based image segmentation models were shown to be superior compared to various CNN architectures and state-of-the-art methods. Furthermore, the proposed CNN models are less complex and more capable of segmenting different optical scenes including greenhouse and field-like images. Ultimately, this thesis shows a great potential of novel deep learning approaches to fully automated processing of large image data which essentially helps to bridging a gap in high-throughput plant phenotyping and bio-data driven research.

Die bildbasierte Phänotypisierung von ganzen Pflanzen und Pflanzenorganen mit hochauflösenden optischen Sensoren hat sich als bevorzugte Methode zur nicht-destruktiven und hochdurchsatzfähigen Erfassung quantitativer Pflanzenmerkmale etabliert. Aufgrund verschiedener technischer und natürlicher Faktoren unterliegt das optische Erscheinungsbild von Pflanzen und Hintergrundstrukturen erheblichen Schwankungen. Folglich stellt die automatisierte Analyse großer phänotypischer Daten ein anspruchsvolles Problem dar. Die inhärente Komplexität phänotypischer Bilddaten erfordert höhere kognitive Ansätze für die Musterklassifikation und Segmentierung, wie beispielsweise Convolutional Neural Networks (CNN). Allerdings erfordern die fortschrittlichen CNN-Methoden eine große Menge an repräsentativen Referenzdaten (sog. ground truth), was einen Flaschenhals für ihre direkte Anwendung darstellt. Folglich befasst sich diese Arbeit mit der Untersuchung und Entwicklung halb- und vollautomatischer Bildverarbeitungsansätze zur Segmentierung und Erkennung von komplexen pflanzlichen Strukturen in Anwendung zur Hochdurchsatz-Pflanzenphänotypisierung. Der anwendungsorientierte Aufwand dieser Arbeit liegt insbesondere in der Analyse großer Bilddaten von großen Hochdurchsatz-Bildgebungsplattformen am IPK, einschließlich mehrerer Gewächshausanlagen zur Spross- und Wurzelphänotypisierung. Beginnend mit halbautomatischen Ansätzen wurde eine Genauigkeit von mehr als 80% bei der Wurzel- und Grannenbildsegmentierung erreicht. Aufbauend auf den ground truth Daten aus der semi-automatisierter Bildsegmentierung wurden U-net CNN Modelle entwickelt und trainiert, die bei der vollständigen Automatisierung eine Genauigkeit von mehr als 90% in Wurzel und Sprosssegmentierung erreicht haben. In diesen Anwendungen konnte gezeigt werden, dass die vorgeschlagenen U-net-basierten Bildsegmentierungmodelle verschiedenen modernen CNN-Methoden überlegen sind. Darüber hinaus sind die hier vorgeschlagenen CNN-Modelle weniger komplex und besser in der Lage, unterschiedliche optische Szenen zu segmentieren. Zusammenfassend zeigt diese Arbeit das große Potenzial neuartiger Deep-Learning- Ansätze für die vollautomatische Verarbeitung großer Bilddatenmengen auf, was wesentlich dazu beiträgt, eine Lücke in der Hochdurchsatzplanzenphänotypisierung und Biodaten-basierenden Pflanzenforschung zu schließen.