Using deep learning and computer vision to quantify dynamic retraction of brain tissue and the manipulation of instruments in cerebrovascular and skull base neurosurgery

Abstract

Manipulation of the brain, spinal cord, and spinal nerves during neurosurgical procedures can result in neurological complications. Although various technical strategies have been developed to minimize such manipulation, some degree of tissue displacement remains necessary for surgical access. However, there is currently no objective method for quantifying the extent of manipulation of neural structures. Such an assessment is crucial not only to evaluate the potential impact of tissue manipulation on patient outcomes but also to provide real-time feedback to the neurosurgeon. This thesis aims to develop a tool capable of quantitatively and objectively assessing the degree of manipulation during neurosurgical interventions. The first paper presents a convolutional neural network (CNN)-based approach for evaluating dynamic retraction and manipulation of neural tissue during surgery. By analyzing video footage of neurosurgical procedures captured by the operative microscope, our method quantifies both the surgeon’s retraction of brain tissue and the movement of surgical instruments. Using U-Net image segmentation, we isolate key biological structures, including cerebral parenchyma, neurovascular structures, and cranial nerves. In addition, an object tracking process based on the Channel and Spatial Reliability Tracker (CSRT) framework was employed to track surgical instruments in real-time. The model achieved a state-of-the-art intersection-over-union (IoU) score of 72.64% for biological tissue segmentation, enabling dynamic evaluation of tissue handling and instrument manipulation. The results demonstrate the potential for this approach to provide real-time, objective feedback during neurosurgery, thereby minimizing the risk of iatrogenic complications. The second paper focuses on extending this model to specifically assess the manipulation of the optic nerve, a vulnerable structure at risk of excessive manipulation during various neurosurgical procedures. Using data from three surgeries, we trained the CNN to recognize and quantify the deformation of the optic nerve. The model achieved an IoU of ∼72%, demonstrating its ability to accurately identify and track the optic nerve during surgical interventions. These results suggest that the model can be extended to other critical neural structures, particularly other cranial nerves, to reduce the incidence of iatrogenic injury and improve patient outcomes. Together, these two studies contribute to the development of a robust tool for objective assessment of neural tissue manipulation in neurosurgery. By providing quantitative metrics of tissue displacement and instrument movement, this tool could play a critical role in enhancing surgical precision, reducing the risk of complications, and ultimately improving patient safety in neurosurgical procedures. La manipulation du cerveau, de la moelle épinière et des nerfs rachidiens au cours des interventions neurochirurgicales peut entraîner des complications neurologiques. Bien que diverses stratégies techniques aient été mises au point pour minimiser ces manipulations, un certain degré de déplacement des tissus reste nécessaire pour l’accès chirurgical. Cependant, il n’existe actuellement aucune méthode objective pour quantifier l’étendue de la manipulation des structures neurales. Une telle évaluation est cruciale non seulement pour évaluer l’impact potentiel de la manipulation des tissus sur les résultats des patients, mais aussi pour fournir un retour d’information en temps réel au neurochirurgien. Cette thèse vise à développer un outil capable d’évaluer quantitativement et objectivement le degré de manipulation lors d’interventions neurochirurgicales. Le premier article présente une approche basée sur un réseau neuronal convolutionnel (CNN) pour évaluer la rétraction et la manipulation dynamiques du tissu neuronal pendant une intervention chirurgicale. En analysant des images à partir des enregistrements vidéo du microscope opératoire de procédures neurochirurgicales, notre méthode quantifie à la fois la rétraction du tissu cérébral par le chirurgien et le mouvement des instruments chirurgicaux. En utilisant la segmentation d’image U-Net, nous isolons les structures biologiques clés, y compris le parenchyme cérébral, les structures neurovasculaires et les nerfs crâniens. En outre, un processus de suivi des objets basé sur le cadre du Channel and Spatial Reliability Tracker (CSRT) a été utilisé pour suivre les instruments chirurgicaux en temps réel. Le modèle a obtenu un score d’intersection sur union (IoU) de 72,64 % pour la segmentation des tissus biologiques, ce qui permet une évaluation dynamique de la manipulation des tissus et des instruments. Les résultats démontrent le potentiel de cette approche pour fournir un retour d’information objectif en temps réel pendant la neurochirurgie, minimisant ainsi le risque de complications iatrogènes. Le deuxième article se concentre sur l’extension de ce modèle pour évaluer spécifiquement la manipulation du nerf optique, une structure vulnérable à risque de manipulation excessive lors de diverses procédures neurochirurgicales. À l’aide de données provenant de trois opérations chirurgicales, nous avons entraîné le CNN à reconnaître et à quantifier la déformation du nerf optique. Le modèle a atteint une IoU de 72%, démontrant sa capacité 5 à identifier et à suivre avec précision le nerf optique lors d’interventions chirurgicales. Ces résultats suggèrent que le modèle peut être étendu à d’autres structures neurales critiques, en particulier à d’autres nerfs crâniens, afin de réduire l’incidence des lésions iatrogènes et d’améliorer les résultats pour les patients. Ensemble, ces deux études contribuent au développement d’un outil robuste pour l’évaluation objective de la manipulation du tissu neural en neurochirurgie. En fournissant des mesures quantitatives du déplacement des tissus et du mouvement des instruments, cet outil pourrait jouer un rôle essentiel dans l’amélioration de la précision chirurgicale, la réduction du risque de complications et, en fin de compte, l’amélioration de la sécurité des patients dans les procédures neurochirurgicales.