Dans le cadre du cluster IA Grand Est ENACT[1], 9 chaires de recherche ont été attribuées à des chercheuses et chercheurs de renommée internationale au sein de laboratoires des sites lorrain et alsacien. Cette action renforce l’excellence scientifique du territoire en soutenant des nouveaux travaux, en finançant doctorants et post-doctorants et en favorisant le transfert technologique ainsi que les collaborations avec le monde de l’industrie. Découvrez, à travers cette série de portraits les talents derrière chacune de ces chaires de recherche.
Pionnier du domaine de l’IA au service de la chirurgie, Nicolas Padoy est professeur en informatique à l’Université de Strasbourg et directeur de la recherche en Intelligence Artificielle à l’IHU Strasbourg. Il porte la chaire de recherche ENACT « FM4SURG – Multimodal Foundation Models for Surgery » et ses recherches visent à développer des méthodes de vision et d’apprentissage par ordinateur pour analyser les masses de données multimodales disponibles le long du parcours du patient, notamment celles du bloc opératoire. Il contribue ainsi à la création de nouvelles aides cognitives et à rendre les procédures chirurgicales plus précises, plus efficaces et plus sûres.
Lauréat de la prestigieuse bourse ERC Consolidator en 2023, pour son projet CompSURG, et Fellow de la société savante MICCAI depuis 2024, Nicolas Padoy dirige le groupe de recherche CAMMA, conjoint entre le laboratoire ICube et l’IHU de Strasbourg et est membre de l’équipe RDH (Robotics, Data science and Healthcare technologies) du laboratoire ICube et de l’équipe INSERM RODIN. Il est par ailleurs co-fondateur de nombreux événements internationaux visant à favoriser la collaboration entre les communautés informatique et clinique et a récemment cofondé la startup Scialytics.
Pouvez-vous vous présenter et nous parler de votre parcours professionnel et académique ?
J’ai suivi une formation en mathématiques et informatique. A la fin de mes études à l‘Ecole Normale Supérieure de Lyon, j’ai eu l’opportunité d’effectuer un semestre ERASMUS à la Technische Universität München (TUM). La richesse des enseignements proposés m’a convaincu de remplacer ma dernière année d’études en France, le DEA à l’époque, par un diplôme en informatique de la TUM, avec les mathématiques comme discipline secondaire. C’est à la TUM que j’ai découvert la vision par ordinateur, l’apprentissage par ordinateur et la chirurgie guidée par l’image, domaines qui ont orienté la suite de ma carrière. Après une thèse de doctorat réalisée entre l’INRIA de Nancy et la TUM, j’ai passé 3 années à l’université Johns Hopkins aux Etats-Unis. En septembre 2012, j’ai rejoint l’Université de Strasbourg sur une chaire d’excellence, attiré par le contexte dynamique de la création du laboratoire ICube, du LabEx CAMI et de l’IHU de Strasbourg, ainsi que par les possibilités de collaboration avec les hôpitaux universitaires de Strasbourg et l’IRCAD.
Mon ambition était de développer un champ de recherche émergent, les sciences des données chirurgicales, désormais plus largement désigné sous le nom d’IA chirurgicale. Dans ce contexte interdisciplinaire, il a fallu bâtir des collaborations cliniques solides, et concevoir des méthodologies permettant d’identifier et de formuler des questions cliniques pertinentes s’attaquant à des besoins concrets susceptibles d’avoir un réel impact au bloc opératoire. Avec mon équipe nous avons ensuite conçu et déployé des systèmes destinés à l’acquisition, à l’anonymisation et à l’annotation de données multimodales. Ces fondations ont permis de développer de nouvelles techniques informatiques, en vision et apprentissage par ordinateur, pour analyser et exploiter ces données complexes, répondre aux questions posées, et proposer des systèmes d’assistance innovants. Ce chemin nous a conduit à formuler de nouvelles problématiques dans l’analyse des vidéos chirurgicales auxquelles s’attaque désormais une communauté internationale en pleine expansion.
L’intégration de mon équipe au sein de l’IHU de Strasbourg, renforcée en 2020 par ma nomination au poste de directeur de l’IA, m’a permis de consolider les liens avec nos partenaires cliniques et d’accélérer la translation de nos technologies vers leur utilisation concrète au bloc opératoire. Deux exemples sont la création en 2023 de l’entreprise iGlobe-Scientifique, qui valorise des technologies développées dans CAMMA pour faciliter le diagnostic précoce du cancer du pancréas en écho-endoscopie, et la fondation en septembre 2025 avec plusieurs membres de mon équipe de la startup Scialytics, qui vise à améliorer la qualité et la sécurité des interventions chirurgicales grâce à l’IA.
Au-delà de la recherche et des projets de transfert, s’est posée la question de favoriser le dialogue et la collaboration entre les communautés informatique et chirurgicale, désireuses de travailler ensemble mais ne parlant pas forcément le même langage. Cela m’a amené, avec de proches collaborateurs cliniques, à créer des événements internationaux pour rapprocher ces communautés. Le succès rencontré témoigne de l’intérêt croissant et de l’engagement des nouvelles générations de chercheurs pour ce domaine. Plus largement, la richesse des échanges interdisciplinaires et le potentiel d’assistance qu’offre l’IA chirurgicale en font un domaine de recherche passionnant.
Pouvez-vous présenter la chaire de recherche que vous portez ? Quel est le thème central et quelles sont les questions que vous souhaitez aborder ?
La chaire FM4SURG (“Multimodal Foundation Models for Surgery”) a pour ambition de développer un modèle de fondation multimodal dédié à la chirurgie, c’est-à-dire un modèle pouvant être aisément adapté à un large éventail de tâches et de modalités de données (vidéos, image, texte, voix, etc). Ces tâches peuvent inclure, par exemple, l’analyse des interactions entre instruments et anatomie pour évaluer la qualité du geste ou la progression de la chirurgie, la rédaction automatisée du compte-rendu opératoire, la vérification des procédures de sécurité, l’explication d’un clip vidéo, ou encore la prédiction d’événements indésirables, etc. Aujourd’hui, une partie de ces tâches peuvent déjà être résolues par des modèles spécialisés, entraînés sur des jeux de données dédiés. Cependant, ces modèles sont généralement restreints à la tâche pour laquelle ils ont été conçus, et leur efficacité limitée aux centres où les données d’entraînement ont été collectées.
Avec FM4SURG je souhaite explorer plusieurs questions fondamentales :1) comment construire un modèle de fondation à partir de l’ensemble des données multimodales disponibles décrivant les processus opératoires (cours de chirurgie, livres, articles, commentaires vidéo) ? Ces données sont souvent très compliquées, bruitées et non alignées, décrivant des parties différentes d’une même procédure. 2) Comment adapter ce modèle, ou d’autres modèles existants, pour résoudre efficacement des tâches spécifiques, et ce avec très peu d’exemples ? Les modèles généralistes de type ChatGPT montrent actuellement des performances limitées en chirurgie, notamment pour les tâches nécessitant une véritable expertise clinique. Plusieurs stratégies d’adaptation et de sélection des exemples vont être explorées. 3) Comment évaluer ces modèles et mesurer leur capacité de généralisation, alors que les benchmarks publics sont quasi inexistants dans le domaine chirurgical ? On peut imaginer se passer d’une vérité terrain explicite, impossible à collecter à grande échelle, pour une partie de ces évaluations.
Pour aborder ces questions, je vais m’appuyer sur la richesse de l’écosystème local (IHU, IRCAD, HUS), avec lequel je collabore depuis 2012. Cet environnement offre un accès unique à l’expertise clinique et aux blocs opératoires. Le projet bénéficiera également de l’expérience acquise ces dernières années par mon équipe dans la construction des premiers modèles de fondation dédiés à l’analyse des vidéos chirurgicales, entraînés sur de vastes bases de vidéos et de cours de chirurgie. Parmi les objectifs, il s’agira d’intégrer de nouvelles modalités de données collectées le long du parcours patient, d’exploiter des sources d’information encore inexploitées sur les interventions chirurgicales, et de concevoir des modèles innovants combinant par exemple la flexibilité des modèles de fondation vidéo-langage avec la structure d’autres représentations tels que les graphes de scène.
Quels types de collaboration souhaitez-vous établir et quels impacts (scientifiques, sociaux, économiques, politiques) espérez-vous à court et long terme ? Comment envisagez-vous le transfert ou la valorisation des connaissances produites ?
J’espère que la chaire FM4SURG va me permettre de consolider et d’élargir des collaborations cliniques déjà établies, non seulement à Strasbourg, mais aussi à l’international avec des hôpitaux en Italie, en Espagne, au Canada et en Suisse -parmis lesquels les hôpitaux Gemelli à Rome et l’Inselspital à Berne, avec qui nous travaillons très étroitement. De telles collaborations prennent des années à se mettre en place. Par ailleurs, les bénéfices pour les cliniciens impliqués n’apparaissent souvent qu’au bout de plusieurs années. La pérennisation de ces collaborations sur le temps long et sur plusieurs projets est donc essentielle pour atteindre l’impact souhaité.
Par ailleurs, je souhaite que les modèles développés dans le cadre de la chaire permettent de s’attaquer plus facilement et plus rapidement, grâce à leur capacité de généralisation, à diverses questions cliniques, sur des procédures de domaines différents tels que la chirurgie bariatrique, gynécologique ou colorectale, afin d’accélérer le transfert des technologies IA vers le bloc opératoire, là où elles peuvent avoir un impact concret sur la pratique et les patients. La plupart des modèles que nous développons sont ensuite rendus publics, afin que la communauté scientifique puisse s’en emparer. J’espère que cette ouverture contribuera à stimuler la recherche dans le domaine de l’IA chirurgicale et, à terme, à faciliter l’accès des hôpitaux et des patients à ces technologies.
Le chemin est long de la recherche au produit –il l’est encore plus dans le domaine médical qui est fortement réglementé. La majeure partie du travail vient après la création du prototype de recherche. J’espère que la startup Scialytics, que nous venons de fonder, deviendra un vecteur privilégié de transfert et de valorisation des avancées issues de FM4SURG.
Pour aller plus loin :
[1] IA Grand Est ENACT est le cluster IA porté par l’Université de Lorraine, en partenariat avec l’Université de Strasbourg, Inria, le CNRS, l’Inserm, le CHRU de Nancy, les Hôpitaux Universitaires de Strasbourg, la Région Grand Est, la Métropole du Grand Nancy, l’Eurométropole de Strasbourg, l’Eurométropole de Metz et une cinquantaine d’entreprises privées. Il est lauréat de l’AMI “IA Cluster” opéré par l’Agence nationale de la recherche pour le compte de l’État, avec le soutien du plan France 2030. Le cluster vise à favoriser les synergies entre les acteurs de l’écosystème IA de la région et sa stratégie se traduit par des actions concrètes sur trois volets : formation, recherche et innovation.