Ingénieur∙e de développement — Systèmes interactifs temps réel humain-IA

About the role

Grande école d’ingénieur généraliste de l’IMT-Institut Mines-Télécom, premier groupe d’écoles d’ingénieurs de France, IMT Atlantique a pour ambition d’accompagner les transitions, de former des ingénieurs responsables et mettre l'excellence scientifique et technique au service de l'enseignement, de la recherche et de l'innovation. Contexte du poste : Le programme national PEPR eNSEMBLE (France 2030) et son programme ciblé MATCHING (https://www.pepr-ensemble.fr/matching-collaboration-avec-des-systemes-intelligents/) portent sur l'étude et la transformation des environnements de collaboration numérique, en visant de nouveaux modèles sociotechniques permettant une collaboration efficace, inclusive et interopérable entre individus et systèmes intelligents. Le poste s'inscrit dans le cadre de deux projets ciblés portés par le programme MATCHING : • DÉCAFEIN' : un environnement virtuel collaboratif multi-utilisateurs (réalité virtuelle) dans lequel des participants interagissent avec des agents virtuels socialement interactifs pour résoudre une enquête, avec analyse multimodale du comportement (verbal, non-verbal, physiologique) à des fins thérapeutiques, pédagogiques ou ludiques. • CollabJam: un démonstrateur ludique de jeu musical collectif avec une IA générative comme partenaire musical, également conçu comme un outil d’expérimentation scientifique. À travers différents scénarios, il permettra d’étudier différentes formes de collaboration humain–IA, en faisant varier le comportement du partenaire IA (accompagnement, proposition de variations ou perturbations délibérées), ainsi que les formes de communication non-verbale permettant aux participants de partager et négocier leurs intentions esthétiques. Les deux projets partagent un même défi scientifique et technique : concevoir un système où un agent (virtuel ou musical) perçoit en temps réel des signaux multimodaux produits par un groupe et adapte dynamiquement son propre niveau d'autonomie ou de coopération en fonction de l'activité collective. L'ingénieur(e) recruté(e) contribuera au développement technique des deux démonstrateurs, en priorisant la mutualisation des briques génériques et en respectant les spécificités propres à chacun. 1- MISSIONS 1. Socle commun aux deux projets • Concevoir et développer des boucles d'interaction temps réel entre un groupe d'utilisateurs et un agent adaptatif (virtuel ou génératif). • Mettre en place l'acquisition, la synchronisation et l'horodatage de flux multimodaux hétérogènes selon le projet (audio, gestuel et physiologique pour DÉCAFEIN' ; flux MIDI pour CollabJam). • Implémenter une logique de modélisation d'un « niveau d'agence » ou de coopération de l'agent, piloté par l'historique d'interaction du groupe. • Concevoir des mécanismes de restitution de l'état de l'agent aux utilisateurs (feedback, visualisation, retour sensoriel). • Contribuer à la production de corpus multimodaux exploitables pour l'évaluation scientifique de la collaboration. • Documenter les développements et participer aux échanges avec les équipes de recherche des pôles PC1 et PC3 du programme eNSEMBLE. 2. Spécifique à DÉCAFEIN' • Les agents virtuels de DECAFEIN sont incarnés • Développer l'environnement de réalité virtuelle multi-utilisateurs sous Unreal Engine 5 (intégration Metahumans pour les agents virtuels). • Mettre en œuvre l'architecture matérielle distribuée à 5 postes (4 participants + 1 expert) et la synchronisation réseau entre instances. • Intégrer les dispositifs de capture (eye-tracking, fréquence cardiaque, activité électrodermale, audio) et leur horodatage avec les événements de la simulation. • Implémenter la logique conditionnant la révélation d'indices par les agents virtuels à la qualité du comportement multimodal détecté chez les participants. 3. Spécifique à CollabJam • Le ou les agents virtuels de CollabJam ne sont a priori pas incarnés. • Concevoir et dévelo

Skills