Stage de Recherche - Mémoire neuronale pour les architectures Transformer

Publication date : Oct 06, 2026, 10:23AM

Contract duration : 6 months

Les grands modèles de langage (LLM) résolvent chaque jour des tâches semblables pour de nombreux utilisateurs. Pourtant, les poids d’un modèle restent fixes au cours de ces nombreuses utilisations et l’expérience accumulée n’est donc pas intégrée à ses futures inférences. Le but du stage est alors d’étudier le mécanisme dit de mémoire qui vise à aider le modèle à capitaliser sur ces expériences, c’est-à-dire à réutiliser des méthodes de résolution, des enchaînements d’actions, des connaissances factuelles ou des structures de problèmes rencontrés au fil des demandes. L’ambition est alors double : mieux réussir les tâches nouvelles et réduire, lorsque c’est pertinent, le calcul nécessaire à leur résolution.

Le stage portera sur les mémoires neuronales intégrées aux mécanismes internes du Transformer, plutôt que sur des mémoires textuelles ou des bases de connaissances externes. Pour cela, plusieurs pistes existent déjà dans la littérature [1], par exemple fondées sur la recherche de paires clé-valeur dans l’attention [2], le remplacement de certaines couches internes par des couches mémoire parcimonieuses [3], ou l’intégration d’une mémoire neuronale mise à jour pendant l’utilisation du modèle [4].

Sur le plan applicatif, l’un des enjeux est l’applicabilité de la mémoire à un service utilisé par plusieurs personnes. Ceci soulève en particulier le risque d’interférences entre sessions ou de révélation d’informations privées. Des travaux étudient déjà le contrôle du partage entre utilisateurs [5] mais son intégration à une mémoire neuronale interne reste à explorer. Le stage cherchera donc à déterminer quelles expériences mémoriser, quand les rappeler et comment gérer l’oubli pour améliorer les réponses sans alourdir le calcul.

Vous analyserez la littérature scientifique sur le sujet de la mémoire pour les agents et pour les architectures transformers. Vous étudierez les méthodes majeures, les environnements de test publics associés et les mettrez en œuvre. Vous proposerez des pistes d’amélioration de ces méthodes existantes. Vous analyserez les performances sous des angles variés comme la qualité des réponses, leur coût en inférence, la latence de génération, ou encore la persistance et l’oubli dans le temps. Vous présenterez vos résultats, leurs limites et les pistes de recherche, idéalement dans le cadre d’une soumission à une conférence internationale. Références

[1] Omidi et al., « Memory-augmented transformers: A systematic review from neuroscience principles to enhanced model architectures ». arXiv preprint arXiv:2508.10824, 2025. [2] Wu et al., « Memorizing Transformers », ICLR, 2022. [3] Berges et al., « Memory Layers at Scale », ICML, 2025. [4] Behrouz et al., « Titans: Learning to Memorize at Test Time », NeurIPS, 2025. [5] Rezazadehet al.,« Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control », arXiv:2505.18279, 2025.