Apprentissage des Opérateurs par Modèles de Fondation : Évaluation et Finetuning Appliqués aux Simulations de Transport Réactif et CFD

IFP Energies nouvelles (IFPEN) est un acteur majeur de la recherche et de la formation dans les domaines de l’énergie, du transport et de l’environnement. Depuis les concepts scientifiques en recherche fondamentale jusqu’aux solutions technologiques en recherche appliquée, l’innovation est au cœur de son action, articulée autour de quatre orientations stratégiques : climat, environnement et économie circulaire ; énergies renouvelables ; mobilité durable ; hydrocarbures responsables.

Dans le cadre de la mission d’intérêt général confiée par les pouvoirs publics, IFPEN concentre ses efforts sur l’apport de solutions aux défis sociétaux et industriels de l’énergie et du climat, au service de la transition écologique. Partie intégrante d’IFPEN, IFP School, son école d’ingénieurs, prépare les générations futures à relever ces défis.

Apprentissage des Opérateurs par Modèles de Fondation : Évaluation et Finetuning Appliqués aux Simulations de Transport Réactif et CFD

IFPEN est l’Institut national pour la recherche et innovation et la formation en énergie, mobilité et environnement. Ses équipes innovent pour un monde décarboné et durable depuis les concepts scientifiques jusqu’aux solutions technologiques. Procédés, équipements, produits, logiciels ou services : ses innovations bas-carbone posent les jalons de la transition énergétique et écologique et facilitent l’émergence de filières industrielles d’avenir. IFPEN imagine avec audace et conçoit avec rigueur les solutions pour la société de demain. 

Dans le Département Informatique Scientifique, vous travaillerez au cœur d’un environnement numérique de haut niveau (IA, données, génie logiciel, HPC), tout en restant étroitement associé aux experts métier des autres départements. 

Les simulations numériques sont indispensables pour la compréhension de phénomènes et la modélisation physique, représentant une étape nécessaire dans la conception de prototypes. Cependant, leur coût computationnel élevé limite leur praticité, ouvrant la voie à des approches basées sur l’intelligence artificielle (IA) et l’apprentissage automatique pour accélérer ces simulations [1], [2]. 

Ces travaux, pourtant, restent restreints et suscitent des réticences dans les communautés des méthodes numériques traditionnelles, étant donné la difficulté d’apprentissage et les plages de conditions limites fixées qui ne généralisent pas bien. En opposition, au cours des dernières années, l’IA a connu un essor considérable dans d’autres domaines tels que le langage naturel (NLP) et la vision par ordinateur grâce aux larges modèles entraînés sur des énormes bases de données (LLMs).

Ce phénomène s’inscrit dans un paradigme récent de la construction de modèles fondamentaux. A l’exemple de GPT, BERT, etc., ces modèles généralistes sont pré-entraînés à grande échelle : des grands jeux de données aux distributions très variées. Ensuite, ils peuvent être rapidement spécialisés (finetuning) à partir de quelques exemples seulement, représentatifs d’un cas d’usage. 

Depuis 2024, des nombreux [3], [4], [5], [6] travaux ont émergé pour adapter cette approche à l’apprentissage des opérateurs et à la résolution des équations aux dérivées partielles (EDP). Ils promettent une réduction significative du temps d’apprentissage et de bien généraliser à de nouveaux cas d’usage, étant donné qu’ils ont démontré leur capacité à apprendre les principes physiques sous-jacents en raison de la grande variabilité vue lors du pré-entraînement. 

Ce stage a pour objectif d’exploiter ces modèles fondamentaux et de les spécialiser pour différents cas d’usage, vérifiant à quel niveau ils généralisent et nécessitent un finetuning. IFPEN s’intéresse notamment à la dynamique des fluides computationnelle (CFD) et au transport réactif : avec des cas tests bien établis et à l’échelle industrielle. Une telle application permettra de vérifier cette approche prometteuse qui peut faciliter l’inclusion de l’IA dans le contexte des simulations numériques.

Objectifs

1. Réaliser une revue des approches actuelles pour évaluer leurs performances et leur cohérence avec les cas d’usage sélectionnés et pertinents pour IFPEN. 
   
2. Implémenter les approches les plus prometteuses sur les cas d’usage d’IFPEN, sans finetuning (zero-shot prediction). Évaluer le potentiel de transfert de chacun. 
   
3. En se concentrant sur un modèle et sur les cas tests considérés, appliquer différents niveaux de finetuning, puis en évaluer les performances, la capacité de généralisation et les limites. Le choix de la méthode de finetuning reste également une question ouverte. 

Profil

Étudiant(e) en M2, 3e année école d’ingénieur, ou Mastère Spécialisé, spécialisé(e) en Intelligence Artificielle, Mathématiques Appliquées, ou domaine similaire.  

• Compétences techniques souhaitées : apprentissage automatique, science des données, développement Python, physique et mathématiques appliquées (systèmes d’EDP, méthodes numériques, statistiques). Une maîtrise de tous ces domaines n’est pas obligatoire. 
• Intérêt marqué pour les applications de l’IA à des problématiques scientifiques. Curiosité, rigueur et capacité d’organisation pour structurer et communiquer des résultats techniques.