MISE EN PLACE D’UN AGENT LLM LOCAL SPECIALISE CHEZ CLEARSY

Objectif :

Développer, tester et intégrer un système LLM interne (Large Language Model) qu’on puisse spécialiser par projet CLEARSY, en vue d’une généralisation à l’échelle de l’entreprise.

Contexte :

CLEARSY, spécialiste des systèmes critiques et de sûreté, a initié une démarche proactive d’exploration et d’intégration des technologies d’IA générative via son infrastructure interne : le CLEARSY AI Server.

Des expérimentations ont été menées autour des grands modèles de langage (LLM) pour automatiser certaines tâches techniques, comme le commenting de code, et pour proposer un chatbot local et sécurisé à usage interne.

Dans la continuité de cette dynamique, CLEARSY cherche à disposer d’agents IA locaux spécialisés par projet. Dans cette optique, la technologie RAG (Retreival-Augmented Generation) a été testée, avec des résultats mitigés. On s’intéresse désormais à la possibilité de compléter l’apprentissage d’un LLM (fine tuning) avec la documentation d’un projet, pour obtenir la spécialisation voulue. L’objectif est donc d’expérimenter un tel complément d’apprentissage, tout en conservant la capacité du chatbot à citer ses sources, vérifier les performances obtenues et de veiller à la reproductibilité de l’apprentissage pour de futurs projets.

Contenu et structuration du stage :

Le stage s’inscrit comme un projet d’exploration, de conception et de mise en œuvre complet, structuré en plusieurs phases :

• Analyse et cadrage du besoin :
  • Identification des besoins du projet et analyse des données disponible
  • Définition des contraintes (sûreté, local, performance, scalabilité, interfaces).
• Veille et benchmark technique :
  • Étude des processus d’apprentissage mis en œuvre dans les LLM, avec en particulier les techniques pour qu’ils puissent citer leurs sources.
  • Tests de performance avec différentes stratégies de fine-tuning (Continual fine-tuning, Adapter-tuning / LoRA, …)
• Développement de la solution retenue :
  • Mise en place de la chaîne IA choisie sur le CLEARSY AI Server.
  • Sur la base documentaire technique d’un projet CLEARSY existant…
• Validation et documentation :
  • Évaluation des performances : avec la participation des équipes du projet test choisi, évaluation de l’utilité des réponses sur des requêtes nécessitant une connaissance et compréhension du projet test.
  • Rédaction d’un guide d’utilisation et d’un retour d’expérience. Le guide d’utilisation devra en particulier détailler comment faire une telle spécialisation, ou comment l’étendre avec de nouveaux documents.

Livrables attendus :

• Prototype fonctionnel de chaîne IA intégrée sur serveur CLEARSY
• Scripts, librairies et infrastructure logicielle associée
• Benchmark comparatif des solutions testées
• Rapport technique complet et documentation d’intégration

Compétences recherchées :

• IA, NLP, LLM fine-tuning
• Programmation Python avancée
• Librairies Python : HuggingFace, Transformers, LangChain, PEFT, TRL, …
• Connaissances en architecture logicielle, API, développement orienté objet
• Capacité à mener une veille technologique
• Autonomie, esprit d’initiative, rigueur scientifique