AI Design Meetup-Optimiser l’intelligence par Watt
LLM locaux • Vision embarquée • Optimisation d’infrastructure
mercredi 21 janvier 16h-17h à salle du conseil ENSEIRB-MATMECA
L’IA sur des machines locale (inférence locale, le traitement d’images) peut remplacer actuellement en majeure partie la charge actuellement traitée par des clouds spécifiques IA.
Pour les Large Language Models, des travaux récents montrent que des petits LLMs (moins de 20B paramètres) sont dorénavant compétitifs pour de nombreuses tâches.
Que ce soit pour l’analyse d’images, de vidéos ou de documents, des accélérateurs pour les traitements d’IA existent et permettent d’atteindre une latence permettant l’interaction en temps réel.
Les performances des outils d’IA resultent d’un couplage entre le logiciel, au plus près des besoins spécifiques, et du matériel et notamment des accélérateurs.
Objectifs
• Co-développer une plateforme de test pour l’IA locale sur matériel hétérogène;
• Mesure fine de l’énergie, de la latence, et de la qualité d’IA;
• Déployer des benchmarks alignés sur des besoins industriels concrets, permettant de définir le meilleur logiciel et matériel adapté aux besoins.;
• Former ingénieurs et étudiants aux technologies IA locales et souveraines.
Valeur pour les industriels
• Accès prioritaire à la plateforme et aux résultats expérimentaux, suivi des évolutions matérielles/logicielles;
• Co-construction de formations spécialisées;
• Maîtrise des coûts, de la consommation, des performances;
• Participation à une initiative stratégique, développement d’un centre de compétence et d’optimisation d’infrastructure IA.
Adrien Cassagne
Maître de conférences, LIP6, Sorbonne Université.
keywords: computer vision on embedded Systems on Chip,
inference of Deep neural networks, software defined radio
Christophe Jego
Professeur, IMS, ENSEIRB-MATMECA
keywords: algorithm-architecture matching,
SoC design, FEC decoders in digital communications.
Denis Barthou
Professeur, LaBRI, ENSEIRB-MATMECA
keywords: code optimizations for AI and compute intensive applications, parallelism, inference and training for LLMs.
Patrice Kadionik
Maître de conférences HDR, ENSEIRB-MATMECA
keywords: embedded system conception, algorithm-architecture matching,
SoPC codesign, open hardware, free software, RTOS, IoT, AI for embedded
systems
