AI Design Meetup-Optimiser l’intelligence par Watt
LLM locaux • Vision embarquée • Optimisation d’infrastructure
L’IA sur des machines locale (inférence locale, le traitement d’images) peut remplacer actuellement en majeure partie la charge actuellement traitée par des clouds spécifiques IA.
Pour les Large Language Models, des travaux récents montrent que des petits LLMs (moins de 20B paramètres) sont dorénavant compétitifs pour de nombreuses tâches.
Que ce soit pour l’analyse d’images, de vidéos ou de documents, des accélérateurs pour les traitements d’IA existent et permettent d’atteindre une latence permettant l’interaction en temps réel.
Les performances des outils d’IA resultent d’un couplage entre le logiciel, au plus près des besoins spécifiques, et du matériel et notamment des accélérateurs.
Objectifs
• Co-développer une plateforme de test pour l’IA locale sur matériel hétérogène;
• Mesure fine de l’énergie, de la latence, et de la qualité d’IA;
• Déployer des benchmarks alignés sur des besoins industriels concrets, permettant de définir le meilleur logiciel et matériel adapté aux besoins.;
• Former ingénieurs et étudiants aux technologies IA locales et souveraines.
Valeur pour les industriels
• Accès prioritaire à la plateforme et aux résultats expérimentaux, suivi des évolutions matérielles/logicielles;
• Co-construction de formations spécialisées;
• Maîtrise des coûts, de la consommation, des performances;
• Participation à une initiative stratégique, développement d’un centre de compétence et d’optimisation d’infrastructure IA.
Discussion au Workshop AI4industry
Enregistrez vous à la discussion
📍 ENSEIRB-MATMECA — 21 janvier 2025, à partir de 16h autour d’un café, salle à définir.