Pleins feux sur l’IA à l’AWS Summit Paris 2024

Arthur Clarke a formulé dans une de ses lois que « Toute technologie suffisamment avancée est indiscernable de la magie », c’est à l’AWS Summit qu’on en prend la mesure.

Keynote d’ouverture. Photo par Sam Ramachandra.

Le ton est donné pour cet AWS Summit dès la Keynote, l’IA est au coeur de la stratégie AWS! Avec un marché de l’IA qui devrait représenter 2,000 milliards de dollars en 2030, Amazon tente le tout pour le tout afin d’onboarder sur ses plateformes le plus d’acteurs possible. Du point de vue visiteur à l’AWS Summit, on note une accélération très franche sur ce sujet, notamment au vu du nombre de talks sur le sujet entre la session de l’an passée et celle de 2024. Chez medici.tv on avait tout particulièrement apprécié la richesse des interventions lors de la session de l’an passé, ce qui nous permettait de nous challenger davantage sur notre infra 100% AWS.

L’AWS Summit Paris 2024 a été l’occasion pour Amazon de lancer sur la région Paris son outil d’application IA Bedrock et de gérer le support du modèle (de la société française) Mistral Large. On ressent une nette accélération de la course à l’IA, qui a subi des évolutions majeures en très peu de temps. Une émulation très forte a eu lieu en moins d’un an avec Anthropic qui a sortie 3 version de son modèle Claude, l’effervescence folle du français Hugging Face qui propose des modèles de données open source… Tout est rendu de plus en plus accessible pour les entreprises en leur promettant des économies d’échelle, de l’amélioration de productivité… mais quid de dompter cette magie et d’arrive à en faire une stratégie d’entreprise ?

Bedrock, c’est une des pierres angulaires d’AWS pour mettre à disposition des applications d’IA génératives avec les modèles les plus performants du marché. Claude 3, Mistral, Titan, Llama… Ces derniers sont disponibles facilement et simplement à travers les API d’AWS. Le Summit 2024 a été l’occasion de montrer les capacités d’analyses, de donner quelques uses cases génériques afin d’ouvrir des perspectives. Résumer des corpus, générer du texte SEO, faire du video to text, assistance de code, analyse de l’image couplée avec de la suggestion (on a eu une démonstration d’un prototype où on prend en photo son frigo et où il nous propose des recettes), génération de videos pour expliquer des prises en charges médicales, la reconnaissance de visages avec Rekognition… les possibilités techniques semblent infinies.

Avec Bedrock, Amazon entend devenir l’acteur incontournable de l’IA multimodale (pouvant gérer plusieurs sources de données comme du texte, vidéo, image, son…) intégrée aux éco-systèmes d’entreprise. La prise en main est simple, rapide et complètement intégrée à l’écosystème complet AWS. On peut ainsi interroger des composants de son infrastructure (les bases de données Aurora ou des données stockées dans le S3) pour faire travailler l’IA avec les données d’entreprise.

C’est également l’occasion de rappeler pour que sur Bedrock, :

• les données d’entreprise ne participent pas à entraîner le modèle
• elles restent dans votre VPC
• Les données sont chiffrées en transit et au repos
• qu’il est possible de l’utiliser dans la région Paris pour plus de souveraineté

En couplant avec tous les autres outils d’Amazon, on entre dans un véritable jeu de Lego aux possibilités quasi-infinies.

Under the hood, l’arrivée de nouveaux modèles

• Claude 3 (Haiku et Sonnet) sorti récemment permet notamment d’avoir des propositions plus “justes” que la mouture précédente. Il est en outre capable d’ingérer près de 200K tokens (soit environ 150 000 mots, ce qui est suffisant pour résumer un livre de 500 pages)

• Mistral Large permet d’avoir des performances proches de GPT4

Ces deux modèles s’ajoutent à une belle liste d’existant comprenant Titan et Stable Diffusion (génération d’image), Llama2, AI21’s Jurassic…

So What?

Reste peut-être le plus compliqué : faire marcher notre imagination. Plusieurs de mes collègues ont été impressionnés par les capacités techniques, l’écosystème semblant sans limite, mais peinent à voir quelle utilisation ils pourraient en faire pour leur quotidien et quels modèles utiliser.

Pour les use-cases, plusieurs axes de réflexion :

1. améliorer la productivité des équipes en intégrant l’IA comme un outil d’aide, notamment générer du texte SEO automatiquement (avec l’API Bedrock sur votre CMS), extraire d’une video les données pour en faire un résumé (via Amazon Transcribe), faire de l’explication de code quand on a du code legacy non-documenté (sujet d’actualité chez nous!), challenger du code et ne pas en réinventer la roue (AWS CodeWhisperer intégré à tous les IDE), détourer une image et remplacer le fond (Bedrock via le modèle Titan), produire des POC de code ou d’architecture (générer une app avec de l’IaaS (AWS Cloudformation forcément!) à partir d’un diagramme UML), trier des données rapidement dans des sets de données (exit les tableaux croisés dynamiques ou les Recherche-V), …
2. améliorer le produit et l’expérience utilisateur en enrichissant des moteurs de recommandation de contenus (comme le fabuleux outil AWS Personnalize, utilisé notamment par TF1 pour sa recommandation de contenus sur la plateforme de VOD TF1+), faire de l’extrapolation de texte pour enrichir la sémantique, extraire les mots clés d’un article pour nourrir le moteur de recherche, proposer des traductions complémentaires (DeepL)
3. retravailler les coûts d’exploitation en utilisant de l’IA pour aider à détecter des tentatives d’intrusion parmi des logs d’accès, utiliser les suggestions de templates d’IaaS pour industrialiser son infrastructure d’hébergement, mettre en place des actions automatisées dans l’infra simplement avec des suggestions d’IA d’uses cases Steps Functions…

Maintenant que l’idée est là, concrètement?

Plusieurs étapes :

1. Identifier le besoin, le résultat attendu, la précision attendue, le coût d’usage. Par exemple, si on souhaite qu’une IA retourne la capitale d’un pays, on peut lui demander “Quelle est la capitale de la France ?”. On obtient alors un texte plus ou moins long, avec parfois des éléments inventés (les “hallucinations”), et pas forcément le format de sortie souhaité. On doit alors lui préciser qu’on veut une réponse courte (“Paris”), et retourné dans un format particulier (ex. JSON) pour qu’il retourne à votre app une sortie exploitable.
2. Définir les briques à utiliser : quels services (notamment d’AWS) puis-je utiliser pour mener à bien mon projet ? Ai-je besoin d’extraire la données de mon datalake sur S3 ? Faut-il extraire les données d’une vidéo youtube ?
3. Définir le modèle associé. Les coûts d’usage de l’IA sont compétitifs, à condition d’utiliser le bon modèle pour la bonne tâche. Les différents modèles ont été conçus pour des usages divers. En utilisant les modèles proposés par Bedrock, on reste dans le générique qui répondra aux besoins les plus classiques, mais avec des niveaux de pertinences à adapter selon ses besoins. Par exemple le nouveau modèle Claude 3 existe en 3 déclinaison Haiku, Sonnet et Opus, proposant une complexité de résolution plus ou moins grande (et donc aussi potentiellement plus ou moins rapide), donc avec un coût associé variable (de $0.25 à $15 pour 1M de tokens). Commencer avec des prompts bon marchés (sans doute plus économes en énergie 🌿 ?), tester, itérer. Si aucun des modèles ne convient, se tourner vers HuggingFace qui pourra apporter d’autres modèles plus spécifiques.
4. Définir mon prompt. Il existe pas mal de règles pour mieux maîtriser la sortie d’une IA, avec notamment les cas d’hallucination. On intègre dans le prompt avec le modèle des contraintes du type : “n’invente pas si tu ne sais pas”.
   Les règles d’or c’est :
   1. Développer des cas de test, sans oublier les tests aux limites
   2. Ecrire son prompt
   3. Tester le prompt
   4. Affiner le prompt (revenir à l’étape 3)
   5. Valider son prompt par rapport au cahier des charges
5. Fine-tuning. Jouer sur les paramètres de fine-tuning des modèles (repetition factor, accuracy, source de données…) qui permettent de modifier la pertinence, réduire les coûts, réduire la latence de réponse…
6. Et n’oubliez de surveiller le ROI d’un projet d’IA 🙂 Le coût d’usage est à surveiller comme le lait sur le feu, n’oubliez pas de mettre des alertes de coûts pour les dépassement de seuils au niveau de AWS Cost Explorer!

Comparaison du coût d’usage selon les déclinaisons de Claude-3

Outre l’IA…

En plus de l’IA lors du Summit 2024, de belles démonstrations qui nous ont intéressées chez medici.tv sur :

• les possibilités de Step Functions, notamment pour enchainer des usages des services AWS les uns derrière les autres facilement et visuellement
• la mise en place de Chaos tests avec Fault Injection Simulator, pour simuler des pannes de service (perte d’une AZ, perte d’un noeud de cluster…) afin de tester la résilience de sa plateforme et suivre un des moto de Werner Vogels, CTO d’AWS “Everything fails, all the time”
• L’optimisation du workflow de transcodage video avec la suite AWS Elemental chez Canal Plus
• La recherche d’optimisation des Functions as a Service Amazon Lambdas avec Lambda Power Tuning.