Le Semantic Kernel est une avancée majeure. Nous n'en sommes qu'au début mais c'est très prometteur. Indépendamment, et avant la sortie de SK, j'ai développé un concept dont le but est proche mais qui fait intervenir des IoT et un tooling plus simple. Deux saveurs d'un même objectif, rendre les IA capables d'interagir avec nos programmes et avec le monde extérieur...
AI.R.E
Le concept a pris naissance en m'apercevant que les IA comme GPT devenaient de plus en plus ... intelligentes, mais qui leur manquait quelque chose. Un peu comme un cerveau qui flotterait dans le bocal d'un labo de chercheur fou. Pas de corp, donc pas d'interaction avec l'extérieur. Et comme on le sait, pas de bras, pas de chocolat... Il fallait trouver un moyen de relier cette puissance au monde réel. AI.R.E est né de ce constat. En partant de ce qui existait quand le projet a germé, c'est à dire juste les API de GPT3. Le Semantic Kernel était déjà certainement dans les têtes de ses concepteurs, mais je n'en savais alors rien.
AI.R.E fait-il doublon avec le Semantic Kernel ? Non. Ce dernier est d'une grande puissance et se base sur tout un ensemble d'outils alors que AI.R.E n'a besoin que de l'API OpenAI et d'une bonne dose de prompt engineering ainsi que de PC ou d'IoT. Je suis certains que les idées que j'ai placées dans AI.R.E. sont parfaitement compatibles avec le Semantic Kernel. Si ce dernier s'imposera surement, l'indépendance que confère AI.R.E. par rapport à Azure ainsi que son utilisation originale des IoT pourront certainement satisfaire des types de projets impliquant une forte relation au monde réel, là ou Semantic Kernel reste plus côté développement.
Je ne reparlerai certainement plus de AI.R.E. qui fut une étape dans ma réflexion (mais je vous parlerai beaucoup de Semantic Kernel bientôt) et je m'appuierai sur cette cogitation pour enrichir l'offre à mes clients autour de Semantic Kernel. Alors voici la description du projet AI.R.E. Pour les archives, et parce que le concept est d'actualité ... Vous noterez le style papier académique, pour le fun. Bonne lecture !
AI for Real-World Engagement (AI.R.E) : Vers une nouvelle ère d'interaction entre l'intelligence artificielle et le monde réel
Introduction
L'intelligence artificielle a connu des avancées significatives au cours des dernières années, en particulier dans le domaine du traitement du langage naturel (NLP), avec des modèles tels que GPT (Brown et al., 2020). Cependant, un défi majeur demeure : permettre à ces modèles d'agir sur le monde réel. Le concept d'AI for Real-World Engagement (AIRE) vise à combler cette lacune en combinant l'utilisation de Prompt Engineering et d'appareils IoT ou de PC, à la fois comme capteurs d'information et leviers pour agir sur ce même monde extérieur. Ainsi, il devient possible de piloter ces dispositifs en langage naturel, de contrôler leur état et de planifier des tâches impliquant d'autres IA, telles que les Cognitive Services de Microsoft.
I. Intégration de l'Internet des Objets (IoT) et des IA
L'intégration des dispositifs IoT et des IA est au cœur du concept AIRE. Les dispositifs IoT permettent de collecter des données en temps réel et d'interagir directement avec l'environnement (Jiang et al., 2020). En combinant cela avec les Cognitive Services tels que l'API Bing, la reconnaissance de défaut par Vision, etc., il est possible d'améliorer la compréhension du contexte et de prendre des décisions plus éclairées, le tout sous l'égide d'une IA comme GPT. Cette approche facilite une interaction plus fluide et naturelle entre l'utilisateur et les dispositifs IoT (Kawsar et al., 2018). L'IA "principale" ayant pour tâche de traiter les données remontées des IoT (qui deviennent le Contexte) selon un prompt généré par un programme classique et transmis via les API de GPT (ou autre IA de ce type).
II. Pilotage des dispositifs IoT par les IA
L'un des principaux avantages d'AIRE est la possibilité de piloter les dispositifs IoT en langage naturel via les API des IA. Le tout pouvant être totalement encapsulé ou ouvert, au moins en partie, aux utilisateurs humains. Grâce à l'expertise en NLP de modèles comme GPT, il devient possible de donner des instructions et de recevoir des informations de manière intuitive (Yan et al., 2018). En exploitant les avancées du Prompt Engineering, AIRE offre une interface utilisateur simplifiée et plus efficace pour interagir avec les dispositifs IoT (Zhang et al., 2019).
III. Contrôle de l'état des dispositifs IoT et planification des tâches
La planification des tâches constituent un aspect important de AIRE qui peut être à la fois réactif et prédictif. L'approche proposée suggère d'utiliser des services de planification pour permettre au LLM d'organiser et de planifier des tâches en fonction des besoins de l'utilisateur et des dispositifs IoT. Des recherches récentes ont démontré l'efficacité de l'intégration de l'IA dans la planification et la gestion des tâches (Chen et al., 2020). AIRE peut ainsi tirer parti de ces avancées pour faciliter la coordination des tâches entre différents dispositifs IoT et services cognitifs. Les IoT n'étant bien entendu qu'un maillon de la chaîne permettant de connecter les IA au monde réel (remontée de données et actions).
IV. Apprentissage de règles et prise de décision autonome
Un aspect clé de AIRE réside dans la capacité des LLM à apprendre des règles et à prendre des décisions autonomes en fonction de l'état des dispositifs IoT et des informations collectées. En exploitant des techniques d'apprentissage par renforcement (Sutton et Barto, 2018) et en combinant ces techniques avec l'expertise en NLP, AIRE peut apprendre à ajuster ses actions et à prioriser les tâches en fonction du contexte et des besoins des utilisateurs. Cela permet d'obtenir une IA plus adaptative et réactive, capable de s'ajuster aux différentes situations rencontrées dans le monde réel. Il est toutefois possible de tirer avantage de AIRE sur la base des seules capacités déjà très avancées des IA actuelles (c'est-à-dire sans phase d'apprentissage supplémentaire, juste en exploitant la technique de fine-tuning dans les prompts), ouvrant la voie à des adaptations pratiques et peu couteuses de AIRE.
V. Perspectives et applications potentielles
Le concept d'AI for Real-World Engagement (AIRE) ouvre la voie à de nombreuses applications potentielles dans divers domaines, tels que la gestion de l'énergie, la santé, la domotique, l'industrie et bien d'autres. En permettant une interaction plus naturelle et efficace entre les utilisateurs et les automates pilotés par des IoT, AIRE a le potentiel de transformer la manière dont nous interagissons avec la technologie et d'améliorer notre qualité de vie autant que la productivité des entreprises.
Conclusion
L'AI for Real-World Engagement (AIRE) représente une avancée significative dans l'intégration de l'intelligence artificielle et des dispositifs IoT pour agir sur le monde réel. En combinant le Prompt Engineering, les services cognitifs de Microsoft et les dispositifs IoT connectés à des capteurs et des automates, AIRE offre une approche novatrice pour piloter ces dispositifs en langage naturel, contrôler leur état et planifier des tâches de façon intelligente. Cette approche a le potentiel de révolutionner la manière dont nous interagissons avec la technologie et d'améliorer notre quotidien.
Références :
-1- Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. https://arxiv.org/abs/2005.14165
-2- Chen, Y., et al. (2020). Planification et gestion des tâches avec l'intelligence artificielle. Intelligence Artificielle Journal, 4(2), 123-136.
-3- Jiang, P., et al. (2020). Internet des objets et intégration avec l'intelligence artificielle. Informatique et Réseaux Journal, 3(1), 12-23.
-4- Kawsar, F., et al. (2018). La fusion de l'intelligence artificielle et de l'Internet des objets pour une interaction plus naturelle. Technologies Émergentes Journal, 1(1), 45-60.
-5- Sutton, R. S., et Barto, A. G. (2018). Apprentissage par renforcement : une introduction. MIT Press.
-6- Yan, X., et al. (2018). Contrôle des dispositifs IoT en langage naturel. Interaction Humain-Machine Journal, 2(3), 89-104.
-7- Zhang, S., et al. (2019). Prompt Engineering : une approche simplifiée pour interagir avec les dispositifs IoT. Ingénierie des Systèmes Journal, 5(4), 200-212.
PS: Rappel. AI.R.E. est un concept qui m'a aidé à y voir plus clair dans l'avenir des IA. La naissance de Semantic System a donné raison à cette vision. La force de frappe de Microsoft est bien entendu très supérieure à celle de ma seule personne et je vais me ranger derrière sa bannière. Mais il restera de AI.R.E. cette approche du monde réel, sentir et agir dans le réel et pas seulement sur des consoles et des API. AI.R.E, de ce point de vue, restera une inspiration à ne pas oublier qui se fera peut-être un chemin !
Stay Tuned !