RAPIDE ET FURIEUX Pourquoi l'IA hybride surpasse la combustion de jetons

Nous vivons assurément une époque intéressante et en constante évolution. J'ai récemment rencontré Derek Holt, PDG de Digital.ai, pour un prochain épisode de son podcast, ReleasedNous avons abordé l'impact de l'IA sur le développement logiciel lors d'une conférence intitulée « The Story Behind the Software ». Quelques jours seulement après notre échange, des entreprises s'étaient déjà passionnées pour une nouvelle activité : la collecte de jetons !

Qu'est-il arrivé? De plus en plus de fournisseurs optent pour un modèle de licence basé sur la consommation.

On a l'impression de revivre les débuts de l'engouement pour le cloud il y a plus de dix ans. Vous vous souvenez ? On pensait que tout était possible, jusqu'à l'arrivée de la première facture de notre fournisseur de services cloud. Cette fois-ci, les hausses de prix ne devraient pas nous surprendre. Si vous avez suivi l'actualité des entreprises d'IA ces derniers mois, vous savez que les investissements colossaux qu'elles financent seront répercutés sur nous, les utilisateurs. Rien que ces douze derniers mois, les entreprises d'IA ont levé plus de 225 milliards de dollars grâce à des émissions obligataires, et les investisseurs souhaitent un retour sur investissement rapide.

Alors, y a-t-il une issue ? Nous aurions dû tirer les leçons du passé. Mais en tant qu'êtres humains, face à une révolution comme l'IA, nous avons tendance à expérimenter et à tout essayer. C'est un schéma récurrent dans l'histoire de l'humanité.

La réponse est pourtant simple : PENSEZ À UN MODÈLE HYBRIDE !

Qu'est-ce que ça veut dire? Au cours de la dernière décennie, nous pouvions choisir le mode de déploiement de nos outils de développement logiciel, par exemple en mode SaaS ou sur nos propres serveurs. Avec de nombreux fournisseurs, l'IA a supprimé cette liberté. Si vous souhaitez bénéficier des fonctionnalités d'IA, le SaaS est souvent la seule option, et de nombreux fournisseurs ne vous laissent même plus le choix du modèle LLM. La question essentielle est de savoir si nous avons réellement besoin du modèle LLM le plus imposant pour la tâche à accomplir. À quelle fréquence générez-vous du code ? Et à quelle fréquence traduisez-vous de la poésie médiévale ? Les modèles LLM de grande taille peuvent effectuer les deux, mais à un coût bien supérieur à celui d'un modèle plus petit et optimisé, adapté à vos besoins, qui génère du code, gère les demandes de fusion ou améliore la structure des descriptions de tâches et des exigences.

Ces douze derniers mois, les prix des serveurs dédiés à l'IA ont explosé. Pourtant, vous serez peut-être surpris de la rapidité avec laquelle vous pouvez rentabiliser votre infrastructure auto-hébergée, voire même des modèles isolés (sans connexion Internet), fonctionnant sur votre propre matériel. Des simulations ont démontré que le coût sur trois ans des solutions SaaS peut être six à sept fois supérieur à celui de l'auto-hébergement, même en tenant compte de l'achat et de l'exploitation du matériel nécessaire. De plus, les configurations auto-hébergées offrent parfois des délais de mise en œuvre plus courts. Enfin, la sécurité est renforcée, car vos données restent toujours sur votre infrastructure.

Dans le domaine de l'IA agentielle pour le développement logiciel, l'approche hybride comporte deux dimensions : le modèle de déploiement et le modèle de langage (LLM). Je pense que nous verrons un mélange de modèles de langage de grande taille et de modèles spécialisés dans le développement logiciel : les modèles de grande taille seront utilisés en mode SaaS pour traiter des pétaoctets de données, tandis que les modèles spécialisés prendront en charge les tâches quotidiennes.

Permettez-moi de conclure sur une dernière réflexion. Nombre d'outils utilisés dans le domaine datent d'avant l'ère de l'IA et sont en place depuis des années, voire des décennies. Il est temps d'envisager leur modernisation. Beaucoup d'organisations sont insatisfaites des résultats de leurs initiatives en matière d'IA ou sont confrontées à de nouveaux problèmes de sécurité et à des goulots d'étranglement au niveau de leur infrastructure. L'une des raisons est le manque de contexte, dû à la fragmentation des données au sein d'ensembles d'outils construits selon une approche « best-of-breed ». Rendre ce contexte accessible est essentiel pour tirer pleinement parti de vos jetons grâce à l'IA agentielle. Parallèlement, il est tout aussi important de moderniser votre infrastructure d'outils afin d'éviter les goulots d'étranglement dans le pipeline CI/CD. Le maître-mot ici est l'automatisation. Si vos outils sont difficiles à automatiser, il est temps d'envisager un changement.

Pour les organisations prêtes à repenser leurs modèles de déploiement, leurs choix en matière de gestion du cycle de vie des logiciels (LLM) et l'automatisation tout au long du cycle de vie du développement logiciel (SDLC), c'est exactement là que se trouve l'organisation idéale. Digital.ai Et l'humeur « savoir fou » peut aider. Derek et moi abordons tous ces points dans notre prochain podcast. Brûler des jetons : le coût caché d’une IA défaillanteDu coût réel de l'IA aux raisons pour lesquelles les humains doivent garder le contrôle, notre partenariat élargi tombe à point nommé.

Vous trouverez l'intégralité de la conversation dans les prochains jours.