REX GenAI

Quand beaucoup font des posts prédictifs sur l’IA en 2024, je vais faire un petit REX sur les demandes clientes liées à la GenAI que nous traitons / avons traité chez Coddity depuis maintenant 1 an.

Agents documentaires

Sans surprise, la majorité est constituée par les demandes de développement d’agents utilisant une documentation / savoir propre à l’entreprise. Ces demandes sont adressables par des architectures de type RAG fait maison, ou des solutions comme Search and Conversation de Google ou depuis peu, des GPTs privés de OpenAI. La promesse des RAG est assez élevée, avec des performances qui dépendent grandement de leur mise en œuvre et du contenu qu’ils doivent traiter. On est très éloigné des “drag and drop your pdf and chat with it” promis par beaucoup à l’échelle d’une entreprise. D’autant que le coût d’une architecture RAG performante est loin d’être négligeable (il suffit de regarder le coût de DB managées intégrant la recherche vectorielle). Le challenge de 2024 va être de faire évoluer ces architectures en prenant en compte le multimodal, ouvrant de nouvelles possibilités aux RAG.

Agents conversationnels privés

Aucune surprise, beaucoup de demandes d’avoir un ChatGPT interne dont aucune donnée ne sort, avec un LLM interne ou filtré pour les salariés. Pour le moment, le coût d’avoir un agent interne (On Premise ou cloud) à partir d’un LLM open-source comme Mistral ou Llama est assez élevé si on veut une solution performante, rapide et disponible, refroidissant beaucoup les ardeurs. L’utilisation d’un LLM via une API est la solution de raison, que ce soit OpenAI/Microsoft, la plateforme plus que complète Vertex de Google ou, nouveauté de quelques semaines, l’API Mistral AI.

⚙ Intégration métier / service IA

Il s’agit d’intégrer directement l’IA en tant que service logiciel au sein d’architectures existantes. Évidemment on parle d’environnements de production et de leurs contraintes, auxquelles s’ajoutent celles propres aux LLM : hallucinations, latences, ou contrôle des complétions. Sans parler du côut important si on choisit une solution basée sur un LLM OnPrem.

Accueil par les humains

Pour avoir fait beaucoup d’actions de formation / présentations auprès de grandes et petites entreprises ces 4 derniers mois, voici ce que j’en retiens :

👉 Les early adopters sont vraiment moteurs dans l’intégration de la genAI. Je pense que la clef est la rapidité/facilité à tester des POCs et montrer un apport de valeur permettant de créer des projets plus conséquents.

👉 Former les équipes à l’utilisation de la GenAI / prompting est un vrai sujet à ne surtout pas négliger. Je me suis pas mal “moqué” du prompt engineering, erreur d’appréciation de ma part.

👉 Il y a des cas d’usages pour tous les métiers, encore faut-il aller les voir. Je ne compte plus les “ah mais ça peut faire ça??” (mon moment préféré)

Maintenant des points de réflexion.

👇

Perception contre réalité

Nous constatons un différentiel entre la perception de ce qu’il est possible de faire avec la GenAI et la réalité : non, il ne faut pas une armée de chercheurs en IA pour répondre à la majorité des cas d’usage. Entre les API disponibles, les modèles open-sources et les infra disponibles en 1 clic, on arrive très rapidement à un POC permettant de débloquer les moyens pour une solution “production ready”. Je parle de la majorité des cas pas de tous les cas d’usage, cette vision ne s’applique évidemment pas à des cas ou domaines très spécifiques.

Exemple tout récent d’une institution de l’état qui souhaite un service à base d’IA générative. Le use case est assez classique, mais l’appel d’offre insistait beaucoup sur la nécessité d’avoir une équipe de R&D, de chercheurs en IA pour qu’une entreprise répondante soit considérée comme crédible. Le projet était découpé en 3 phases : POC avec 3 entreprises de 2 mois, prototype production ready avec 2 entreprises de 4 à 6 mois et production. Etant donnée que nous n’avons pas de chercheurs en IA ou d’équipe de R&D, qu’objectivement le cas est plutôt simple et que nous allons affronter les mastodons comme CapG ou Sopra, nous avons choisi l’angle de la provoque et avons développé en quelques jours 80% du POC que nous avons renvoyé en guise de réponse à l’AO. Comment ? En utilisant des modèles opensource qui nous ont permis d’atteindre, sur ce use case précis, un niveau de performance hallucinant. (Nous attendons la réponse à notre proposition.)

Là où c’est “amusant” c’est que le différentiel perception/réalité va dans les 2 sens : une bonne partie pense que la GenAI est magique et qu’avec un seul drag and drop de documents PDF, un agent conversationnel est capable de remplacer une équipe complète de 15 personnes. C’est possible mais ça demande tout de même un peu d’ingénierie 👨‍🔧 Echange lunaire avec un client qui me dit exactement ça, et à qui je réponds : “si on est capable de remplacer toute ton équipe en 3 clics, je pense que tu as un problème”.

Tailleur vs Prêt à Porter

Pleins de PME/ETI veulent déployer de la GenAI pour améliorer leur processus / soulager leurs équipes, très souvent sur des use cases communs à d’autres entreprises. Si créer une solution genAI reste très abordable et rapide (voir le premier point), comment une société comme Coddity peut vendre ?

Le ROI opérationnel est immédiat , mais vendre à nos clients la solution complète n’est pas intéressant pour eux (amortissement et maintenance). L’alternative est de vendre le dispositif en SaaS. C’est séduisant mais implique de nous transformer sur 1 produit pas très cher en éditeur de logiciel et amortir l’investissement en allant chercher d’autres clients. Ca peut fonctionner sur 1 produit, mais ce n’est pas scalable avec d’autres, potentiellement très différents, d’autant que vendre du service sur-mesure ou un produit ne sont pas du tout les mêmes choses (et je sais de quoi je parle).

Un prospect nous indique que sa consultante externe en veille réglementaire va partir en retraite et nous demande si on peut utiliser l’IA pour la remplacer pour moins cher. Oui on peut, mais le cout de mise en place de cette solution venue et exploitée lui couterait entre 10 et 15k, après avoir creusé le sujet. Evidemment ça devient nons rentable pour lui d’acheter à 15k plus la maintenance. En revanche, un abonnement à 1000 € par an est envisageable, reste plus qu’à trouver un peu plus de client.

Inertie

Le dernier point est classique dans l’édition logicielle (sur mesure vs SaaS), mais selon moi les différentiels de coûts sont beaucoup plus faibles sur l’IA, ce qui ouvre de nouvelles perspectives. Prenons un peu de hauteur. Si développer une IA de veille réglementaire pour le secteur industriel est finalement “assez simple”, une entreprise spécialisée comme Dekra peut / pourra / va le faire. Ils ont les ressources et la connaissance pour le faire, si elle le choisisse (vous vous souvenez de Kodak?).

Si cette IA permet à 1 consultant réglementaire de travailler comme 4, qu’est ce qu’un mastodonte comme Dekra va faire des 3 autres ? Pendant qu’ils seront embourbés sur cette question, toute startup bootstrapée de quelques personnes aura le champ libre pour prendre des parts de marché non négligeables avec des un prix de vente et des couts beaucoup plus faible que ceux de Dekra.

C’est dans ce sens que je rappelle l’affaire Onclusive

Conclusion

Vous voulez faire fortune en 2024/2025 ? Penchez vous sur les secteurs consommant beaucoup de temps de cerveau, je pense que c’est un bon filon !