CDD (Conversation-Driven Development)

Le développement axé sur la conversation CDD, tirant son nom de l'anglicisme Conversation-Driven Development, est le processus d'écoute de vos utilisateurs et d'utilisation de ces informations pour améliorer l'assistant IA. Elle est considéré comme l'approche globale des meilleures pratiques pour le développement d'agent conversationnel (Chatbot). Développer d'excellents un bon assistant IA est considéré comme un défi de l'inconnu car les utilisateurs diront toujours quelque chose que vous n'aviez pas prévu.

Le principe du CDD est que dans chaque conversation, les utilisateurs vous disent exactement ce qu'ils veulent. En pratiquant le CDD à chaque étape du développement de bot, oriente votre assistant vers le langage et le comportement réels de l'utilisateur. Le CDD comprend les 6 actions suivantes :

• Partager : Partagez votre assistant avec les utilisateurs dès que possible
• Revue : Passez en revue les conversations sur une base régulière
• Annoter : Annoter les messages et les utiliser comme données d'entraînement NLU
• Test : Vérifiez que votre assistant se comporte toujours comme prévu
• Suivi : Suivez les échecs de votre assistant et mesurez ses performances au fil du temps
• Corriger : Corrigez la façon dont votre assistant gère les conversations infructueuses

Le CDD n'est pas un processus linéaire; vous reviendrez encore et encore aux mêmes actions au fur et à mesure que vous développerez et améliorerez votre bot.

Le CDD aux premiers stades de développement

Si vous en êtes au tout début du développement d'un bot, il peut sembler que CDD n'a aucun rôle à jouer - après tout, vous n'avez pas encore de conversation ! Cependant, il existe des actions CDD que vous pouvez entreprendre au tout début du développement du bot :

• Consultez les meilleures pratiques pour les données NLU et les récits pour plus de détails sur la création de données d'entraînement en tenant compte de CDD.
• Donnez la chance aux utilisateurs de tester votre bot dès le début. LE CDD consiste à écouter vos utilisateurs, donc plus tôt vous en trouverez, mieux ce sera. Les utilisateurs de test peuvent être toute personne ne sachant pas déjà comment votre bot fonctionne de l'intérieur. Les membres de l'équipe de développement de bot ne doivent pas être des utilisateurs de test, car ils savent exactement ce que le bot peut et ne peut pas faire. Ne surinstruisez pas vos utilisateurs de test; ils devraient avoir autant de connaissances sur le domaine du bot que vos utilisateurs finaux.
• Configurez un pipeline CI/CD.
• Le CDD conduit à des mises à jour fréquentes et plus petites de votre bot lorsque vous collectez des informations à partir des conversations de bot. La configuration d'un pipeline CI/CD au début du développement vous permettra d'agir rapidement sur ce que vous voyez dans les conversations.

À ce stade, vous pouvez installer Rasa X en mode local pour faciliter le partage de votre bot avec les utilisateurs de test, collecter des conversations et appliquer les meilleures pratiques NLU et de récit en fonction des conversations que vous collectez.

CDD avec un bot en production

Une fois que votre bot est en production, vous aurez plus de conversations pour obtenir des informations. Ensuite, vous pouvez appliquer pleinement les actions CDD. À ce stade, vous pouvez installer Rasa X sur un serveur afin de déployer votre bot et d'activer le CDD avec un bot en production.

Revue

Vous devez rechercher dans les conversations ce que les utilisateurs demandent vraiment. Vos utilisateurs de test avaient cependant au moins quelques instructions sur ce que le bot était censé faire; les vrais utilisateurs n'ont souvent aucune idée ou ignorent les instructions leur étant données. Vous ne pouvez pas répondre à tous les comportements inattendus des utilisateurs, mais vous pouvez essayer de résoudre les principaux points de friction que vous remarquez. Voici quelques éléments que vous pourriez envisager de rechercher :

• Examinez les conversations où une intention «out_of_scope» ou un comportement de repli s'est produit. Ceux-ci pourraient indiquer une nouvelle compétence potentielle, ou simplement un énoncé d'utilisateur mal classé.
• Recherchez la frustration des utilisateurs, comme les demandes de transfert à un humain.

Annoter

Continuez à suivre les meilleures pratiques pour NLU lorsque vous ajoutez de nouveaux énoncés utilisateur issus de conversations réelles à vos données d'entraînement. Veillez à ne pas suradapter votre modèle NLU à des énoncés comme ceux déjà dans vos données d'entraînement. Cela peut se produire lorsque vous ajoutez en permanence des énoncés utilisateur ayant déjà été correctement prédits et avec une grande confiance à vos données d'entraînement. Pour éviter le surajustement et aider votre modèle à se généraliser à des énoncés d'utilisateurs plus diversifiés, n'ajoutez que les énoncés d'utilisateurs que le modèle avait précédemment prédits de manière incorrecte ou avec un faible niveau de confiance.

Tester

Ajoutez des conversations d'utilisateurs réussies à vos conversations de test. Faire cela de manière cohérente vous aidera à ne pas introduire de régressions lorsque vous apportez d'autres correctifs à votre bot.

Suivi

Recherchez des indices de réussite et d'échec pour vous aider à suivre les performances de votre bot. Certaines métriques sont externes à votre bot. Par exemple, si vous créez un robot pour soulager la demande d'un centre d'appels de service client, une mesure du succès pourrait être la réduction du trafic vers le centre d'appels. D'autres que vous pouvez obtenir directement à partir de conversations, par exemple si un utilisateur atteint une certaine action représentant la réalisation de l'objectif de l'utilisateur. Les métriques suivies automatiquement sont par nature des métriques de proximité; le seul moyen d'obtenir une véritable mesure du succès serait d'examiner et d'évaluer individuellement chaque conversation avec votre bot. Bien que ce ne soit clairement pas réaliste, gardez simplement à l'esprit qu'aucune métrique n'est une représentation parfaite des performances de votre bot, alors ne vous fiez pas uniquement aux métriques pour voir où votre bot doit être amélioré.

Corriger

Continuez à suivre les meilleures pratiques pour les histoires à mesure que vous développez et améliorez les compétences de votre bot. Laissez l'utilisateur guider la demande des compétences que vous ajoutez et des correctifs que vous apportez. Apportez fréquemment de petits changements plutôt que de faire de gros changements de temps en temps. Cela vous aidera à évaluer l'efficacité des modifications que vous apportez, car vous recevrez plus fréquemment des commentaires des utilisateurs. Votre pipeline CI/CD devrait vous permettre de le faire en toute confiance.