Performance du dispositif BioloGIA developpé par la société DeepIA pour interpréter un compte-rendu d'examens de biologie médicale.

Objectif(s) de la recherche et intérêt pour la santé publique

Finalité de l'étude

Objectifs poursuivis

Domaines médicaux investigués

Bénéfices attendus

Contexte :
Les bilans biologiques contribuent au diagnostic de 60 à 70% des questions médicales (1) et sont donc autant sinon plus que l’imagerie une aide clé pour le médecin clinicien pour guider la prise en charge des patients.
Ils contribuent également au diagnostic étiologique (recherche de la cause), le plus souvent en bilan de seconde intention.
Enfin ils sont également utiles pour le suivi des maladies et de leur traitement comme pour les actions de prévention et de suivi des facteurs de risque.

Le DMDIV « BiologIA » pour cette étude de performance :
Dans sa version actuelle (00.02.00, DMDIV de classe A selon le RE2017/746), le dispositif « Intelligent Analysis » est une plateforme en ligne qui repose sur :
-l’intégration des compte rendu initiaux de bilan biologique
-l’amélioration des variables biologiques (conversion d’unité en USI, calcul de score ou ratio biologique).
-l’utilisation d’un algorithme pour la détection des anomalies biologiques, l’identification de leur apport diagnostic seule ou conjointement à d’autres analyses, la cotation de leur significativité/sévérité/urgence.
-l’édition de documentations utiles pour chaque anomalie significative.
-l’utilisation d’une interface de lecture pour le clinicien permettant
# une priorisation des bilans selon leur sévérité/urgence,
# un compte rendu augmenté : un interface graphique améliorant la lisibilité des résultats et intégrant les données produites par le DMDIV (variables en sus, anomalies détectées et leur cotation ainsi que documentation le cas échéant).
Changement notoire entre le v00.01.00 et la v00.02.00 :
Prise de décision tracé dans PIL.DIR.ENR.001.EC :
1/ Refonte complète de l’algorithme de DA (Traçabilité de l’algorithme dans R&D.NEW.ENR.002)
2/ Refonte complète de la méthodologie de « documentation » pour aider la prise en charge qui sont désormais du texte associé ou non à une recommandation d’examen complémentaire.
3/ Changement de forme : interface améliorée.

Conclusion concernant la performance de l’outil anciennement appelé « Intelligent Analysis » en v00.01.00 (version précédente) :
L’outil a montré une performance insuffisante et notamment une sensibilité inacceptable en détection d’anomalie (au regard de l’analyse de risque).
Les résultats de performances montrent :
en DA (détection d'anomalie) : La Se DA des médecins avec l’outil BiologIA (54%) est inférieure à celle attendue et est inférieure à celle sans l’outil et la Sp des médecins avec l’outil BiologIA (96%) correspond à celle attendue.
En recommandation de prise en charge complémentaire (PEC) : La Se PEC des médecins avec l’outil BiologIA (43%) est inférieure à celle attendue et est inférieure à celle sans l’outil et la Sp PEC des médecins avec l’outil BiologIA (85%) est de peu inférieure à celle attendue et est supérieure à celle des médecins sans outil.

Analyse de risque :
DeepIA a réalisé une analyse de risque détaillée de ses processus et de l’outil BiologIA (PIL.AQ.ENR.002).
Après analyse, c’est le risque de faux négatif en détection d’anomalie qui a le plus de conséquence dommageable pour le patient, il faut donc maximiser la sensibilité de l’outil et le critère de jugement principal doit être basé sur une amélioration de la sensibilité

Hypothèses :
Ainsi, l’utilisation du dispositif « Intelligent Analysis » devrait permettre :
-une amélioration de la sensibilité en détection d’anomalie d’au moins 10% (médecins avec BiologIA vs médecins sans BiologIA) = CJP.
-une amélioration / équivalence des autres paramètres de performance = OS1/CJS1
• Conserver Sp DA > 90% en utilisant l’outil
• Améliorer de +10% de Se PEC en utilisant l’outil
• Améliorer Sp PEC en utilisant l’outil
-Diminuer le temps de lecture des bilans = OS2/CJS2
-Evaluer la satisfaction utilisateur clinicien = 0S3/CJS3

Ces améliorations seront particulièrement intéressantes pour le clinicien lors de la lecture de bilans de plus de 2 pages.

DEROULEMENT :
1/ Le LBM ALPHABIO sélectionne (sur la base des critères prévus) env. 100 comptes rendus initiaux de bilans biologiques issus du soin. Il les pseudonymise puis les transmet à DEEPIA qui en sélectionne 30 sur la base de la méthodologie décrite ci-infra.
2/ DEEPIA utilise son le dispositif « BiologIA » pour créer les comptes-rendus augmentés.
3/ Les 30 bilans et les 10 cliniciens évaluateurs sont randomisés pour établir un plan croisé. Chaque médecin lisant 15 bilans avec le compte rendu initial puis les 15 autres avec le compte rendu augmenté.
4/ Recueil de donnée dans la BDD de l’étude (Annexe 2) :
-Qualification du bilan, anomalies biologiques détectées, PEC recommandée, durée de lecture sans l’outil (questionnaire 1) puis avec l’outil (questionnaire 2)
-Après le questionnaire 2 et de manière séparée : accord avec l’outil (questionnaire 3) et satisfaction du clinicien (questionnaire 4).