How accurate is Daily Pulse: Peds?Daily Pulse : Pédiatrie est-il exact?
Before opening Daily Pulse to everyone, we audited its paediatric briefs one statement at a time. After the tool was revised, 99.6% of statements were accurate and 99.4% were supported by the source they cite.Avant d'ouvrir Daily Pulse à tous, nous avons audité ses brefs pédiatriques énoncé par énoncé. Après la révision de l'outil, 99,6 % des énoncés étaient exacts et 99,4 % étaient appuyés par la source qu'ils citent.
“Accuracy and Reliability of Artificial Intelligence-Generated Medical Learning Capsules as a Tool for Continuing Education in Residency.” Dimentberg E, Djani L, Harell N, Thibault L-P, Drouin O. Manuscript in preparation; not yet peer reviewed. « Accuracy and Reliability of Artificial Intelligence-Generated Medical Learning Capsules as a Tool for Continuing Education in Residency. » Dimentberg E, Djani L, Harell N, Thibault L-P, Drouin O. Manuscrit en préparation; pas encore évalué par les pairs.
Download the manuscript (PDF)Télécharger le manuscrit (PDF) · The link to the published article will be added here.Le lien vers l'article publié sera ajouté ici.
What we measuredCe que nous avons mesuré
Each edition was split into individual statements. Headers, fictional case vignettes, questions and statements repeating earlier content were excluded. Two independent auditors then rated every remaining statement on two questions:Chaque édition a été découpée en énoncés individuels. Les en-têtes, les vignettes cliniques fictives, les questions et les énoncés répétant un contenu antérieur ont été exclus. Deux auditeurs indépendants ont ensuite coté chaque énoncé restant selon deux questions :
- Accurate?Exact? Is it true according to the best available literature (guidelines first, then systematic reviews and major studies)?Est-il vrai selon la meilleure littérature disponible (lignes directrices d'abord, puis revues systématiques et grandes études)?
- Sourced?Sourcé? Does the source it cites actually say it?La source citée le dit-elle vraiment?
Errors were graded as having potential clinical impact (dose, indication, symptoms, diagnostic testing) or not. A third investigator adjudicated every disagreement and every flagged error.Les erreurs étaient classées selon leur impact clinique potentiel (dose, indication, symptômes, examens) ou non. Un troisième chercheur a tranché chaque désaccord et chaque erreur signalée.
ResultsRésultats
An initial test of the original version showed where it went wrong: every statement that failed review was unsupported by the sources listed. The tool was revised to require an inline citation for every statement, forbid content from the model's own knowledge, restrict sources to a tiered hierarchy with verified open full text published within eight years, and lock the model version. The revised tool was then audited on 20 new editions.Un premier test de la version originale a montré ses failles : tous les énoncés ayant échoué n'étaient pas appuyés par les sources listées. L'outil a été révisé pour exiger une citation pour chaque énoncé, interdire le contenu tiré des connaissances du modèle, limiter les sources à une hiérarchie fixe avec texte intégral libre vérifié et publié depuis moins de huit ans, et verrouiller la version du modèle. L'outil révisé a ensuite été audité sur 20 nouvelles éditions.
| Initial testTest initial | Revised toolOutil révisé | |
|---|---|---|
| EditionsÉditions | 5 (French)5 (français) | 20 (10 English, 10 French)20 (10 anglais, 10 français) |
| Statements scoredÉnoncés cotés | 135 | 712 |
| AccurateExacts | 89.6% (121/135)89,6 % (121/135) | 99.6% (709/712) 95% CI 98.8–99.999,6 % (709/712) IC à 95 % 98,8–99,9 |
| Supported by the cited sourceAppuyés par la source citée | 76.3% (103/135)76,3 % (103/135) | 99.4% (708/712) 95% CI 98.6–99.899,4 % (708/712) IC à 95 % 98,6–99,8 |
| Editions ≥ 90% accurateÉditions ≥ 90 % exactes | 3 of 53 sur 5 | 20 of 2020 sur 20 |
| Errors with potential clinical impactErreurs à impact clinique potentiel | 10 | 3* |
| Agreement between auditors (accuracy / sourcing)Accord entre auditeurs (exactitude / source) | 80.7% / 79.8%80,7 % / 79,8 % | 97.3% / 95.0%97,3 % / 95,0 % |
* All three came from a single sentence in one edition: an empiric antibiotic regimen for febrile infants given without the separate regimen the cited guideline recommends for the youngest infants. It was an omission of context, not an invented fact. Accuracy was 99.2% in English and 100% in French editions. Of the 36 sources the tool chose, 22 were clinical practice guidelines, 11 were systematic reviews or major-journal studies and 3 were narrative reviews.Les trois provenaient d'une seule phrase d'une édition : un traitement antibiotique empirique pour les nourrissons fébriles donné sans le schéma distinct que la ligne directrice citée recommande pour les plus jeunes. Il s'agissait d'une omission de contexte, et non d'un fait inventé. L'exactitude était de 99,2 % pour les éditions anglaises et de 100 % pour les françaises. Des 36 sources choisies par l'outil, 22 étaient des lignes directrices, 11 des revues systématiques ou études de grandes revues et 3 des revues narratives.
What it means for youCe que cela signifie pour vous
Strict, verifiable source rules made the briefs highly reliable, but not perfect. Treat each brief as a well-referenced starting point: the sources are linked so you can check anything that matters for a patient, and local protocols always come first.Des règles de sources strictes et vérifiables ont rendu les brefs très fiables, mais pas parfaits. Considérez chaque bref comme un point de départ bien référencé : les sources sont liées pour que vous puissiez vérifier tout ce qui compte pour un patient, et les protocoles locaux ont toujours préséance.
LimitationsLimites
- The tool can only use sources it can open, which favours open-access documents.L'outil ne peut utiliser que les sources qu'il peut ouvrir, ce qui favorise les documents en libre accès.
- The adjudicating investigator developed the tool; independent double review limits this bias.Le chercheur qui a tranché a conçu l'outil; la double révision indépendante limite ce biais.
- Results apply to general paediatrics and to the locked model version. Any change to the model or the rules triggers a new version and new validation.Les résultats s'appliquent à la pédiatrie générale et à la version verrouillée du modèle. Tout changement du modèle ou des règles entraîne une nouvelle version et une nouvelle validation.
NextProchaines étapes
The same design is now being applied, with new auditors, to paediatric emergency medicine and paediatric cardiology, to test whether the method holds across specialties.Le même devis est maintenant appliqué, avec de nouveaux auditeurs, à l'urgence pédiatrique et à la cardiologie pédiatrique, pour vérifier si la méthode se généralise à d'autres spécialités.
Version note: the public service runs DP-Peds-v1.0, which keeps the validated topic, source and writing rules unchanged and replaces only the delivery steps (calendar invitation → e-mail). Every brief shows its tool version and model.Note de version : le service public utilise DP-Peds-v1.0, qui conserve sans changement les règles validées de sujets, de sources et de rédaction et ne remplace que les étapes de livraison (invitation de calendrier → courriel). Chaque bref indique sa version et son modèle.