CefaleApp: A Mobile Application for Migraine Diagnosis in Primary Health Care

Abstract

Introduction:

Headaches are the main reason for visits to Neurology clinics, and migraine is the most common primary headache. with migraine being the most frequent. Our objective was to develop a computer application (app) that could empower Primary Health Care (PHC) physicians in decision-making regarding migraine.

Material and Methods:

A rule-based artificial intelligence system was designed to process patients’ responses to the ID-Migraine screener and subsequently determine whether they met the diagnostic criteria for migraine or tension-type headache, according to the International Headache Society. The application, known as CefaleApp, is designed to generate a diagnosis of migraine, tension-type headache, or mixed headache.

Results:

CefaleApp was validated in 152 patients referred from PHC clinics with a suspected diagnosis of migraine or tension-type headache. Patients were evaluated in the Neurology Department of a secondary-level hospital and in two regional hospitals. Agreement between the diagnosis generated by CefaleApp and that issued by an expert headache neurologist (gold standard) was estimated using Cohen’s Kappa index and the Matthews correlation coefficient (MCC). Overall diagnostic accuracy was 90.8% (95% CI: 85.1–94.6%), Cohen’s Kappa index was 0.73 (95% CI: 0.59–0.87), and the MCC value was 0.73.

Conclusions:

The migraine diagnosis generated by CefaleApp shows substantial-high agreement with that provided by the expert headache neurologist.

Graphical abstract

Keywords

migraña / cefalea tipo tensión / inteligencia artificial / cefalea / atención primaria / salud digital / migraine / tension-type headache / artificial intelligence / headaches / primary care / digital health

1. Introducción

La migraña es una de las enfermedades neurológicas más prevalentes e incapacitantes a nivel mundial. Se estima que afecta a más del 12% de la población, siendo una de las principales causas de discapacidad en adultos jóvenes, especialmente mujeres [1, 2]. El diagnóstico de migraña se puede realizar en la Atención Primaria de Salud (APS) ya que se basa en criterios clínicos bien definidos [3, 4], además se dispone de un test de cribado (ID-Migraine-Screener) de alta sensibilidad y ampliamente validado [5, 6, 7, 8, 9, 10], y es una patología que no precisa de la realización de pruebas complementarias en la mayor parte de los casos [11, 12]. Sin embargo, diversos estudios han constatado que en la APS hay una baja prevalencia de la prescripción del tratamiento sintomático con triptanes y del empleo de los diferentes tratamientos preventivos de la migraña [13, 14, 15, 16, 17, 18]. La transformación digital en salud -con el uso de tecnologías basadas en la inteligencia artificial- permite mejorar la toma de decisiones clínicas, optimizar los recursos sanitarios y empoderar tanto a profesionales como a pacientes [19]. Esta digitalización representa una oportunidad para hacer frente a retos estructurales del sistema de salud como la sobrecarga asistencial, la falta de especialistas o el acceso desigual a servicios de calidad. En este trabajo presentamos una aplicación móvil, denominada CefaleApp, que es una herramienta digital diseñada para diagnosticar o confirmar el diagnóstico de migraña y para orientar el tratamiento preventivo de la misma en el primer nivel asistencial, ofreciendo a médicos y pacientes una guía interactiva, accesible y basada en la evidencia clínica [11, 12].

2. Pacientes y Métodos

Desarrollo y Funcionalidades de CefaleApp

Se diseñó un sistema de inteligencia artificial basado en reglas [20, 21] que se empleó para tratar las respuestas de los pacientes a las cuestiones que se plantean en el ID-Migraine- screener que es un test de 3 preguntas probabilísticas de tener clínicamente una migraña [intensidad/discapacidad severa y/o fotofobia y/o náuseas/vómitos]) [5], y posteriormente, determinar si cumplen con los criterios de diagnóstico de la migraña de la International Classification of Headache Disorders (ICHD-III) [22], y en caso negativo, la app ofrece la opción de orientar la clínica del paciente hacía la consideración diagnostica de una cefalea tipo tensión (Fig. 1). Por tanto, CefaleApp emite el diagnóstico de cefalea tipo migraña siempre que el usuario haya presentado al menos 5 episodios similares de cefalea y la duración de la cefalea sin tratamiento abarque desde 4 horas a 3 días, y en caso contrario emitirá una alerta indicando el incumplimiento de algunos de los criterios A y/o B de la ICHD-III (Tabla 1). Posteriormente, el diagnóstico se basará en la combinación de al menos 2 características del criterio C y al menos 1 característica del criterio D. El criterio E no puede ser evaluado por CefaleApp ya que no es una aplicación para el diagnóstico de las cefaleas en general, y es competencia del facultativo de APS descartar una patología subyacente que pudiera ser responsable de una cefalea secundaria, fundamentalmente en base a los resultados de una exploración general y neurológica sin alteraciones, y teniendo en mente las denominadas banderas rojas para la sospecha de la presencia de una cefalea sintomática. En el caso del sexo femenino, las características de una periodicidad de las cefaleas en relación con la menstruación o bien el empeoramiento de la intensidad o frecuencia de la cefalea con la toma de anticonceptivos hormonales constituyen un criterio de apoyo adicional al diagnóstico. En relación al aura, por su complejidad diagnóstica, la aplicación sólo considera el aura visual, ya que está presente en el 90% de los pacientes con diagnóstico de migraña con aura.

Este sistema basado en reglas también se empleó para diseñar un algoritmo de selección del tratamiento preventivo basado en las comorbilidades de los pacientes con migraña [23]. El lenguaje de programación para su desarrollo fue Java [24], parametrizando las reglas e información asociada mediante archivos XML (acrónimo de eXtensible Markup Language).

CefaleApp está disponible como descarga gratuita para dispositivos Android (URL: https://play.google.com/store/apps/details?id=com.devbaltasarq.cefaleapp ).

Su estructura modular permite un uso flexible, adaptado a distintos perfiles clínicos y situaciones asistenciales. CefaleApp está diseñada para diagnosticar/confirmar la sospecha diagnóstica de migraña o de cefalea tipo tensión, no para el diagnóstico de las cefaleas en general, y las únicas sugerencias diagnósticas que genera son de migraña, de cefalea tipo tensión o de cefalea mixta (indicando el predominio de migraña o tipo tensión). Entre sus principales funcionalidades dispone de:

(a) Un algoritmo de diagnóstico basado en los criterios diagnósticos de la Clasificación Internacional de las Cefaleas [22] (Fig. 1).

(b) Un algoritmo de tratamiento, sintomático y preventivo, que tiene en cuenta las comorbilidades del paciente, e incluye las situaciones especiales de la gestación y de la lactancia, ayudando al profesional a seleccionar el tratamiento más adecuado.

(c) Un mini-vademécum específico de los fármacos más utilizados en migraña, incluyendo información sucinta sobre posología, efectos adversos y contraindicaciones.

(d) Escalas de medición del impacto y discapacidad que genera la migraña en los pacientes (MIDAS: Migraine Disability Assessment Scale; HIT-6: Headache Impact Test-6) para el seguimiento clínico evolutivo,

(e) Un apartado de educación sanitaria con preguntas frecuentes y explicaciones comprensibles para el paciente (empoderamiento del paciente) y personal sanitario no especializado (formación continuada).

3. Pacientes

Los pacientes que participaron en la evaluación de la concordancia y de la validez de CefaleApp, fueron derivados a las consultas de Neurología desde la APS con la sospecha diagnóstica de migraña o de cefalea tipo tensión, bien para confirmar el diagnóstico o bien para iniciar un tratamiento sintomático y/o preventivo. Los pacientes se evaluaron en el ámbito hospitalario, tanto en un hospital de segundo nivel asistencial como en dos hospitales comarcales, en consultas de neurología general, y por un único neurólogo con especial dedicación a la migraña. Los pacientes se incluyeron de forma consecutiva según su programación en la consulta ambulatoria. En primer lugar, se les solicitaba a los pacientes si querían cumplimentar la app, y en caso afirmativo, y tras dar su consentimiento, se les proporcionaba un teléfono móvil con la aplicación CefaleApp. Esta app es de auto cumplimentación por el paciente y se realiza en un tiempo medio inferior a 2 minutos, y tras la emisión del diagnóstico clínico por el neurólogo, se comprobaba el diagnóstico generado por CefaleApp, procediendo a la inclusión en un registro el motivo de la derivación realizada desde la APS, el diagnóstico emitido por el neurólogo y el generado por CefaleApp.

Este proyecto es un estudio observacional de validación, con inclusión consecutiva de pacientes. El desarrollo y validación de CefaleApp dispone del informe favorable del Comité de Ética de la Investigación con medicamentos de Galicia con el código de registro 2024/528. Los pacientes que participaron en la validación de la app dieron su consentimiento informado por escrito.

Análisis Estadístico

Se calculó un tamaño de muestra para cuantificar el grado de acuerdo entre CefaleApp y un neurólogo clínico, usando la fórmula para estimar tamaños de muestra en estudios de concordancia con un nivel de confianza del 95%. Para dicha estimación, se ha considerado un coeficiente Kappa esperado de 0,85 (grado de acuerdo casi perfecto). Así mismo, una proporción de clasificaciones positivas por el neurólogo del 80% y una proporción de clasificaciones positivas por CefaleApp del 70%. Con estos datos y una precisión (error permitido) del 5%, se ha encontrado que será necesario incluir a 152 pacientes que acudan a la consulta de neurología por dolor de cabeza. Se calculó el índice Kappa que es una medida de concordancia que se utiliza para evaluar el rendimiento de un clasificador. Este índice tiene un rango de valores que va desde 0 (nula concordancia) hasta 1 (concordancia perfecta). Valores de Kappa 0,60–0,80 se consideran de un acuerdo sustancial-alto, y los valores >0,80 son indicativos de una muy buena concordancia. Los análisis estadísticos se llevarán a cabo con el programa Statistical Package for Social Sciencies (SPSS) versión 29,0 (IBM Corporation, Armonk, NY, USA).

Además de las métricas clásicas empleadas en estudios de validación diagnóstica (sensibilidad, especificidad, valores predictivos y exactitud), incluimos también un conjunto de métricas avanzadas de rendimiento clasificatorio, habitualmente utilizadas en el ámbito de la bioinformática y el aprendizaje automático. Estas métricas permiten una evaluación más completa del equilibrio entre falsos positivos y falsos negativos, y ofrecen una medida más robusta de la capacidad discriminativa global de la herramienta.

En concreto, se calcularon:

F1-score, utilizado en las ciencias de la computación, es un índice que integra precisión y sensibilidad en un único índice. Es especialmente útil en contextos donde el desequilibrio entre clases podría sesgar la interpretación de la exactitud (en nuestro caso, más diagnósticos de migraña que de no migraña). F1-score es la media armónica entre la precisión (VPP) y la sensibilidad (recall): F1 = 2 \cdot (Precisión \times Sensibilidad) / (Precisión + Sensibilidad). Tiene en cuenta tanto los falsos negativos como los falsos positivos. En nuestro caso un valor de F1 cercano a 1 significa que la app detectaría correctamente casi todas las migrañas (alta sensibilidad) y, además, cuando predice migraña suele acertar (alta precisión).

Matthews Correlation Coefficient (MCC), procede del ámbito de la bioinformática y de las ciencias de la computación, considerado una de las métricas más equilibradas y robustas para evaluar clasificadores binarios, ya que tiene en cuenta todos los elementos de la matriz de confusión (VP, VN, FP, FN). El rango de valores oscila entre –1 a +1 (+1 = clasificación perfecta, 0 = clasificación al azar, –1= clasificación completamente errónea).

Índice de Youden (J), procede del ámbito clínico-epidemiológico, y se emplea en la investigación clínica como medida sintética de rendimiento diagnóstico, que combina sensibilidad y especificidad en un único parámetro. Se calcula con la fórmula: J = Sensibilidad + Especificidad – 1. El rango de valores es de 0 a 1 (0 = sin discriminación, 1= perfecto). Se interpreta como la capacidad global de discriminación del test.

4. Resultados

Se evaluaron 152 pacientes. El 74,3% fueron mujeres (n = 113). La mediana de edad fue de 44 años (rango: 15–82). La distribución de pacientes por edad fue: 30 años: n = 33 (21,7%), entre 30–44 años: n = 58 (38,2%), entre 45–59 años: n = 38 (25,0%), y \ge60 años: n = 23 (15,1%). Se construyó una tabla de contingencia 3 \times 3 con los diagnósticos del neurólogo y de CefaleApp para las categorías diagnósticas de migraña, cefalea tipo tensión o cefalea mixta (Tabla 2).

Las medidas globales indican una exactitud diagnóstica del 90,8% (IC 95%: 85,1–94,6%), un índice Kappa de 0,73 (IC 95%: 0,59–0,87), y un valor de MCC de 0,73. En la Tabla 3. se muestran los índices de la validación para las categorías de migraña, cefalea tipo tensión y cefalea mixta.

En el análisis por subgrupos diagnósticos, la aplicación alcanzó un rendimiento excelente para migraña, con una sensibilidad del 96,6% y un valor predictivo positivo del 92,7%. El F1-score fue de 0,95. En el caso de la cefalea tipo tensión, la app mostró un rendimiento también satisfactorio, con una sensibilidad del 76,2% y una especificidad del 97,0%, aunque con un ligero descenso del F1-score (0,78). La categoría mixta fue la más difícil de identificar, con una sensibilidad moderada (58,3%) pero una especificidad muy elevada (99,3%), lo que implica que, aunque CefaleApp detecta menos casos mixtos, rara vez clasifica erróneamente a otros pacientes como tales. En esta categoría, el 41,7% de los pacientes que fueron clasificados como pacientes con migraña por CefaleApp, fueron clasificados como cefalea mixta “de predominio migraña” por el neurólogo.

5. Discusión

CefaleApp representa una innovación digital aplicada a la práctica clínica real. Su diseño está alineado con los principios de la medicina digital: (1) apoyo a la decisión clínica de diagnóstico y tratamiento, (2) integración de escalas validadas y datos cuantificables, (3) uso de algoritmos estructurados con lógica condicional, y (4) interoperabilidad potencial con otros sistemas y plataformas.

La inclusión en la validación de métricas avanzadas como son el MCC, el F1-score, y el índice de Youden, aporta un marco más sólido para interpretar la validez de CefaleApp y facilita la comparación con estudios recientes en el ámbito de la salud digital. En la Tabla 4 se muestra una comparativa de las medidas de rendimiento y concordancia entre CefaleApp y diversos modelos digitales de diagnóstico de migraña previamente publicados [25, 26, 27, 28, 29].

CefaleApp muestra un rendimiento muy competitivo, especialmente en sensibilidad (97%) y F1-score (0,95) en población adulta (migraña vs no migraña). Su especificidad es algo menor (73%) de la que muestran otras herramientas digitales, pero está en línea con estudios que incorporan población más general o síntomas menos típicos. El valor de Kappa de 0,75 es ligeramente inferior a las mejores herramientas (\kappa ~ 0,87–0,90), pero sigue siendo un acuerdo sustancial-alto, y el MCC de 0,73 confirma un rendimiento equilibrado. Dado que CefaleApp está diseñada específicamente para diagnosticar migraña vs cefalea tipo tensión, sus valores son adecuados y muestran robustez para el ámbito clínico de Atención Primaria.

La especificidad moderada en el diagnóstico de migraña indica una ligera tendencia a sobre diagnosticar esta entidad en pacientes sin migraña. Así, el 19% de los pacientes con cefalea tipo tensión son clasificados por CefaleApp como pacientes con migraña, y en el 41,7% de los pacientes diagnosticados con cefalea mixta, los casos fueron clasificados como personas con migraña por CefaleApp, mientras que el neurólogo los clasificó como una cefalea de características mixtas con un “predominio de migraña”. Esto último indica que, en los pacientes clasificados como una cefalea mixta por el neurólogo, las cefaleas tipo migraña fueron correctamente identificadas por la app. Sin embargo, esta reclasificación no tuvo un impacto relevante en su capacidad discriminativa global, reflejada en un índice de Youden de 0,71 para el diagnóstico de migraña.

El algoritmo de diagnóstico de CefaleApp se basa en los criterios diagnósticos de la ICHD-III, y esta clasificación no reconoce la categoría de cefalea mixta, aunque la cefalea tipo tensión está incluida en la categoría de migraña crónica, y en el caso de combinar cefalea tipo tensión y migraña probable, el diagnóstico sería el de cefalea tipo tensión [22]. La práctica clínica real no se basa sólo en el empleo de unos criterios diagnósticos, y emitir el juicio clínico de que una persona tiene una “cefalea de características mixtas” no es excepcional. Normalmente, esta situación se suele corresponder con pacientes que tienen cefaleas crónicas y que suelen llevar asociadas las comorbilidades de ansiedad y/o depresión. Estos pacientes son una realidad en las consultas de Neurología, y representan un reto para el neurólogo general, que es el principal consultor de personas con cefalea en la mayoría de las consultas de los hospitales.

Entre los posibles sesgos y limitaciones de la validación de CefaleApp se encuentran los siguientes: (1) en la selección de los pacientes falta la validación multicéntrica en la APS, aunque centrarse en perfiles comunes mitiga parte del sesgo, (2) el espectro de enfermedad supone un sesgo bajo ya que la app se dirige solo a las cefaleas primarias más frecuentes que son la migraña y la cefalea tipo tensión, mientras que las otras cefaleas se excluyen como criterio de aplicabilidad, (3) aunque el neurólogo es la única referencia (gold estándar), el sesgo es bajo ya que el diagnóstico de migraña o de cefalea tipo tensión es más estable entre clínicos al basarse en criterios clínicos bien definidos, (4) el sesgo de generalización existe ya que se necesita validar la aplicación en el ámbito de la APS, (5) la exclusión de casos no aplica como sesgo ya que la exclusión de otras cefaleas forma parte del diseño (la app no pretende diagnosticarlas), y (6) la interpretación retrospectiva es un sesgo menor, ya que al considerar las cefaleas mixtas como válidas es clínicamente coherente (capturan el perfil migrañoso o el tensional predominante en el paciente).

Como se comentó en el apartado de Material y Métodos, CefaleApp dispone de un algoritmo terapéutico en el que se describen los posibles tratamientos sintomáticos (AINEs, triptanes, diptanes, gepantes, ergóticos) y el tratamiento preventivo más adecuado teniendo en cuenta las diversas comorbilidades del paciente (Fig. 1). Así, en el caso de señalar que nuestro paciente con migraña tiene asma bronquial, litiasis renal e hipotensión arterial, CefaleApp excluirá de las recomendaciones del tratamiento preventivo a los betabloqueantes, los antihipertensivos (lisinopril, candesartán) y los neuromoduladores (topiramato, zonisamida), y señalará como indicados a la amitriptilina, la venlafaxina, la flunaricina, el ácido valproico y, aunque de uso hospitalario, también señalará la posibilidad de los diversos anticuerpos monoclonales anti-CGRP y los gepantes, así como de la toxina botulínica. Un mini-vademécum específico de estos fármacos aporta una sucinta información sobre posología, efectos adversos y contraindicaciones. Además, se incluye un apartado con las situaciones especiales de la gestación y de la lactancia, ayudando al profesional a seleccionar el tratamiento más adecuado. La información farmacológica se va actualizando periódicamente.

Los beneficios que se podrían esperar de una implementación generalizada de CefaleApp serían una disminución de la demora del tiempo hasta la confirmación del diagnóstico de migraña y una mejora en la adecuación terapéutica a las comorbilidades del paciente. El empoderamiento de la persona con migraña en el conocimiento de su cefalea se podría traducir en un aumento de la adherencia terapéutica y de la satisfacción de los pacientes. Finalmente, desde el punto de vista del sistema sociosanitario, CefaleApp también podría contribuir a la equidad asistencial, especialmente en zonas con menos recursos o baja especialización médica.

6. Conclusiones

CefaleApp es una herramienta digital innovadora cuyo desarrollo está basado en criterios clínicos validados, y que ha demostrado su utilidad en contextos clínicos reales. CefaleApp podría ser de utilidad para apoyar el diagnóstico de la migraña en la APS, lo que a su vez podría fomentar el uso del tratamiento sintomático con triptanes e iniciar de forma precoz el tratamiento preventivo considerando las comorbilidades del paciente.

References

[1] Sanchez-Del-Rio M, García-Azorín D, Peral C, Armada B, Irimia-Sieira P, Porta-Etessam J. Prevalence, disability, and economic impact of migraine in Spain: a nationwide population-based study. The Journal of Headache and Pain. 2025; 26: 117. https://doi.org/10.1186/s10194-025-02069-1.

[2] Pozo-Rosich P, Carmo M, Muñiz A, Armada B, Moya-Alarcón C, Pascual J. Migraine treatment: quo vadis? Real-world data study (2015-2022) in Spain. BMC Neurology. 2024; 24: 107. https://doi.org/10.1186/s12883-024-03600-8.

[3] Mateos V, Díaz-Insua SI, Morera J, Porta J, Pascual J, Matías-Guiu J. Migraine management in neurology clinics in Spain: PALM study results. Neurología. 2007; Suppl 3: 7–14.

[4] Santos-Lasaosa S, Vinueza-Buitron PR, Velazquez-Benito A, Iniguez-Martinez C, Larrode-Pellicer P, Lopez Del Val LJ, et al. Study of the diagnostic agreement on headaches between neurology and primary care. Revista De Neurologia. 2016; 62: 549–554.

[5] Lipton RB, Dodick D, Sadovsky R, Kolodner K, Endicott J, Hettiarachchi J, et al. A self-administered screener for migraine in primary care: The ID Migraine validation study. Neurology. 2003; 61: 375–382. https://doi.org/10.1212/01.wnl.0000078940.53438.83.

[6] Brighina F, Salemi G, Fierro B, Gasparro A, Balletta A, Aloisio A, et al. A validation study of an Italian version of the “ID Migraine”. Headache. 2007; 47: 905–908. https://doi.org/10.1111/j.1526-4610.2006.00628.x.

[7] Siva A, Zarifoglu M, Ertas M, Saip S, Karli HN, Baykan B, et al. Validity of the ID-Migraine screener in the workplace. Neurology. 2008; 70: 1337–1345. https://doi.org/10.1212/01.wnl.0000309221.85545.0d.

[8] Gil-Gouveia R, Martins I. Validation of the Portuguese version of ID-Migraine. Headache. 2010; 50: 396–402. https://doi.org/10.1111/j.1526-4610.2009.01449.x.

[9] Cousins G, Hijazze S, Van de Laar FA, Fahey T. Diagnostic accuracy of the ID Migraine: a systematic review and meta-analysis. Headache. 2011; 51: 1140–1148. https://doi.org/10.1111/j.1526-4610.2011.01916.x.

[10] Pavlovic JM, Yu JS, Silberstein SD, Reed ML, Cowan RP, Dabbous F, et al. Evaluation of the 6-item Identify Chronic Migraine screener in a large medical group. Headache. 2021; 61: 335–342. https://doi.org/10.1111/head.14035.

[11] Ezpeleta D, Pozo-Rosich P. Guía oficial para el diagnóstico y tratamiento de las cefaleas 2015. Editorial Luzán 5: Madrid. 2015. (En Español)

[12] Recomendaciones diagnósticas y terapéuticas de la Sociedad Española de Neurología. Recomendaciones prácticas de cefaleas para Atención Primaria. Editorial Luzán 5: Madrid. 2022. (En Español)

[13] Rivera I, Fontanillas N, Cadelo L, Pascual J. Primary headaches as the reason for consultation in Primary Care: a prospective study. Neurología (Engl Ed) 2025; 40: 849–854. https://doi.org/10.1016/j.nrleng.2025.10.004.

[14] Pascual J, Sánchez-Escudero A, Castillo J. Teaching needs of general practitioners in headaches. Neurologia (Barcelona, Spain). 2010; 25: 104–107.

[15] Díaz-Insa S, Navarro-Zornoza M, Sánchez-de la Rosa R, Guerrero AL. Characterisation of the management of patients with migraine in the primary care setting in Spain. Analysis of the results of the European My-LIFE anamnesis project. Neurologia. 2023; 38: S22–S30. https://doi.org/10.1016/j.nrleng.2021.10.009.

[16] Pascual J, Sánchez del Río M, Jiménez MD, Láinez-Andrés JM, Mateos V, Leira R, et al. Approach of neurologists in Spain to migraine: results of the CIEN-mig project (I). Revista De Neurologia. 2010; 50: 577–583.

[17] Mateos V, Porta-Etessam J, Armengol-Bertolin S, Larios C, Garcia M, en representación de Los Investigadores Del Estudio Primera. Initial situation and approach to the care of migraine in neurology services in Spain: the PRIMERA study. Revista De Neurologia. 2012; 55: 577–584.

[18] Fontanillas N, Rivera I, Baz P, Pascual J. What do I need to know about headaches if I am a Primary Care doctor? Semergen. 2025; 51: 102534. https://doi.org/10.1016/j.semerg.2025.102534.

[19] Katsuki M, Shimazu T, Kikui S, Danno D, Miyahara J, Takeshima R, et al. Developing an artificial intelligence-based headache diagnostic model and its utility for non-specialists’ diagnostic accuracy. Cephalalgia. 2023; 43: 3331024231156925. https://doi.org/10.1177/03331024231156925.

[20] Sahin S, Tolun MR, Hassanpour R. Hybrid expert systems: A survey of current approaches and applications. Expert Systems With Applications. 2012; 39: 4609–4616. https://doi.org/10.1016/j.eswa.2011.08.130.

[21] Kotiv B, Solovev A, Uchaev D, Krasilnikov A, Krasilnikova E. Artificial intelligence using for medical diagnosis via implementation of expert systems. Bulletin of the Russian Military Medical Academy. 2021; 23: 45–52. https://doi.org/10.17816/brmma63657.

[22] Headache Classification Committee of the International Headache Society (IHS) The International Classification of Headache Disorders, 3rd edition. Cephalalgia: an International Journal of Headache. 2018; 38: 1–211. https://doi.org/10.1177/0333102417738202.

[23] García Estévez D, García Pérez-Schofield B, Blanco García L, Sabbagh Casado N. CEFALEAPP: una app para el diagnóstico y tratamiento de la migraña en atención primaria de salud. Comunicación de Congreso. Neurology Perspectives 2024; 4: 264–265. https://doi.org/10.1016/S2667-0496(24)00904-9. (En Español)

[24] Arnold K, Gosling J, Holmes D. The Java programming language. 4th edn. Addison-Wesley Professional: Boston. 2005.

[25] Cowan RP, Rapoport AM, Blythe J, Rothrock J, Knievel K, Peretz AM, et al. Diagnostic accuracy of an artificial intelligence online engine in migraine: A multi-center study. Headache. 2022; 62: 870–882. https://doi.org/10.1111/head.14324.

[26] Kim KM, Kim AR, Lee W, Jang BH, Heo K, Chu MK. Development and validation of a web-based headache diagnosis questionnaire. Scientific Reports. 2022; 12: 7032. https://doi.org/10.1038/s41598-022-11008-y.

[27] Han X, Wan D, Zhang S, Yin Z, Huang S, Xie F, et al. Verification of a clinical decision support system for the diagnosis of headache disorders based on patient-computer interactions: a multi-center study. The Journal of Headache and Pain. 2023; 24: 57. https://doi.org/10.1186/s10194-023-01586-1.

[28] Dong Z, Yin Z, He M, Chen X, Lv X, Yu S. Validation of a guideline-based decision support system for the diagnosis of primary headache disorders based on ICHD-3 beta. The Journal of Headache and Pain. 2014; 15: 40. https://doi.org/10.1186/1129-2377-15-40.

[29] Sasaki S, Katsuki M, Kawahara J, Yamagishi C, Koh A, Kawamura S, et al. Developing an Artificial Intelligence-Based Pediatric and Adolescent Migraine Diagnostic Model. Cureus. 2023; 15: e44415. https://doi.org/10.7759/cureus.44415.