Rilevamento precoce Dengue con AI

Rilevamento precoce Dengue con AI

Rilevamento precoce Dengue con AI basato sull’intelligenza artificiale utilizzando i dati CBC

La febbre dengue è una malattia tropicale trasmessa dalle zanzare Aedes, in cui il corpo umano funge da ospite primario. Ogni anno, i paesi densamente popolati come Bangladesh, Thailandia e India, in particolare nella regione del sud-est asiatico, sperimentano la maggior parte delle epidemie di dengue in tutto il mondo. In particolare, nel 2023, il Bangladesh ha sopportato un’epidemia di dengue senza precedenti, registrando il numero più alto di casi in oltre due decenni dal 2000. Questa ricerca mira a facilitare la diagnosi precoce della dengue dai referti di laboratorio medici dell’emocromo completo (CBC) dei pazienti raccolti da due ospedali a Dhaka, Bangladesh. Il set di dati personalizzato, composto da 320 campioni e 14 caratteristiche ematologiche, viene utilizzato per valutare diverse tecniche di intelligenza artificiale. Questo set di dati documenta i casi sospetti di dengue in Bangladesh da maggio 2023 a ottobre 2023, riflettendo un periodo di epidemia significativo, incluso un rapporto di distribuzione di genere di 5:3 tra pazienti maschi e femmine. Al set di dati impiegato vengono applicati vari passaggi di pre-elaborazione, gestione di valori mancanti e valori anomali, codifica one-hot, sovracampionamento sintetico e rimozione di funzionalità ridondanti. Sono implementati cinque metodi di selezione delle funzionalità e diversi algoritmi di apprendimento automatico, insieme a modelli di apprendimento di ensemble e basati su trasformatori. Il classificatore di ensemble di stacking ha raggiunto le prestazioni più elevate, con un’accuratezza del 96,88% e un punteggio F1 di 0,9646. La tecnica di stacking è stata sviluppata utilizzando il meta-classificatore LightGBM e gli studenti di base XGBoost, Logistic Regression e Multilayer Perceptron. Il set di dati CBC dengue raccolto e i codici di implementazione sono disponibili all’indirizzo

Introduzione – Rilevamento precoce Dengue con AI
Il corpo umano, intrinsecamente sensibile, possiede un proprio meccanismo di difesa per combattere le minacce microbiche esterne. Tuttavia, gli esseri umani cadono spesso vittime di infezioni virali o batteriche, che causano malattie che sono significativamente letali. La febbre dengue, ad esempio, è una malattia virale trasmessa principalmente agli esseri umani dalla zanzara Aedes. Ogni anno, milioni di persone in tutto il mondo soffrono di febbre dengue, con migliaia di vittime delle sue conseguenze. Secondo l’Organizzazione mondiale della sanità (OMS) e l’Unione europea, nel 2023, oltre sei milioni di persone in quasi 92 paesi sono state colpite dalla febbre dengue. Il solo Bangladesh ha registrato oltre 0,31 milioni di casi e oltre 1.600 decessi a causa di questa febbre emorragica.

La dengue è più diffusa nelle aree urbane o periurbane nelle regioni tropicali e subtropicali del mondo, attribuita principalmente a servizi igienici insufficienti, sviluppo casuale e urbanizzazione non pianificata . Secondo l’ultima revisione dell’OMS, i paesi nelle regioni dell’Africa, del Sud-est asiatico e del Pacifico occidentale hanno la più alta incidenza di febbre dengue. Tra i paesi nella regione del Sud-est asiatico, il Bangladesh ha registrato il numero più alto di casi di dengue tra giugno e ottobre. Il numero di pazienti colpiti e di decessi dovuti alla dengue nel 2023 è stato il più alto degli ultimi decenni. Pertanto, misure di rilevamento e risposta precoci, efficienti e rapide per questa malattia arbovirale sono cruciali. La tendenza crescente nel numero di individui colpiti sottolinea l’imperativo di implementare misure preventive future appropriate per evitare di superare i record precedenti in termini sia di pazienti colpiti che di decessi .

Mentre i sintomi della dengue derivano principalmente dalla puntura della zanzara Aedes, il virus rimane in genere dormiente per un periodo prima di manifestarsi. Sebbene non sia intrinsecamente fatale, la dengue presenta una serie di sintomi debilitanti simili a quelli di altre malattie. In genere, gli individui con dengue sperimentano febbre intensa, dolori fisici lancinanti, nausea, perdita di appetito e vari tipi di eruzioni cutanee. Nonostante l’assenza di sintomi specifici nelle prime due settimane dopo l’infezione, i pazienti spesso sperimentano un improvviso peggioramento della salute . I test patologici solitamente rivelano una diminuzione delle piastrine nel sangue, indicando una condizione critica. Il virus della dengue ha quattro sierotipi. Quando qualcuno è infettato da un sierotipo, il corpo sviluppa un’immunità a lungo termine contro di esso. Tuttavia, le conseguenze possono essere gravi se si viene successivamente infettati da un sierotipo diverso. Mentre i sintomi della dengue potrebbero non essere gravi inizialmente, in caso di seconda infezione, la dengue può portare a gravi condizioni come la sindrome da shock, l’emorragia interna o l’insufficienza multiorgano.

Considerando il recente aumento delle infezioni da dengue, questo studio introduce approcci di intelligenza artificiale (IA) che consentono la diagnosi precoce della dengue impiegando varie caratteristiche ematologiche critiche. In questo lavoro, è stato raccolto un set di dati privato da due ospedali locali a Dhaka, Bangladesh. Il set di dati comprende dati di emocromo completo (CBC) per 320 individui, classificati come “positivi” o “negativi” per la dengue e 14 attributi. Il set di dati è stato preelaborato impiegando diverse tecniche. Sono stati applicati vari modelli di apprendimento automatico, ovvero regressione logistica, Random Forest, SVM, LightGBM, XGBoost e classificatore di stacking. Inoltre, abbiamo distribuito cinque modelli di apprendimento profondo: MLP, ANN, CNN, Bi-LSTM e GRU e due modelli di trasformatore avanzati, TabPFN e TabTransformer. L’ottimizzazione degli iperparametri con GridSearchCV e il framework Keras Tuner e cinque metodi di selezione delle caratteristiche sono stati impiegati per estrarre le caratteristiche essenziali. Il ruolo fondamentale di varie caratteristiche nel processo decisionale, focalizzandosi principalmente sull’interpretabilità dei modelli black-box, viene studiato utilizzando l’approccio di intelligenza artificiale spiegabile basato su LIME. Lo studio offre diversi contributi significativi, che possono essere riassunti come segue:

1. Un contributo importante di questo lavoro è la presentazione di un set di dati sulla dengue basato su un referto ematologico CBC privato, comprendente 320 campioni e 14 caratteristiche cliniche raccolte da due ospedali locali di Dhaka, in Bangladesh.
2. È stato applicato il modello di ensemble di impilamento costruito dal meta-classificatore LightGBM e dagli studenti di base XGBoost, Logistic Regression e Multilayer Perceptron. Sono implementati i trasformatori basati su TabPFN e TabTransformer e modelli avanzati di deep learning.
3. GridSearchCV e Keras Tuner vengono applicati per ottimizzare i migliori iperparametri dei modelli di apprendimento automatico e apprendimento profondo applicati. Sono stati utilizzati anche cinque metodi di selezione delle feature per identificare le feature più salienti.
4. Utilizzando uno strumento di intelligenza artificiale spiegabile, LIME, questa ricerca ha fatto luce sulle caratteristiche chiave che hanno il maggiore impatto significativo sulla previsione dei casi positivi e negativi alla dengue.
5. La novità di questo lavoro è l’applicazione di modelli di intelligenza artificiale basati su trasformatori e di insiemi di impilamento spiegabili e l’indagine di caratteristiche significative utilizzando un set di dati sulla dengue basato su referti di analisi del sangue privati.

.Articolo di letteratura – Rilevamento precoce Dengue con AI
Negli ultimi anni, il progresso dell’intelligenza artificiale ha facilitato una diagnosi rapida e accurata di varie malattie attraverso tecniche di apprendimento automatico. L’apprendimento automatico consente l’identificazione accurata di malattie come diabete, Parkinson, Alzheimer, malattie cardiovascolari, malattie oculari, ecc. L’apprendimento automatico comporta principalmente l’addestramento di algoritmi con nuovi dati e la fornitura di approfondimenti sui modelli. Di conseguenza, con l’assistenza di questo vasto archivio di dati, diventa possibile un’identificazione precisa della malattia. Per determinare se si sospetta che un paziente abbia la dengue, gli individui in genere visitano l’ospedale o la clinica più vicina e si sottopongono a più test, come un CBC, un test degli anticorpi IgM/IgG, un test dell’antigene NS1, ecc. Dopo il prelievo del sangue, vengono eseguite varie procedure patologiche, che generalmente richiedono molte ore e costano una ragionevole somma di denaro . Un medico specializzato esamina quindi i referti per valutare la gravità della febbre dengue in base ai risultati. Queste procedure possono essere intensive per le persone di paesi a basso reddito come il Bangladesh a causa della scarsità di medici e patologi specializzati disponibili. Di conseguenza, molti ricercatori si stanno impegnando per rendere la previsione della dengue più efficiente e conveniente presentando vari approcci e idee. Questa sezione di seguito fornisce una panoramica dettagliata dei metodi esistenti per rilevare automaticamente la febbre dengue utilizzando campioni ematologici CBC, immagini di strisci di sangue, fattori ambientali e altri parametri rilevanti tratti da articoli recenti.

Rilevamento precoce Dengue con AI ha utilizzato i dati del genoma umano di 102 pazienti per prevedere il flavivirus della dengue utilizzando modelli di apprendimento automatico. Gli autori hanno studiato i pazienti ad alto rischio di sviluppare fenotipi estremi nonostante sintomi moderati. Tra gli algoritmi di apprendimento automatico applicati, il modello ANN ha dimostrato il miglior punteggio di accuratezza dell’86%, con una sensibilità del 98% estraendo le caratteristiche utilizzando SVM RFE. Sarma e altri ricercatori hanno progettato un modello di previsione automatica della dengue utilizzando algoritmi di apprendimento automatico basati sulla recente epidemia in Bangladesh. I ricercatori hanno raccolto dati grezzi dai pazienti di Dhaka e Chittagong, le due città più grandi e densamente popolate del Bangladesh. L’algoritmo dell’albero decisionale ha raggiunto la massima accuratezza del 79%.

Fernàndez e altri hanno applicato un modello di regressione logistica per diagnosticare la febbre dengue in base alle caratteristiche di circa 550 pazienti con malattia febbrile. Il modello di regressione logica applicato ha raggiunto il 69,2% di accuratezza per i casi positivi con l’86,2% di sensibilità e un punteggio AUC di 0,66. Mayrose e ricercatori hanno dimostrato un modello di previsione automatizzato della dengue utilizzando diverse tecniche di apprendimento automatico e campioni di immagini di striscio di sangue basati sul nucleo dei linfociti e sulle piastrine. Gli autori hanno ottenuto le migliori prestazioni utilizzando il classificatore SVM con il 95,74% di accuratezza e un coefficiente F1 di 0,96. Prome et al. [12] hanno previsto il numero di casi di dengue in diverse aree del Bangladesh utilizzando approcci di apprendimento automatico e un set di dati meteorologici. Il modello SVM ha ottenuto le migliori prestazioni con un errore assoluto medio di 3,865.

Mello-Román e il suo team hanno presentato modelli predittivi per la dengue basati su dati di pazienti reali ricoverati nei centri sanitari del Paraguay con sintomi di febbre dengue. L’ANN applicata ha raggiunto la massima accuratezza del 96% con la massima sensibilità e specificità del 96% e del 97%, rispettivamente. Hanno iniziato a prevedere i casi di dengue basandosi sui dati di 11 stati del Bangladesh. Gli autori hanno analizzato empiricamente come i fattori ambientali influenzano l’aumento e la diminuzione dei casi di dengue. L’algoritmo di regressione vettoriale di supporto applicato ha dimostrato i migliori risultati con un punteggio R2 di 0,75. L’algoritmo di regressione lineare multipla ha illustrato un’eccellente prestazione con un coefficiente R2 di 0,62.

Nel Rilevamento precoce Dengue con AI hanno utilizzato dati clinici da un centro medico locale dello Yemen per prevedere la dengue utilizzando tecniche di apprendimento automatico efficienti. Hanno implicato cinque algoritmi di apprendimento automatico che hanno funzionato in modo efficiente sui dati clinici utilizzati. L’algoritmo Extra Tree Classifier ha dimostrato le migliori prestazioni con una precisione del 99,12% e un coefficiente F1 di 0,99. Ong e i suoi colleghi hanno rappresentato la velocità di trasmissione della dengue con dati meteorologici confrontando diversi algoritmi di apprendimento automatico. Questo studio ha utilizzato più variabili, algoritmi, indici vettoriali e dati meteorologici. Un algoritmo di apprendimento automatico di ensemble, XGBoost, con la tecnica di selezione delle caratteristiche di Boruta, ha ottenuto la massima precisione (81%) e 0,815 AUC.

Chaw ed il suo team nel Rilevamento precoce Dengue con AI hanno sviluppato un modello automatico basato sull’intelligenza artificiale che prevede se vi è una possibilità di sviluppo di shock tra tutti i pazienti affetti da dengue. Hanno utilizzato dati fisiologici di pazienti malati presso l’University of Malaya Medical Centre e hanno addestrato il modello in base a questi dati raccolti. Tra i modelli di apprendimento automatico applicati, l’approccio dell’albero decisionale ha raggiunto il punteggio F1 massimo di 0,92 e 0,64 AUC. Sarwar e i suoi colleghi hanno introdotto un modello in grado di prevedere con precisione il numero di pazienti affetti da dengue. Gli autori hanno preso in considerazione vari fattori ambientali a Dhaka, tra cui umidità, temperatura e precipitazioni, poiché queste variabili influenzano in modo critico le epidemie di dengue. Dopo aver implementato algoritmi statistici, l’algoritmo SVM ha raggiunto il coefficiente di determinazione R-quadrato più elevato di 0,92 (Rilevamento precoce Dengue con AI).

Akter con il suo gruppo hanno condotto uno studio di Rilevamento precoce Dengue con AI comparativo per prevedere la febbre dengue nella città di Dhaka, valutando l’efficacia dell’analisi delle serie temporali e delle tecniche di apprendimento automatico. Sulla base delle serie temporali, il modello ARIMA applicato ipotizza le previsioni di epidemie di dengue con un errore percentuale assoluto medio (MAPE) del 15,29. Il modello di rete neurale ha dimostrato prestazioni superiori, ottenendo il MAPE più basso di 1,15. Majeed con il suo team hanno eseguito vari modelli di intelligenza artificiale ibridi per prevedere casi di febbre virale dengue in cinque regioni della Malesia. Sono stati applicati vari modelli LSTM ibridi combinando approcci di attenzione spaziale, temporale e sovrapposta. L’attenzione spaziale sovrapposta con la tecnica LSTM ha dimostrato le migliori prestazioni con il RMSE più basso di 3,17.

Dalle recensioni degli articoli correlati si può comprendere che sono stati avviati lavori significativi sulla previsione automatica della dengue impiegando tecniche avanzate di apprendimento automatico e apprendimento profondo. Tuttavia, la maggior parte di questi lavori non ha indagato le caratteristiche cliniche e ambientali significative del virus della dengue. Pochi di questi articoli hanno applicato tecniche di intelligenza artificiale spiegabili all’avanguardia per interpretare le previsioni del modello di intelligenza artificiale.

Metodologia – Rilevamento precoce Dengue con AI
La figura 1 sotto illustra le fasi di lavoro dello studio di previsione automatica della dengue proposto. Inizialmente, la raccolta dei dati è seguita dalla preelaborazione dei dati, che include la codifica categoriale e l’imputazione mediana dei valori nulli. L’analisi esplorativa dei dati e la rimozione dei valori anomali con punteggi Z vengono condotte prima di suddividere i dati in set di addestramento e di test. I dati di addestramento vengono sottoposti a sovracampionamento sintetico SMOTE, selezione delle caratteristiche utilizzando cinque metodi e applicazione dell’algoritmo di classificazione con ottimizzazione degli iperparametri. Viene quindi applicata la migliore combinazione di parametri selezionata e vengono utilizzate tecniche di intelligenza artificiale spiegabili per migliorare l’interpretabilità del modello. Infine, il modello prevede la malattia di dengue sui dati di test, classificando i risultati come positivi o negativi. La metodologia dettagliata delle sequenze di lavoro di questa ricerca è discussa nei paragrafi successivi.

FIGURA 1. – Fasi di lavoro dello studio proposto per la previsione automatica della dengue.

Raccolta dati – Rilevamento precoce Dengue con AI
Un contributo importante di questo lavoro è la presentazione di un set di dati sulla dengue basato su un rapporto ematologico CBC privato, comprendente 320 campioni e 14 caratteristiche raccolte da due ospedali di Dhaka, Bangladesh. Ci concentriamo sull’identificazione dei fattori chiave in questi rapporti e sulla comprensione delle correlazioni tra le varie caratteristiche. Gli attributi del set di dati impiegato comprendono Seriale, Data, Genere, Età, Emoglobina, VES, WBC, Neutrofili, Linfociti, Monociti, Eosinofili, Basofili, RBC e Piastrine. I rapporti coprono il periodo da maggio 2023 a ottobre 2023, un periodo caratterizzato da un alto tasso di epidemie di dengue. Questa epidemia è stata altamente correlata alle precipitazioni, alla temperatura e a un aumento del tasso di riproduzione delle zanzare Aedes. Il set di dati proposto include una fascia di età diversificata di pazienti, da bambini di appena otto mesi ad adulti fino a 81 anni, con una distribuzione di 200 maschi e 120 femmine tra i 320 pazienti. La distribuzione delle classi di dengue del set di dati utilizzato è illustrata nella Figura 2 .

FIGURA 2. – Distribuzione delle classi di dengue del set di dati utilizzato.

Pre-elaborazione dei dati – Rilevamento precoce Dengue con AI
Dopo aver raccolto i dati, vengono completati i passaggi di preelaborazione richiesti, brevemente descritti di seguito.

1) Eliminare meno colonne essenziali
Innanzitutto, abbiamo eliminato i due attributi meno richiesti, ovvero Serial e Date, per rendere più fluido l’approccio di lavoro. Questo approccio è anche noto come parte della pulizia del dataset che aumenta l’efficienza. Come accennato in precedenza, l’eliminazione delle colonne ha aiutato a concentrarsi maggiormente sulle caratteristiche ematologiche critiche del dataset impiegato.

2) Gestione dei valori nulli
Si osserva che il numero più elevato di valori nulli costituisce l’attributo ESR del dataset, con 49 voci mancanti. Al contrario, le caratteristiche Neutrophil, Lymphocyte, Monocyte, Eosinophil e RBC contengono ciascuna un valore nullo. Inoltre, due valori nulli sono identificati nella caratteristica Basophil. Per risolvere questi valori mancanti, è stata impiegata la tecnica di imputazione mediana per le caratteristiche sopra menzionate.

3) Codifica one-hot e ridimensionamento delle funzionalità
In questo lavoro, la tecnica di codifica one-hot è stata utilizzata per sostituire intrinsecamente il genere e la classe Dengue in ‘0’ e ‘1’. Le caratteristiche numeriche rimanenti vengono trasformate a un livello comparabile utilizzando un framework di ridimensionamento delle caratteristiche standard basato sulla distribuzione gaussiana.

4) Sovracampionamento sintetico
La tecnica di sovracampionamento sintetico delle minoranze (SMOTE) è stata utilizzata per affrontare lo squilibrio di classe generando punti dati sintetici per campioni di addestramento delle classi minoritarie (casi negativi di dengue).

Analisi esplorativa dei dati – Rilevamento precoce Dengue con AI
La figura 2 rappresenta il rapporto tra istanze positive e negative all’interno del dataset dengue impiegato. Qui, “positivo” e “negativo” indicano i risultati corrispondenti a “Risultato”. In questo dataset, 211 istanze sono etichettate come casi di dengue positivi e 109 come casi di dengue negativi. Di conseguenza, il dataset CBC racchiude un totale di 320 output.

La Figura 3 ritrae le distribuzioni di genere del dataset impiegato. Il 62,5% e il 37,5% delle istanze corrispondono rispettivamente a maschi e femmine. Nel caso di Platelets, è stata illustrata una grande differenza tra il valore minimo e quello massimo. Ciò indica una maggiore probabilità di casi di dengue positivi rispetto a quelli negativi. Secondo la Figura 4 , è possibile osservare una variazione di età nel dataset dengue curato, che va da otto mesi a 81 anni.

FIGURA 3. Distribuzioni di genere del set di dati impiegati.

FIGURA 4. Distribuzioni per età del set di dati impiegati.

Il grafico a coppie delle caratteristiche selezionate dal dataset del report CBC sulla dengue mostra le relazioni tra vari parametri ematologici quali età, emoglobina, globuli bianchi, neutrofili, linfociti, globuli rossi e piastrine, distinguendo tra risultati positivi e negativi del test sulla dengue.

Pulizia dei dati e rimozione dei valori anomali – Rilevamento precoce Dengue con AI
Possiamo rappresentare una mappa termica (che per motivi di spazio non inseriamo) per il Rilevamento precoce Dengue con AI di varie caratteristiche numeriche dal set di dati, utilizzando il metodo di correlazione di Pearson per visualizzare le correlazioni tra caratteristiche. Un valore soglia di 0,85 è impostato per determinare correlazioni significative. Le caratteristiche che superano questa soglia sono considerate altamente correlate. Neutrofili e linfociti mostrano una correlazione inversa con un valore di -0,96, ma nessuna caratteristica viene eliminata. Un’altra correlazione tra emoglobina e RBC produce un valore di 0,83 al di sotto della soglia, con conseguente eliminazione di nessuna caratteristica. Questa analisi garantisce che nessuna delle caratteristiche venga esclusa in base ai criteri di correlazione stabiliti.

I grafici a violino di quattro caratteristiche selezionati, costituiscono strumenti versatili per visualizzare le distribuzioni di dati numerici. I grafici a violino per l’emoglobina e i globuli rossi (RBC) dimostrano distribuzioni simmetriche per situazioni sia positive che negative. Le code basse sulle istanze di emoglobina indicano pochi valori anomali in entrambi i gruppi. Analogamente, né le distribuzioni positive né quelle negative di RBC mostrano valori anomali notevoli e sono coerenti con una bassa variabilità.

Le distribuzioni mostrano una maggiore varianza per piastrine e VES (velocità di eritrosedimentazione). La distribuzione VES dei casi positivi è distorta, con una mediana inferiore a circa 25 e una coda evidente che indica valori anomali a valori più alti. La distribuzione VES è più ampia nei casi negativi, con valori anomali all’estremità superiore e una mediana vicina a 50. In situazioni positive, le piastrine hanno una distribuzione rigida e simmetrica con una mediana di 150, che indica pochi valori anomali; nei casi negativi, la dispersione è maggiore, con una mediana superiore di circa 300 e valori anomali più evidenti, soprattutto a valori più alti.

In questo lavoro, il metodo del punteggio Z è stato utilizzato per affrontare i valori anomali, che possono essere espressi come:
La< X− 2 σ

La> X+ 2 σ

dove X rappresenta il valore della caratteristica esi indica la deviazione standard. Per la caratteristica dell’emoglobina, l’intervallo di valori diventa più concentrato, indicando meno valori estremi, ma sia i casi positivi che quelli negativi rimangono simmetrici e centrati attorno alle stesse mediane. Con un intervallo marginalmente più piccolo, le distribuzioni RBC mantengono simultaneamente la loro simmetria e centrano le mediane attorno a 5. Sebbene le code delle distribuzioni ESR per entrambi i gruppi si siano ridotte, la mediana per i casi negativi rimane più alta, indicando che i valori eccessivamente alti sono stati eliminati. Con le istanze positive che rimangono concentrate attorno a 150 e i casi negativi attorno a 300, le distribuzioni piastriniche diventano più uniformi con una diffusione più stretta, indicando una distribuzione più coerente priva di valori anomali notevoli.

Algoritmi – Rilevamento precoce Dengue con AI
1) Regressione logistica
La regressione logistica è una tecnica statistica che collega un set di variabili indipendenti discrete o continue a una variabile dipendente binaria. È uno strumento potente che produce modelli robusti. Prevede i dati dipendenti esaminando la correlazione tra una o più variabili indipendenti già presenti.

2) SVM
La macchina a vettori di supporto è una tecnica di apprendimento supervisionato efficace per l’identificazione, la regressione e la classificazione di valori anomali. Per consentire la previsione di etichette da uno o più vettori di caratteristiche, cerca di stabilire un confine di decisione tra due classi.

3) Foresta casuale
Random forest è un classificatore che utilizza più alberi decisionali su diversi sottoinsiemi del dataset di input e fa la media dei risultati per aumentare l’accuratezza prevista del dataset. È possibile che alcuni alberi decisionali possano anticipare l’output corretto mentre altri potrebbero non farlo, poiché random forest utilizza numerosi alberi per prevedere la classe del dataset.

4) Bayes ingenuo
L’algoritmo naive Bayes si basa sul teorema di Bayes e suppone che ogni singola caratteristica di un set di dati sia condizionatamente indipendente dall’output di classe dato. L’algoritmo naive Bayes gaussiano esprime la probabilità di un’ipotesi. Sebbene questo algoritmo sia utile principalmente per i dati continui, è anche molto efficace per i dati di classificazione. Questo modello è abbastanza semplice ma efficace.

5) AdaBoost
Adaptive Boosting (AdaBoost) è una tecnica per l’apprendimento di ensemble che è stata sviluppata per la prima volta per potenziare le prestazioni dei classificatori binari. L’ensemble si avvicina ai treni AdaBoost e distribuisce gli alberi uno dopo l’altro. Collegando una serie di classificatori deboli in AdaBoost, viene implementato il boosting. Ogni classificatore debole tenta di correggere i campioni che sono stati classificati in modo errato dal classificatore debole precedente.

6) XGBoost
L’algoritmo Extreme Gradient Boosting (XGBoost) è noto come algoritmo XGBoost. Occupa un posto di rilievo tra tutti gli algoritmi di apprendimento automatico per le sue prestazioni e velocità. Anche la sua portabilità è una caratteristica notevole, in quanto può essere eseguito su qualsiasi piattaforma e questo algoritmo è anche integrabile con più sistemi là fuori. Tra gli altri algoritmi di boosting, tende a funzionare più velocemente [26] grazie al suo concetto di parallelizzazione.

7) MLP
Una percezione multistrato (MLP) è un tipo di rete neurale artificiale composta da diversi livelli di nodi, come un livello di input, un livello di output e uno o più livelli densi. È un modello potente in grado di apprendere modelli complessi nei dati e gestisce anche vari tipi di dati, inclusi dati strutturati e non strutturati.

8) GBM leggero
Light Gradient Boosting Machine (LightGBM) è una versione estesa dell’algoritmo di gradient boosting ma con una scalabilità più elevata. Questo algoritmo richiede una durata computazionale inferiore rispetto ad altri algoritmi e fornisce previsioni più accurate con il suo approccio di crescita dell’albero foglia per foglia. La sua profondità limitata rende anche l’algoritmo più robusto.

9) Classificatore di impilamento
Un classificatore di impilamento è un approccio di apprendimento automatico di ensemble applicato all’interno del nostro modello, specificamente progettato per affrontare circostanze ad hoc. Più algoritmi di base più performanti vengono addestrati come modelli di base e implementati sui dati divisi. Quindi, al livello successivo, gli output primari dei modelli di base vengono considerati le nuove funzionalità per il meta-classificatore per ottenere la previsione finale più elevata. In questa ricerca, abbiamo utilizzato i tre modelli statistici più performanti (MLP, XGBoost e Logistic Regression) come modelli di base per le loro prestazioni e scalabilità notevolmente migliori. D’altro canto, LightGBM è stato utilizzato come meta-classificatore. L’algoritmo del modello di ensemble di impilamento proposto applicato in questo sistema di previsione automatica della dengue è riassunto nell’algoritmo 1 .

Algoritmo 1 Algoritmo del modello di insieme di impilamento proposto (Rilevamento precoce Dengue con AI)
Inizio

Fase 1: suddividere il set di dati in set di addestramento, di convalida e di test.

Fase 2: Valutare tutti i modelli utilizzando la convalida incrociata per ottenerne l’accuratezza.

Fase 3: selezionare i modelli più performanti in base alla precisione.
Fase 4: assegnare LightGBM (LGBM) come meta-classificatore e XGBoost (XGB), Logistic Regression (LR) e Multilayer Perceptron (MLP) come modelli di base.

Fase 5: Addestrare i modelli di base (XGB, LR, MLP) con i campioni di addestramento.

Fase 6: Generare un nuovo set di dati utilizzando le previsioni dei modelli di base.

Fase 7: addestrare il meta-classificatore (LGBM) con i campioni di convalida.

Fase 8: eseguire l’inferenza sui campioni di prova utilizzando il metaclassificatore addestrato (LGBM).

FINE

10) ANNO – Rilevamento precoce Dengue con AI
L’algoritmo Artificial Neural Network (ANN) è noto perché il suo meccanismo di funzionamento è abbastanza simile al cervello umano. Il suo processo di lavoro include una funzione di attivazione che è una componente vitale che facilita la generazione di livelli di output attraverso la sommatoria di prodotti di input e pesi corrispondenti. Inoltre, gli input del set di dati vengono elaborati nella direzione in avanti. Ultimo ma non meno importante, ANN è più semplice di altre reti neurali a causa delle sue caratteristiche feed-forward.

11) La CNN
Convolutional Neural Network (CNN) indica una classe di modelli di apprendimento profondo la cui architettura di base è il livello convoluzionale che elabora gli array strutturati di dati. Il modello CNN, spesso indicato come ConvNet, è specificamente progettato per apprendere automaticamente e in modo adattivo gerarchie spaziali di caratteristiche, concentrandosi principalmente su dati basati su immagini e video.

12) GRU
In questa ricerca è stata implementata una variante leggera del modello LSTM (Long Short-Term Memory), GRU (Gated Recurrent Unit). Si distingue per l’integrazione della memoria a lungo e breve termine all’interno del suo stato nascosto. Questo algoritmo modificato presenta due gate essenziali: il gate di aggiornamento e il gate di reset, entrambi progettati con una chiara comprensione dei meccanismi della memoria. Il gate di aggiornamento è responsabile della conservazione delle informazioni di memoria, mentre il gate di reset facilita i processi di oblio della memoria. Le equazioni per entrambi i gate sono quasi simili, ma i pesi sono distinti per entrambi i casi.

13) Bi-LSTM
Per i problemi di classificazione basati sulla sequenza, l’algoritmo Bi-LSTM funziona notevolmente meglio del modello LSTM. Questo modello è considerato la versione estesa del modello LSTM. In questo algoritmo, la codifica viene eseguita sia in avanti che all’indietro. Infine, il risultato viene concatenato da entrambe le estremità.

14) SchedaPFN
Dati tabulari Prior-data Fitted Network (TabPFN) [29] funziona in modo significativo sui set di dati di classificazione tabulare. La caratteristica migliore di questo modello è che senza alcun training precedente, selezione delle caratteristiche e ottimizzazione degli iperparametri, questo modello fornisce la massima accuratezza possibile entro pochi secondi dall’applicazione. Utilizza il metodo di apprendimento in contesto che consente al modello di apprendere le sequenze dall’input fornito.

15) TabTransformer
TabTransformer è un modello basato su trasformatore specializzato nell’addestramento per dati tabulari. Questo modello è piuttosto diffuso per la sua efficienza e scalabilità in termini di gestione di dati tabulari senza così tante attività di pre-elaborazione intensive. Per il nostro studio, abbiamo utilizzato la pipeline di dati TensorFlow con una funzione di attivazione sigmoide, e questa funzione di attivazione è stata applicata agli output di tutti i livelli per far emergere i valori nell’intervallo da 0 a 1. Tuttavia, il meccanismo di auto-attenzione di questo modello è notevolmente utile per intricare [30] e trovare relazioni tra le caratteristiche del set di dati impiegato.

Ottimizzazione degli iperparametri – Rilevamento precoce Dengue con AI
L’ottimizzazione degli iperparametri è una procedura fondamentale focalizzata sull’identificazione dei valori ottimali per i parametri di un modello di apprendimento automatico. Di solito, prima dell’applicazione di questa tecnica, i modelli di apprendimento automatico convenzionali sono tipicamente impliciti nel set di dati, spesso con conseguenti metriche di prestazioni subottimali. Tuttavia, integrando metodologie di ottimizzazione degli iperparametri come GridSearchCV e RandomizedSearchCV, gli algoritmi statistici mostrano notevoli miglioramenti nelle prestazioni predittive rispetto alle loro pre-implementazioni. Nel complesso, questo processo svolge un ruolo fondamentale nel raggiungimento delle metriche di prestazioni ottimali definitive come precisione, richiamo, accuratezza e punteggio F1. Al contrario, il metodo di ottimizzazione Keras Tuner viene implementato per ottimizzare gli algoritmi di apprendimento profondo in questo lavoro. Questo approccio riduce la necessità di una sperimentazione manuale estesa, migliorando le prestazioni del modello e migliorando i tassi di accuratezza. Al contrario, il metodo di ottimizzazione Keras Tuner viene implementato per ottimizzare gli algoritmi di apprendimento profondo. Questo approccio riduce la necessità di una sperimentazione manuale estesa, migliorando le prestazioni del modello e migliorando i tassi di accuratezza. In questa ricerca, GridSearchCV è stato utilizzato per tutte le tecniche di apprendimento automatico applicate, MLP e modelli LightGBM. Al contrario, abbiamo impiegato Keras Tuner per ottimizzare i modelli di apprendimento profondo, tra cui ANN, CNN, Bi-LSTM e GRU.

Metodo di selezione delle caratteristiche – Rilevamento precoce Dengue con AI
Dopo aver implementato più algoritmi di apprendimento automatico e apprendimento profondo sul set di dati, sono stati applicati cinque metodi di selezione delle feature che aumentano l’interpretabilità e l’accuratezza del modello. Questi cinque metodi sono i seguenti: correlazione di Pearson, eliminazione ricorsiva delle feature, SelectKBest con valore F ANOVA, test del Chi-quadrato e classificatore Extra Trees.

1) Correlazione di Pearson
Il metodo di selezione delle feature basato sulla correlazione di Pearson è essenziale per trovare la relazione tra due feature. Sulla base delle variabili di input del dataset CBC dengue utilizzato, abbiamo deciso di iterare questo metodo tramite più modelli di apprendimento automatico. Poiché questo metodo determina l’accuratezza ottimale tra le feature tracciando punti relativi alla linea, migliora la chiarezza della visualizzazione dell’impatto del metodo.

2) Radiofrequenza
Il metodo di selezione delle feature Recursive Feature Elimination (RFE) funziona rimuovendo la feature meno importante dal dataset. Questo processo continua a ripetersi finché non elimina tutte le feature non importanti dal dataset e seleziona quella più importante.

3) SelezionaKBest
SelectKBest è un metodo di selezione delle feature basato su filtro o univariato nell’apprendimento automatico. Utilizza metriche come il test del chi-quadrato, il valore F dell’ANOVA o entrambi i test statistici per valutare ogni feature. Dopo aver assegnato un punteggio alle feature, seleziona solo le k feature più salienti in base al punteggio.

4) Test del Chi-Quadrato
Un test chi-quadrato è un metodo di test statistico per dati categoriali che è anche considerato un metodo di test di ipotesi. Questo metodo di test determina la differenza notevole tra i dati osservati e quelli attesi.

5) Classificatore di alberi extra
L’Extra Tree Classifier, un tipo di apprendimento d’insieme, è uno strumento potente per le attività di classificazione. Aggiunge casualità alla selezione delle feature e combina i risultati di più alberi decisionali non correlati in una foresta per prevedere i risultati.

Risultati e discussioni – Rilevamento precoce Dengue con AI
Questa sezione presenta i risultati dei modelli di intelligenza artificiale applicati per il sistema di rilevamento automatico della dengue proposto. Precisione, richiamo, macro F1 e punteggi di accuratezza sono alcune importanti metriche di misurazione delle prestazioni dimostrate in questa sezione che vengono determinate utilizzando rispettivamente (3) a (6) .

La Tabella 2 presenta le metriche delle prestazioni di vari modelli di apprendimento automatico valutati per la previsione della dengue senza ottimizzazione degli iperparametri. Il classificatore TabPFN ha raggiunto la massima accuratezza del 94,79%, con una precisione dello 0,9387 e un punteggio macro F1 dello 0,9419. Altre prestazioni degne di nota includono il modello di classificatore di impilamento con un’accuratezza del 93,75% e il modello XGBoost, che ha dimostrato un elevato richiamo (0,9297) e precisione (0,9122), ottenendo un’accuratezza del 92,71%.

TABELLA 2 Metriche delle prestazioni per vari modelli (senza ottimizzazione degli iperparametri)

L’accuratezza e la perdita di training e validazione del modello TabPFN con il cambio di epoche sono illustrate nella Figura 8. L’accuratezza di training e validazione rimane elevata e stabile al 94% – 95% durante le epoche. Al contrario, la perdita di training e validazione mostra fluttuazioni minime, indicando un modello con prestazioni costanti e buone capacità di generalizzazione.

FIGURA 8. Precisione di addestramento e convalida e perdita rispetto alle epoche per il modello TabPFN.

Selezioni delle caratteristiche Tecniche Risultati – Rilevamento precoce Dengue con AI
Una tabella (non inserita per motivi di spazio) mostra le accuratezze di previsione della dengue di vari algoritmi dopo l’applicazione di diversi metodi di selezione delle caratteristiche, tra cui Pearson Correlation, RFE, SelectKBest, Chi-Square Test ed ExtraTree Classifier. L’algoritmo Random Forest funziona costantemente bene in tutti i metodi, con una precisione massima del 93,75% utilizzando sia i metodi Pearson Correlation che Chi-Square Test, dimostrando la robustezza di questo algoritmo con la selezione delle caratteristiche. Analogamente, sia il classificatore di stacking che il modello XGB hanno entrambi ottenuto il punteggio di precisione più alto del 93,75% per il metodo RFE, e anche il classificatore di stacking ha eguagliato questo punteggio per il metodo SelectKBest.

Risultati dell’ottimizzazione degli iperparametri
Una tabella (non inserita per motivi di spazio) presenta l’accuratezza di vari algoritmi di apprendimento automatico dopo l’applicazione dell’ottimizzatore di iperparametri GridSearchCV. Il classificatore di stacking raggiunge l’accuratezza più elevata al 96,88%, indicando un miglioramento significativo rispetto alle sue prestazioni senza ottimizzazione (93,75%). L’accuratezza della regressione logistica è migliorata dal 90,62% al 92,95% e XGBoost è migliorato dal 92,71% al 93,75%. Nel complesso, la maggior parte degli algoritmi mostra un’accuratezza migliorata dopo l’ottimizzazione, evidenziando l’efficacia di GridSearchCV nel migliorare le prestazioni del modello.

L’accuratezza e gli iperparametri meglio ottimizzati di vari modelli di deep learning dopo l’applicazione di Keras Tuner per l’ottimizzazione degli iperparametri sono riassunti nella Tabella 5. Il modello CNN ha raggiunto l’accuratezza più elevata all’86,53%, mentre entrambi i modelli Bi-LSTM e GRU hanno raggiunto un’accuratezza dell’83,33%.

La matrice di confusione per il modello di classificatore di impilamento più performante è illustrata nella Figura 9 , evidenziandone l’efficiente prestazione predittiva. Il modello ha classificato accuratamente 20 istanze di classe 0 e 42 casi di classe 1, con solo 2 classificazioni errate, dimostrando la sua elevata efficacia nel distinguere tra le due classi di dengue per il dataset CBC impiegato.

In questo lavoro, è stata utilizzata l’eXplainable AI (XAI) basata su Local Interpretable Model-agnostic Explanation (LIME) per spiegare come il modello di apprendimento automatico di ensemble di impilamento di scatole nere predice un risultato. Questo framework funziona in modo efficiente approssimando i risultati del modello localmente, ad esempio, addestrando un modello lineare interpretabile su varie versioni perturbate dell’istanza. Questa spiegazione fornisce informazioni sul motivo per cui il modello classifica le istanze come “Positive” o “Negative” nel set di dati basato sul report CBC della dengue impiegato. La Figura 11 mostra un punteggio di confidenza di 0,99 per il caso positivo. Piastrine, neutrofili, eosinofili, sesso, emoglobina e globuli bianchi sono le sei caratteristiche più impattanti che hanno svolto un ruolo significativo nel determinare la classe positiva corrispondente. D’altra parte, secondo la Figura 12 , piastrine, basofili, linfociti, monociti ed eosinofili agiscono come i fattori più importanti per la previsione della classe negativa della dengue.

Conclusione
Questa ricerca introduce varie tecniche di intelligenza artificiale per prevedere il virus della dengue utilizzando un set di dati di report CBC privato. Il set di dati comprende 320 campioni e 14 caratteristiche ematologiche raccolte dagli ospedali locali di Dhaka, Bangladesh. Sono implementati diversi passaggi di preelaborazione del set di dati nel set di dati, ovvero gestione di valori mancanti e valori anomali, codifica one-hot, standardizzazione delle caratteristiche, sovracampionamento sintetico e rimozione delle caratteristiche ridondanti. Vari modelli di apprendimento automatico, apprendimento profondo e basati su trasformatori vengono applicati per prevedere casi di dengue positivi e negativi. Gli iperparametri dei modelli applicati vengono ottimizzati utilizzando i framework GridSearchCV e Keras Tuner. Un approccio di ensemble di stacking costruito con meta-classificatore LightGBM e XGBoost, regressione logistica e apprendisti di base MLP ottiene le migliori prestazioni tra i modelli di apprendimento automatico. Il modello di rete neurale MLP offre le migliori prestazioni tra i modelli di apprendimento profondo. Infine, è stato applicato l’approccio LIME XAI per indagare le caratteristiche salienti e interpretare le previsioni fornite dal classificatore di stacking. In futuro, il set di dati impiegato può essere ampliato aggiungendo nuovi dati da una coorte più ampia di pazienti. L’architettura multimodale può essere applicata utilizzando immagini di strisci di sangue per gli stessi dati del paziente. Un problema multiclasse può essere definito utilizzando campioni di casi di dengue lieve, moderata, grave positiva e negativa.

(fonte)

Innovaformazione, scuola informatica specialistica promuove la cultura dell’intelligenza artificiale applicata in tutti i domini della vita reale e con consapevolezza.

Nell’offerta formativa rivolta solo alle aziende trovate i Corsi AI Generativa.

INFO: info@innovaformazione.net – tel. 3471012275 (Dario Carrassi)