Un "generatore di ipotesi" per non affogare nei dati

Dalla genetica, all'economia, dalla fisica alla salute pubblica, ovunque la quantità di dati disponibili prolifera in maniera esorbitante: una ricchezza preziosa, ma che rischia di rendere difficile l'identificazione delle variabili e delle relazioni significative per un fenomeno. Un nuovo strumento statistico promette di porvi rimedio.

Quando si vuole analizzare un fenomeno, avere a disposizione il maggior numero possibile di dati che lo riguardano rappresenta un vantaggio, almeno in linea di principio. Quando però la massa di dati cresce a dismisura, individuare le relazioni rilevanti può diventare un compito che va al di là della capacità di "intuizione" e di calcolo di un essere umano.

Di fronte alla crescente capacità di raccolta dati offerta dalla tecnologica contemporanea e all'ambizione di rispondere a domande sempre più complesse, il problema si presenta sempre più frequentemente in molti campi, dalla genomica alla fisica, fino all'economia.

I computer e i programmi sono in grado di leggere e classificare una mole di informazioni con grande velocità, ma finora si sono rilevati insufficienti quando si tratta di rilevare i diversi tipi di relazioni e modelli che vi si possono celare, e spesso sono vittima di qualche preconcetto di origine.

"Ci sono enormi insiemi di dati che vogliamo esplorare, e al loro interno, ci possono essere molte relazioni che vogliamo capire. L'occhio umano è il modo migliore per trovare queste relazioni, ma spesso gli insiemi di dati sono così vasti che diventa impossibile farlo", osserva Pardis Sabeti, autore senior di un articolo pubblicato su "Science" che illustra uno studio condotto da un gruppo di ricercatori del Broad Institute e della Harvard University per sviluppare un complesso di metodi statistici - che hanno chiamato MINE - che possa ovviare a questo inconveniente.

"Il nostro strumento è un generatore di ipotesi. Il paradigma standard - chiarisce Yakir Reshef, coautore dello studio - è basato su ipotesi scientifiche, a cui si arriva sulla base di osservazioni personali. Ma, se si scava nei i dati, si possono ricavare idee per ipotesi che altrimenti non sarebbero mai venute in mente." "Questo strumento offre un modo per 'scavare' nei dati alla ricerca di relazioni. I metodi standard vedono un modello come segnale e scartano gli altri come rumore", ha detto David Reshef, coautore della ricerca. "Ma ci può essere una grande varietà di differenti tipi di relazioni in un determinato insieme di dati. Il nostro metodo scruta qualsiasi tipo di struttura emergente all'interno dei dati, cercando di trovarle tutte".
Concetto centrale del metodo è il "coefficiente di informazione massimale" (MIC), una statistica in grado di rilevare una gamma estremamente ampia di tipi di relazioni nei dati, assegnando punteggi simili a relazioni di tipi differenti ma altrettanto "rumorose". Punteggi che possono poi essere utilizzati per rilevare modelli complessi, influenzati da molteplici fattori (variabili), e senza dover sapere precedenza quali tipi di relazioni si stanno cercando.

Il MIC si basa sull'idea che, se esiste una relazione tra due variabili, dovrebbe esistere anche un modo per disegnare una griglia sul grafico che riproduce la dispersione di queste variabili, in modo tale che la maggior parte dei punti rappresentativi dei dati siano concentrati in alcune celle della griglia.

Cercando la griglia che meglio si adatta alla situazione, un computer può utilizzare il MIC come pure una famiglia di statistiche correlate - chiamata "esplorazione non parametrica basata sull'informazione massimale", o MINE (maximal information-based nonparametric exploration) - che possono essere utilizzate per identificare e caratterizzare relazioni.

Successivamente per testare i metodo lo hanno applicato a una serie di ambiti per i quali si dispone di molti dati e si conoscono ben documentate e comprovate relazioni i significative. Così, un test ha riguardato l'identificazione, a partire da una serie di dati grezzi, dei fattori più rilevanti nella determinazione dei compensi dei giocatori di baseball, mentre in un altro è stato confrontato il rapporto tra reddito familiare e obesità femminile, trovando due tendenze contrastanti.

Molti paesi seguono infatti un trend parabolico, con i tassi di obesità che aumentano con il reddito fino a raggiungere un picco per poi calare. Ma nelle isole del Pacifico, dove l'obesità femminile esprime uno status sociale, l'andamento è più ripido e il tasso di obesità continua ad accelerare con l'aumentare del reddito.
( Fonte: www.lescienze.it)