Strano ma vero: ChatGPT è un asino in matematica

ChatGPT, l’IA per eccellenza, sembra non essere portato per la matematica: un controsenso se pensiamo ad un robot

Se imparare la matematica di alto livello non è un’impresa facile, insegnare i concetti matematici può essere spesso altrettanto complicato. Ecco perché molti insegnanti si rivolgono a ChatGPT per avere un aiuto.

Secondo un recente articolo di Forbes, il 51% degli insegnanti intervistati ha dichiarato di aver usato ChatGPT per aiutare l’insegnamento, e il 10% lo usa quotidianamente. ChatGPT può aiutare a trasmettere informazioni tecniche in termini più elementari, ma non sempre fornisce la soluzione corretta, soprattutto per la matematica di livello superiore.

IA sotto esame

Un team internazionale di ricercatori ha testato le capacità del software fornendo al programma di intelligenza artificiale generativa domande di matematica di livello universitario. Sebbene ChatGPT abbia fallito in un numero significativo di domande, le sue risposte corrette hanno suggerito che potrebbe essere utile per i ricercatori e gli insegnanti di matematica come una sorta di motore di ricerca specializzato.

A livello di test per le classi di matematica delle scuole superiori e degli universitari, ChatGPT si comporta bene, posizionandosi all’89° percentile per il test di matematica del SAT. Ha persino ottenuto una B all’esame finale di informatica quantistica dell’esperto di tecnologia Scott Aaronson.

Simon e il suo team di ricerca hanno proposto una serie unica di domande di matematica di livello superiore per valutare se ChatGPT avesse anche capacità di affrontare test e risolvere problemi. Per creare un sistema di test più complesso, i ricercatori hanno raccolto richieste provenienti da diversi campi in un insieme di problemi più ampio che hanno chiamato GHOSTS.

Il set di dati di GHOSTS comprendeva domande tratte da un libro di testo di matematica di livello universitario, offriva domande di verifica a riempimento di spazi vuoti, proponeva problemi avanzati incredibilmente difficili e chiedeva a ChatGPT di integrare le costanti nelle equazioni, di eseguire analisi più standard di livello universitario e di definire alcuni concetti matematici. I ricercatori hanno fatto passare oltre 700 domande attraverso il programma di intelligenza artificiale generativa e hanno analizzato le risposte di ChatGPT per capire dove le cose andavano male.

Somaro o genio incompreso?

Quando gli è stato chiesto di spiegare come ha raggiunto le sue risposte, ChatGPT ha spesso presentato ragionamenti insoliti o inaspettati: anche quando ha ottenuto la risposta corretta, lo ha fatto uscendo dai limiti della pratica standard. Gli studenti imparano una forma standard di ragionamento matematico, quindi il metodo contorto di ChatGPT per arrivare alle risposte può confondere gli studenti, soprattutto nei corsi di matematica più elementari.

Non dovrebbe sorprendere che il programma di intelligenza artificiale generativa testuale abbia fallito quando si è trattato di domande di matematica pura, come l’integrazione, ma sia stato più bravo a definire i concetti matematici.

I ricercatori hanno anche scoperto che ChatGPT non era in grado di rispondere a particolari domande di matematica, come ad esempio trovare l’area di figure geometriche.

Intelligente, ma non si applica

Tuttavia, se utilizzato come motore di ricerca matematico per i ricercatori accademici, ChatGPT può far risparmiare tempo ed energia. Il team di ricerca ha sottolineato che questo caso d’uso di ChatGPT può essere particolarmente utile per fisici, informatici e persino ingegneri che utilizzano diversi concetti matematici nei loro studi.

I modelli linguistici di grandi dimensioni sono in costante sviluppo; questo lavoro è stato svolto prima del rilascio di ChatGPT basato su GPT-4, quindi è possibile che la versione attuale abbia già prestazioni migliori nei problemi matematici.

Ma Simon e altri ricercatori suggeriscono anche come migliorare le capacità matematiche del software, fino a renderlo abile in matematica avanzata. “ChatGPT potrebbe migliorare le sue capacità matematiche imparando da un maggior numero di dati e da dati migliori, soprattutto da quelli di matematica di livello superiore, e allo stesso tempo si potrebbero ottenere risposte migliori grazie a un’ingegneria tempestiva adeguata”, ha dichiarato Adesso. “ChatGPT potrebbe anche trarre vantaggio dall’integrazione con altri sistemi in grado di gestire meglio la matematica formale e simbolica in modo nativo”.

ChatGPT potrebbe migliorare le sue capacità matematiche imparando da un maggior numero di dati e da dati migliori, soprattutto da quelli di matematica di livello superiore, e allo stesso tempo si potrebbero ottenere risposte migliori grazie a un’ingegneria tempestiva adeguata. ChatGPT potrebbe anche trarre vantaggio dall’integrazione con altri sistemi in grado di gestire meglio la matematica formale e simbolica in modo nativo