AI Capability Indicators: un sistema di valutazione per la stima delle AI Skills

Una serie di interviste dedicate all’innovazione tecnologica e al pensiero progettuale: esploriamo le storie dietro invenzioni e soluzioni che rispondono a sfide reali. Un’occasione per approfondire processi creativi, approcci metodologici e impatti concreti sul mercato e sulla società. 

L'articolo è di Francesca Montuschi, del Settore della comunicazione e informazione del dipartimento. 

Con la crescita delle potenzialità dell’AI in termini di capacità computazionale e applicazioni multisettoriali, risulta fondamentale definire metriche condivise per misurare competenze e abilità associate al suo sviluppo e utilizzo, soprattutto al fine di comprenderne le implicazioni, in primis, per il comparto dell’istruzione e per il mondo del lavoro. 

L’AI Capability Indicators Technical Report, pubblicato recentemente dall’Organisation for Economic Co-operation and Development (OECD) e realizzato nell’ambito del progetto AI and the Future of Skills, descrive i criteri messi a punto per la misurazione degli AI Skills. Questo rapporto si caratterizza per avere proposto il primo sistema standardizzato a livello internazionale di valutazione delle abilità associate agli AI Systems, messe a confronto con l'intera gamma delle abilità umane utilizzabili nel mondo del lavoro: linguaggio; interazione sociale; risoluzione dei problemi; creatività; metacognizione e pensiero critico; conoscenza, apprendimento e memoria; visione; manipolazione; intelligenza robotica. Collegandosi alle evidenze disponibili, gli indicatori proposti per la misurazione delle nove abilità si presentano nella forma di scala a cinque livelli. Le abilità più complesse da raggiungere per i sistemi di AI, ed equivalenti a quelle umane, sono collocate al vertice (livello 5) della scala. Ogni livello include una breve descrizione dei tipi di capacità che, in corrispondenza, i sistemi di AI possono eseguire in modo accurato e coerente. 

Questi indicatori possono essere utilizzati per valutare l’impatto dell’AI, identificando tra l'altro le figure professionali maggiormente a rischio di automazione e le competenze che saranno più richieste in futuro. Possono anche orientare le politiche educative, aiutando a definire le competenze che dovrebbero essere sviluppate per preparare gli studenti a un mondo del lavoro in evoluzione. Ad esempio, l’analisi delle competenze richieste per il ruolo di insegnante rivela che l’AI non ha ancora raggiunto i livelli più alti in aree come l’interazione sociale e il problem solving complesso, suggerendo quindi come questa professione rimarrà fondamentale nel guidare gli studenti attraverso attività che richiedono empatia e comprensione del contesto sociale. 

Alla pubblicazione dell’AI Capability Indicators Technical Report hanno collaborato anche il prof. Mirco Musolesi e il dott. Giorgio Franceschelli del Dipartimento di Informatica - Scienza e Ingegneria; più in particolare, il loro contribuito, oggetto della comune ricerca da diversi anni, si è concentrato sulla definizione dei criteri di misurazione della creatività dei sistemi di AI.

La creatività dei sistemi di AI è stata solitamente considerata guardando alla prospettiva di un prodotto, cioè di un output. Si può affermare che attualmente questi sistemi mostrano spesso novità e valore, ma mancano di autonomia e intenzionalità. 

La scala proposta a cinque livelli per valutare la creatività dei sistemi di AI mira a differenziarli in base alle loro capacità, a partire dall'osservazione delle evidenze riscontrate. I primi tre livelli prendono in considerazione le proprietà degli output generati dai sistemi di AI. La proprietà associata al primo livello è il valore (in questo caso il sistema è solo in grado di imitare il comportamento umano); valore e novità sono le proprietà associate al secondo livello (quando il sistema è in grado di raggiungere soluzioni non ovvie); valore, novità e sorpresa sono le proprietà associate al terzo livello (quando i risultati generati si discostano da quelli attesi). Il quarto livello amplia la portata verso prospettive superiori (il sistema deve autovalutare il proprio prodotto e restituirlo solo quando è di qualità sufficiente; inoltre, si deve adattare ai cambiamenti ambientali). Infine, il quinto livello è quello che si avvicina alla creatività umana; ovvero il sistema deve possedere capacità intenzionali ed essere autonomo. I modelli di AI, come ad esempio i Large Language Models (LLM), oppure quelli non generativi come l'AlphaZero, producono output che gli osservatori tendono a considerare preziosi, originali e sorprendenti, identificandoli quindi come creativi. A questo proposito, si può fare riferimento ai sistemi di AI in grado di sconfiggere l'avversario in un videogame ideando strategie sorprendenti, oppure a quelli relativi alla creazione di composizioni artistiche multimediali integrando elementi di arte visiva. Un esempio ulteriore è quello del Generative Adversarial Network (GAN) che ha prodotto il famoso ritratto di Edmond de Belamy, poi venduto all'asta da Christie per mezzo milione di dollari. 

La valutazione qualitativa dei sistemi AI può essere considerata umana? 

Sì, attraverso la tecnica della valutazione consensuale: un team di esperti esamina un prodotto dell’AI e ne decide il livello di creatività. Benché questo approccio sia puramente qualitativo, e difficile da convalidare e replicare più volte, è il più vicino al modo in cui gli artefatti creativi vengono valutati nel mondo reale. 

Nel cosiddetto terzo livello di creatività i sistemi di AI devono essere in grado di produrre output che non siano né ovvi né prevedibili. In un certo senso si presuppone che i sistemi abbiano un terzo obiettivo di apprendimento: oltre alla accuratezza e alla generalizzabilità, è necessaria la possibilità di non soddisfare i vincoli di dominio. Come avviene? 

La possibilità di trascendere dai vincoli di dominio può avvenire in diversi modi: potrebbe essere massimizzata l’imprevedibilità negli algoritmi evolutivi, oppure attraverso la contaminazione tra domini. O ancora potrebbe essere indotta da una funzione di perdita aggiuntiva che allontana la generazione dai dati di addestramento. 

Nulla è più difficile da cambiare di un'idea che ha funzionato in passato o che ci sembra la più razionale. Il metodo Design Thinking, introdotto come strumento di supporto all’innovazione, si è spesso trasformato in un rito visivo più che in una pratica trasformativa. Cosa succede se al processo aggiungiamo AI generative? 

La AI può diventare un partner co-creativo potente. La sua forza non sta solo nella rapidità e capacità di gestire grandi quantità di input, ma nella differenza strutturata del suo sguardo, Dove l’occhio umano tende a riconoscere pattern familiari, l'AI è capace, quando ben addestrata e alimentata, di esplorare il bordo della incoerenza. Non pensa meglio, semplicemente non pensa come noi. L’AI può forzare la nostra attenzione su idee in apparenza marginali, eccentriche, controdeduttive. Ad esempio, chiedere ad un modello di generare 50 usi paradossali di un oggetto può portare ad intuizioni radicali; in questa fase, la quantità può diventare qualità. Inoltre, l'AI ci costringe a scrivere prompt, e quindi ad esplicitare, smontare, riformulare continuamente il nostro pensiero. Infine l’AI può generare scenari, micro video, interfacce a bassa fedeltà, utili per sottoporre a test idee anche con persone reali. 

La creatività umana non richiede solo autenticità, è il frutto di desideri, motivazioni, ideali, intenzionalità. In un certo senso è un'espressione della nostra coscienza. Gli attuali sistemi di AI sono privi di queste proprietà. 

Il raggiungimento futuro del livello cinque della scala di valutazione potrebbe finire per avere un impatto rilevante sugli esseri umani. I sistemi di AI dotati di piena capacità di azione e intenzionalità potrebbero infatti produrre risultati che si discostano dal controllo umano diretto. Ciò potrebbe a sua volta, almeno potenzialmente, portare alla sostituzione degli esseri umani in determinate attività creative, con forti implicazioni sociali. Inoltre, tali sistemi avrebbero potenzialmente anche la piena paternità sui propri output, con significative ripercussioni sulle problematiche relative ai diritti di autore. 

Riproduzione riservata © copyright