La Crescita Esponenziale dell'IA

L’intelligenza artificiale sta avanzano a un ritmo senza precedenti. Ogni pochi mesi vediamo nuovi modelli che superano i loro predecessori, ma come possiamo misurare questo avanzamento in modo significativo? Un nuovo studio propone una metrica affascinante: la lunghezza dei compiti che i sistemi di IA possono completare in modo autonomo.

Un risultato chiave

Una ricerca recente rivela un modello allarmante: la lunghezza dei compiti che i modelli di IA possono completare raddoppia approssimativamente ogni 7 mesi. Questa tendenza è stata costante negli ultimi 6 anni.

Se questa progressione continua, in meno di cinque anni potremmo vedere agenti di IA capaci di completare indipendentemente gran parte dei compiti di software che attualmente richiedono giorni o settimane per gli esseri umani.

Il paradosso delle capacità attuali

Hai notato che le IA attuali sono straordinarie per alcune cose ma sorprendentemente limitate per altre? Questa ricerca aiuta a spiegare questa apparente contraddizione:

Punti di forza:

I modelli attuali superano gli esseri umani nella predizione del testo e nei compiti di conoscenza
Ottengono risultati migliori degli esperti in problemi tipo esame, a una frazione del costo
Funzionano come strumenti utili in molte applicazioni specifiche

Limitazioni:

Non possono portare a termine progetti sostanziali da soli
Sono incapaci di gestire in modo affidabile anche lavori relativamente semplici basati su computer
Non possono sostituire direttamente il lavoro umano in molti contesti

Misurare l’avanzamento attraverso la “lunghezza del compito”

Lo studio mostra che il tempo che un esperto umano necessita per completare un compito predice fortemente il successo del modello nello stesso compito:

Compiti di meno di 4 minuti: i modelli attuali hanno quasi il 100% di successo
Compiti di più di 4 ore: meno del 10% di successo

Per ogni modello, possiamo caratterizzare le sue capacità determinando “la lunghezza (per gli umani) dei compiti che il modello può completare con successo con una probabilità dell’x%”.

L’orizzonte temporale dei modelli attuali

Utilizzando una probabilità di successo del 50% come riferimento, lo studio ha trovato che i migliori modelli attuali (come Claude 3.7 Sonnet) hanno un “orizzonte temporale” di approssimativamente un’ora.

Questo spiega perché, nonostante le loro prestazioni sovrumane in molte prove, questi modelli non sembrano essere solidamente utili per automatizzare parti del lavoro quotidiano delle persone: possono eseguire alcuni compiti che anche agli esperti umani richiedono ore, ma possono completare in modo affidabile solo compiti di durata fino a pochi minuti.

Cosa significa questo per il futuro?

Se la tendenza degli ultimi 6 anni continua fino alla fine di questo decennio, i sistemi di IA all’avanguardia saranno capaci di portare a termine progetti di un mese di durata in modo autonomo. Questo avrebbe enormi implicazioni, sia in termini di benefici potenziali che di rischi.

La pendenza della tendenza significa che le nostre previsioni su quando arriveranno diverse capacità sono relativamente robuste anche di fronte a grandi errori di misurazione. Ad esempio, se le misurazioni assolute sono sbagliate di un fattore di 10x, ciò cambia solo il tempo di arrivo di circa 2 anni.

Conclusioni

Questa ricerca ha importanti implicazioni per benchmark, previsioni e gestione dei rischi dell’IA:

Per le valutazioni: Misurare le prestazioni dell’IA in termini di lunghezza dei compiti che può completare fornisce un’interpretazione significativa delle prestazioni assolute, non solo di quelle relative.
Per le previsioni: Esiste una tendenza esponenziale abbastanza robusta in un parametro che conta per l’impatto nel mondo reale. Questa metrica permette di fare previsioni più precise sulle capacità future.
Per la strategia: Se dirigi un team o un’azienda, dovresti iniziare a prepararti per un futuro dove le IA possano gestire progetti sempre più lunghi e complessi.

Come prepararti per questo futuro?

Identifica i processi nella tua organizzazione che potrebbero beneficiare dell’automazione tramite IA
Sperimenta presto con le capacità attuali per essere pronto quando arriveranno quelle più avanzate
Sviluppa competenze complementari che saranno preziose insieme all’IA
Rimani informato sugli avanzamenti nelle capacità dell’IA per anticipare cambiamenti nel tuo settore

Questa ricerca non solo ci aiuta a capire le capacità attuali dell’IA, ma ci fornisce anche una tabella di marcia per ciò che verrà. La domanda non è più se l’IA potrà svolgere compiti complessi, ma quando lo farà e come ci adatteremo a quel cambiamento.

Sei preparato per un futuro dove l’IA possa gestire progetti di settimane o mesi di durata? Come cambierebbe questo il tuo lavoro o business?

Basato sulla ricerca “Measuring AI Ability to Complete Long Tasks”

Hai domande su come implementare l’IA nel tuo business? Prenota una sessione gratuita di 30 minuti.