Rob Toews, investitore di capitale di rischio presso Radical Ventures, ha condiviso le sue previsioni per l’IA nel 2025:
1. Meta inizierà a far pagare i modelli Llama
Meta è lo standard globale perAI aperta. La decisione di Meta di rendere disponibile gratuitamente il suo modello Llama all’avanguardia rappresenta un business case convincente, mentre concorrenti come OpenAI e Google hanno chiuso il codice sorgente e ne hanno fatto pagare l’utilizzo.
Pertanto, la notizia che Meta inizierà a far pagare le aziende per l’utilizzo del suo modello Llama il prossimo anno potrebbe sorprendere molti.
Per essere chiari: non ci aspettiamo che Meta chiuda completamente il codice sorgente di Llama, rendendolo gratuito per chiunque utilizzi il modello.
Ci aspettiamo che Meta renda più rigidi i termini della licenza open source di Llama, in modo che le aziende di una certa dimensione che utilizzano Llama in contesti commerciali debbano iniziare a pagare per utilizzare il modello.
Tecnicamente, Meta lo ha già fatto in una certa misura. L’azienda non consente alle grandi aziende (supercomputer cloud e altre aziende con oltre 700 milioni di utenti attivi mensili) di utilizzare gratuitamente il suo modello Llama.
Nel 2023, il CEO di Meta, Mark Zuckerberg, ha dichiarato: “Se sei un’azienda come Microsoft, Amazon o Google e stai essenzialmente rivendendo Llama, allora dovremmo essere redditizi. Non credo che genererà molti ricavi. Va bene a breve termine, ma voglio generare ricavi a lungo termine”.
Il prossimo anno, Meta amplierà significativamente la gamma di aziende che possono pagare per utilizzare Llama, includendo più grandi e medie imprese. Mantenere un’avanguardia nella tecnologia dei modelli linguistici di grandi dimensioni (LLM) è costoso. Meta deve investire miliardi di dollari all’anno per mantenere Llama aggiornato con i modelli più recenti di aziende comeOpenAI e Anthropic.
Meta è una delle aziende più grandi e meglio finanziate al mondo. Ma è anche una società quotata in borsa e, in ultima analisi, deve rendere conto agli azionisti.
Con l’aumento dei costi di sviluppo di modelli all’avanguardia, sta diventando sempre più insostenibile per Meta investire così tanto denaro nell’addestramento della prossima generazione di modelli Llama senza aspettarsi di trarne profitto.
Per il prossimo anno, i modelli Llama continueranno a essere disponibili gratuitamente per hobbisti, accademici, singoli sviluppatori e startup. Tuttavia, Meta non inizierà a considerare seriamente la redditività di Llama prima del 2025.
02. Il problema della “legge di scala”
Nelle ultime settimane, l’argomento più discusso nella comunità dell’IA è stata la legge di scala e la sua possibile scomparsa.
La legge di scala è stata descritta per la prima volta in un articolo diOpenAI del 2020. Il suo concetto di base è semplice: man mano che si addestra un modello di IA, all’aumentare del numero di parametri del modello, della quantità di dati di addestramento e della quantità di elaborazione, le prestazioni del modello miglioreranno in modo affidabile e prevedibile (tecnicamente, la sua perdita di test diminuirà).
Da GPT-2 a GPT-3 a GPT-4, i significativi miglioramenti delle prestazioni sono stati attribuiti alla scalabilità.
Come la Legge di Moore, la legge di scalabilità in sé non è una legge, ma semplicemente un’osservazione empirica.
Una serie di report pubblicati il mese scorso indica che, man mano che i laboratori di intelligenza artificiale continuano a sviluppare modelli linguistici di grandi dimensioni, le loro prestazioni stanno diminuendo. Questo, in parte, spiega i ripetuti ritardi nel rilascio di GPT-5 di OpenAI.
La controargomentazione più comune alla stagnazione della legge di scalabilità è che l’avvento del test-run computing ha aperto una dimensione completamente nuova nell’esplorazione della scalabilità.
In altre parole, nuovi modelli di inferenza come o3 di OpenAI possono scalare significativamente la potenza di calcolo durante l’inferenza, anziché durante l’addestramento, sbloccando così nuove capacità di intelligenza artificiale consentendo ai modelli di “pensare più a lungo”.
Questo è fondamentale. Il test-time computing rappresenta una nuova entusiasmante strada per raggiungere scalabilità e miglioramenti delle prestazioni nell’intelligenza artificiale.
Ma c’è un altro punto, più importante, sulle leggi di scala che è stato significativamente trascurato nella discussione odierna. Dall’articolo originale in poi, quasi tutte le discussioni sulle leggi di scala sono sostanzialmente le stesse.