Generative Pre-trained Transformer 3 (GPT-3) è un modello di linguaggio autoregressivo che mediante il Deep Learning, è in grado di redigere testi simili a quelli umani. È il modello di previsione del linguaggio di terza generazione della serie GPT creato da OpenAI. OpenAI della società a scopo di lucro basata sull’intelligenza artificiale OpenAI LP e dalla sua società madre, la non-profit OpenAI Inc. Questa conduce ricerche nel campo dell’intelligenza artificiale con l’obiettivo di promuovere e sviluppare una tipologia in grado di avvantaggiare il lavoro umano. L’organizzazione nasce nel 2015 a San Francisco da Elon Musk e Sam Altman, che hanno impegnato collettivamente 1 miliardo di dollari.
Il GPT-3 è in grado di generare risultati molto più coerenti e ricchi di qualsiasi altro sistema linguistico creato in precedenza. Secondo il suo team di sviluppo, i risultati consentono all’utente di non distinguere le sue notizie da quelle scritte da un umano. Il sistema è già in grado di rispondere a domande, correggere grammatica, risolvere problemi di matematica e persino generare codici di programmazione per computer.

Com’è strutturato il GPT-3?

Il GPT-3 è un modello autoregressivo, non ha quindi bisogno di essere addestrato come i tipici sistemi di AI.
I modelli linguistici sono delle reti neurali cioè delle funzioni matematiche sviluppate sulla base dei processi attuati dal cervello umano. Questi algoritmi sfruttano le connessioni tra i loro elementi informatici stratificati (quelli che per noi sarebbero i neuroni) al fine di ridurre l’errore.

Come si potrà immaginare, quella del GPT-3 è solo l’ultima versione di un processo di evoluzione tecnologica che parte da più lontano. Durante il processo di raffinamento e di miglioramento, i modelli sono diventati sempre più sofisticati. Ciò è reso possibile dall’aumento della potenza di calcolo disponibile: GPT-3 è il terzo modello di una serie ed è oltre 100 volte più grande del suo predecessore del 2019, GPT-2.

La prima versione è uscita nel 2018, ma era ancora rudimentale. Poi è arrivato GPT-2 nel giugno del 2019, e nel luglio di quest’anno GPT-3. Il principio è sempre lo stesso, anche se da una versione all’altra sono aumentate la complessità della rete neurale e le dimensioni del database di testi usato per addestrare il software. 

Per renderci conto del processo di modifica effettuato sui modelli linguistici bisogna però parlare di grandezza delle reti neurali, cioè di potenza. Questa è misurata sulla base della quantità di parametri che possiede: questi numeri definiscono i punti di forza delle connessioni tra i neuroni; quindi, più neuroni e più connessioni significano più parametri (e, di conseguenza, più potenza). Concretamente, GPT-3 ne ha 175 miliardi mentre GPT-2 ne aveva “solo” 1.5 miliardi.

Cosa fa GPT-3?

GPT-3 nasce dal Natural Language Processing (NLP), cioè quel ramo della linguistica, dell’informatica e dell’intelligenza artificiale che studia le interazioni tra esseri umani e computer. In particolare, questo campo si occupa di programmare i computer affinché riconoscano ed analizzino grandi quantità di dati scritti nel linguaggio umano. La sua funzione principale è infatti quella dell’elaborazione dei testi. Come altri sistemi di intelligenza artificiale odierni, GPT-3 si basa su una raccolta ampia e organizzata di parametri che ne determinano il funzionamento. Più parametri ci sono, più l’intelligenza artificiale è capace.

Per imparare a scrivere, il software si è allenato su svariate decine di Gigabyte di testi riguardanti vari argomenti, memorizzando quali parole vengono scritte più spesso dopo un dato vocabolo. All’inizio dell’apprendimento, la rete neurale procedeva per tentativi. In caso di errore, riceveva un messaggio che le facevano cambiare i pesi delle connessioni, cioè le regole matematiche in base a cui il segnale viene passato fra i nodi e agli strati successivi.
Quindi, una volta dato un input, GPT-3 predice la sequenza di parole o frasi più utile per rispondere a quel determinato quesito. Tutto questo viene effettuato e calcolato in pochissimo tempo sulla base dei dati che l’algoritmo ha precedentemente immagazzinato. Per questo, i testi scritti da GPT-3 non risultano robotici ma umani, e quindi facilmente confondibili con quelli prodotti da persone in carne e ossa.

Problematiche etiche

In sostanza GPT-3 non ha alcun problema nel produrre segmenti linguisticamente corretti e di senso compiuto, ma può incontrare delle difficoltà nella comprensione della semantica. L’algoritmo conosce i significati delle parole, ma non riesce ancora a contestualizzarli perfettamente. Non avendo studiato il mondo umano ma solo i suoi testi, il GPT-3 ha una comprensione superficiale delle situazioni che noi esseri umani viviamo quotidianamente.
Il GPT-3 andrà quindi a sostituire il lavoro umano? Ad oggi, sulla base dei dati rilevati, una risposta positiva sarebbe affrettata. Il modello è ancora troppo acerbo per poter prendere il posto di una persona in carne e ossa. Questo, però, non significa che l’intelligenza artificiale non possa diventare a breve uno strumento di aiuto per il copywriting.

Come ormai appurato, il modello di AI, osserva le relazioni statistiche tra le parole e le frasi che legge, ma non è ancora in grado di comprenderne il significato. Per questo potrebbe, se richiesto, diffondere incitamento all’odio e generare stereotipi razzisti e sessisti, proprio perché privo di pensiero autonomo.
Quindi la grande sfida in merito ad oggi sembra proprio quella di come poter instillare buon senso, ragionamento causale o, anche, giudizio morale.

Le soluzioni di OpenAI ai problemi etici

I ricercatori di OpenAI stanno sviluppando un processo per migliorare apparentemente il comportamento del modello. L’intento è quello di creare un set di dati “mirato ai valori” chiamato Process for Adapting Language Models to Society (PALMS). Al fine di creare il set di dati PALMS, i ricercatori hanno selezionato categorie di valori che percepivano come positivi sulla base della legge statunitense e internazionale sui diritti umani e dei movimenti sociali occidentali per l’uguaglianza umana (ad esempio, il movimento per i diritti civili degli Stati Uniti). Anche se i valori non sono esclusivi, includono diciture come “Opporsi alla violenza o alle minacce”, “incoraggiato a chiedere aiuto alle autorità competenti”. PALMS ha anche migliorato le valutazioni dei modelli mirati ai valori sugli assi specifici selezionati dai ricercatori, con i maggiori miglioramenti osservati nel più grande dei modelli GPT-3. Inoltre, fra le intenzioni dei ricercatori, appaiono di primaria importanza i propositi di eliminazione di vocaboli sessisti, omofobi, razzisti e denigratori di ogni tipo.