ChatGPT

ChatGPT è un modello linguistico di grandi dimensioni messo a punto con tecniche di apprendimento automatico (di tipo non supervisionato), e ottimizzato con tecniche di apprendimento supervisionato. È stato sviluppato per essere utilizzato come base per la creazione di altri modelli di machine learning ed è addestrato a partire dai modelli Instruct GPT, modelli in cui il pre-addestramento è stato ottimizzato manualmente da addestratori umani.

Lanciato il 3 novembre 2022, ha attirato l'attenzione per le sue risposte dettagliate e articolate. Ma la sua accuratezza è stata criticata. Sia l'apprendimento supervisionato che l'apprendimento per rinforzo hanno utilizzato istruttori umani per migliorare le prestazioni del modello. Nel primo caso il modello è stato alimentato con conversazioni nelle quali gli istruttori interpretavano entrambe le parti: l'utente e l'assistente basato su intelligenza artificiale. Nella fase di rinforzo, gli istruttori umani hanno prima valutato le risposte che il modello aveva creato nella conversazione precedente. Queste valutazioni sono state utilizzate per creare "modelli di ricompensa" sui quali il modello è stato ulteriormente perfezionato, utilizzando diverse iterazioni di Proximal Policy Optimization (PPO).