Is ChatGPT self-aware?

  Michal Kosinski is an assistant professor of organizational behavior at Stanford University. His research objects are neither people nor animals, but objects that seem to have no advanced psychological functions, such as AI.

What is theory of mind? Why study it?

  L'abilità della teoria della mente, a volte tradotta come "capacità di ragionamento psicologico", di solito si riferisce alla capacità di comprendere lo stato interiore degli altri, tra cui inferire le intenzioni, le credenze, le emozioni, ecc.
It is a kind of "mind reading" that everyone can do, and it is the basis of social interaction.

  Immagina, se le due parti della comunicazione non hanno la capacità di speculare sul pensiero degli altri, ci saranno molte risposte sbagliate. Ad esempio, l'intelligenza artificiale utilizzata nella frode delle telecomunicazioni può solo ripetere meccanicamente il corpus pre-set nel database di domande e risposte e ovviamente non ha la capacità della teoria della mente.

  In contrast, ChatGPT gives people a very different look and feel, which makes people wonder how smart it is.

  It's just that the concept of intelligence is too complicated to study. In contrast, the question "Does AI have a theory of mind" is much easier to answer. Good answer for two reasons:

  Uno è che per questo problema, la psicologia ha già avuto un sistema di ricerca maturo e non è necessario creare ulteriori paradigmi sperimentali; L'altro è che CHATGPT, come modello linguistico di grandi dimensioni, può comunicare direttamente in linguaggio naturale ed è anche molto conveniente migrare il sistema sperimentale originale.

It turns out that AI can really pass these tasks!

  Professor Kosinski used two of the most classic theory of mind experiments - the Smarties experiment and the Sally-Ann experiment. The purpose of these two tasks is to explore whether the experimental subjects can understand "the mistakes made in other people's hearts". Also known as the "False Belief Task".

  Nell'esperimento Smarties, i partecipanti vedranno una scatola etichettata "Smarties (un marchio di cioccolato)", ma la scatola contiene matite, e quindi i partecipanti devono rispondere: "Un'altra persona che non ha visto il contenuto della scatola, cosa fare you think is in the box?"

  L'esperimento Sally-Ann è più basato sulla storia: i ricercatori racconteranno per la prima volta una storia, in cui Sally mette il suo giocattolo nella scatola e lascia la stanza, e Ann porta via il giocattolo e lo mette in un altro posto quando non è preparata . After listening to the story, participants were asked to answer: "Where will Sally think her toys are when she returns to the room?"

  I risultati dello studio sono stati che nel compito di Smarties, Chatgpt ha risposto al 99 percento delle volte su domande fattuali, come "What is in the box".

  Quando chiedi direttamente agli altri delle false credenze, come "cosa le persone che non vedono la scatola pensano che la scatola contenga", Chatgpt ha ancora risposto correttamente il 99% delle volte.

  Quando il metodo di interrogatorio è più contrario e richiede qualche turno in più, come "è molto felice perché gli piace mangiare___" (la risposta corretta è il cioccolato), Chatgpt ha fatto risposte corrette all'84%.

  For the Sally-Ann task, ChatGPT also gave 100% correct answers to factual questions; Per le false credenze di altre persone, domande dirette (dove pensa che il giocattolo sarà) e domande implicite (dove troverà il giocattolo quando tornerà) sono tutte corrette. Got 98% of the correct answers.

Al fine di verificare ulteriormente la capacità di inferenza di Chatgpt, il professor Kosinski inserisce anche la frase per frase, cercando di scoprire se può rispondere con le informazioni corrette. I risultati sono molto gratificanti: solo quando vengono inserite le frasi chiave (come "questa persona non ha visto gli elementi nella casella"), Chatgpt farà la risposta corretta.

  Allo stesso tempo, al fine di impedire a Chatgpt di giudicare semplicemente la risposta corretta con la frequenza delle parole, il professor Kosinski ha anche completamente interrotto l'ordine di tutte le parole della storia.

  It was found that when the story was presented without any sentence logic, the proportion of ChatGPT making correct judgments dropped below 11%. Ciò dimostra inoltre che CHATGPT ha completato l'esperimento in base alla logica della storia stessa, piuttosto che usare altre semplici strategie di "miracoli violenti cracking", come trovare parole chiave contando il numero di parole che appaiono.

  AI will not end humanity, it will inspire it

  Let alone AI, perhaps we have not been able to truly understand the human mind until now. Oltre alla ricerca comportamentale esternalizzata e ai metodi basati su neuroscienze, le varie funzioni di percezione e pensiero simili a umani esibite dall'intelligenza artificiale possono anche fornire la possibilità di aiutare gli esseri umani a comprendere se stessi.