I progressi nell'Intelligenza Artificiale sono incredibili. Non sappiamo ancora dove possano essere i limiti e se un giorno sarà del tutto impossibile distinguere una creazione realizzata da un'intelligenza artificiale da una umana in materie come i testi o l'arte.
Fino a quando non arriverà quell'ipotesi in cui i limiti tra le creazioni dell'uno e dell'altro si confonderanno, quello che possiamo fare ora è provare a scoprire se un testo è stato scritto da un essere umano o da un'intelligenza artificiale.
Rileva il testo digitato da AI
OpenAI ha rilasciato un classificatore di testo AI che tenta di rilevare se il contenuto di input è stato generato utilizzando strumenti di intelligenza artificiale come ChatGPT. “L'AI Text Classifier è un modello GPT integrato che prevede la probabilità che un'intelligenza artificiale abbia generato un testo da una varietà di fonti, come ChatGPT,” spiega un nuovo post sul blog OpenAI.
OpenAI ha lanciato lo strumento dopo che numerose università e distretti scolastici hanno vietato il popolare chatbot basato sull'intelligenza artificiale dell'azienda, ChatGPT, a causa della sua capacità di studente completo incarichi, come scrivere recensioni di libri, saggi e persino completare incarichi. programmazione.
Il funzionamento è abbastanza semplice. Devi semplicemente andare al sito web di questo strumento di verifica e accedi o registrati (il tuo account andrà bene se usi ChatGPT). Successivamente, dovrai incollare il testo che desideri verificare e lo strumento restituirà un risultato che dice se è stato probabilmente scritto da un'intelligenza artificiale o da un essere umano.
"Non affidabile al 100%", avverte OpenAI
Poiché è probabile che gli educatori utilizzino questo nuovo strumento di verifica del testo AI per verificare se gli studenti hanno imbrogliato i compiti assegnati, OpenAI avverte che non dovrebbe essere utilizzato come "unico test" per determinare la disonestà accademica.
“Il nostro classificatore non è totalmente affidabile. Nelle nostre valutazioni di un "insieme di sfide" di testi inglesi, il nostro classificatore identifica correttamente il 26% del testo scritto da AI (veri positivi) come "probabilmente scritto dall'IA", etichettando erroneamente il testo scritto dall'uomo come un 9% scritto dall'IA (falsi positivi). L'affidabilità del nostro classificatore generalmente migliora all'aumentare della lunghezza del testo di input. Rispetto al nostro classificatore rilasciato in precedenza, questo nuovo classificatore è significativamente più affidabile nel testo dei più recenti sistemi di intelligenza artificiale”.
Inoltre, hanno condiviso una serie di limitazioni in modo che l'uso del classificatore di testo possa essere fatto nel modo più efficace possibile.
- Il classificatore è molto inaffidabile su testi brevi (meno di 1,000 caratteri). Anche i testi più lunghi a volte sono etichettati erroneamente dal classificatore.
- A volte il classificatore etichetta erroneamente il testo scritto dall'uomo come scritto dall'intelligenza artificiale.
- Si consiglia di utilizzare il classificatore solo per il testo inglese. Funziona molto peggio in altre lingue ed è inaffidabile nel codice.
- Il testo altamente prevedibile non può essere identificato in modo affidabile. Ad esempio, è impossibile prevedere se un elenco dei primi 1,000 numeri primi sia stato scritto dall'intelligenza artificiale o dagli esseri umani, perché la risposta corretta è sempre la stessa.
- Il testo digitato AI può essere modificato per bypassare il classificatore. I classificatori possono essere aggiornati e riaddestrati in base agli attacchi riusciti, ma non è chiaro se il rilevamento abbia un vantaggio a lungo termine.
- È noto che i classificatori basati su reti neurali sono scarsamente calibrati al di fuori dei loro dati di addestramento. Per gli input che sono molto diversi dal testo nel set di addestramento, il classificatore a volte è molto fiducioso in una previsione errata.