Framstegen inom artificiell intelligens är otroliga. Vi vet fortfarande inte var gränserna kan gå och om det en dag blir helt omöjligt att skilja en skapelse gjord av en AI från en mänsklig i ämnen som texter eller konst.
Tills den hypotesen kommer där gränserna mellan skapelserna av den ena och den andra kommer att suddas ut, vad vi kan göra nu är att försöka ta reda på om en text har skrivits av en människa eller av en AI.
Upptäck text som skrivits av AI
OpenAI har släppt en AI-textklassificerare som försöker upptäcka om inmatat innehåll genererades med hjälp av artificiell intelligens som ChatGPT. "AI-textklassificeraren är en monterad GPT-modell som förutsäger sannolikheten att en AI har genererat en text från en mängd olika källor, som ChatGPT," förklarar ett nytt OpenAI-blogginlägg.
OpenAI lanserade verktyget efter att flera universitet och skoldistrikt förbjudit företagets populära AI-drivna chatbot, ChatGPT, på grund av dess förmåga att komplett student uppgifter, som att skriva bokrecensioner, uppsatser och till och med slutföra uppgifter. programmering.
Operationen är ganska enkel. Du måste helt enkelt gå till webbplatsen för detta verifieringsverktyg och logga in eller registrera dig (ditt konto fungerar om du använder ChatGPT). Efter detta måste du klistra in texten som du vill verifiera och verktyget kommer att returnera ett resultat som säger om det förmodligen skrevs av en AI eller en människa.
"Inte 100% tillförlitlig", varnar OpenAI
Eftersom lärare sannolikt kommer att använda det här nya AI-textverifieringsverktyget för att kontrollera om eleverna fuskat på sina tilldelade uppgifter, varnar OpenAI för att det inte ska användas som det "enda testet" för att fastställa akademisk oärlighet.
"Vår klassificerare är inte helt tillförlitlig. I våra bedömningar av en "utmaningsuppsättning" av engelska texter, vår klassificerare identifierar korrekt 26 % av AI-skriven text (true positives) som "förmodligen AI-skriven", samtidigt som den felaktigt märkte mänskligt skriven text som en 9% skriven av AI (falskt positiv). Tillförlitligheten hos vår klassificerare förbättras i allmänhet när längden på inmatningstexten ökar. Jämfört med vår tidigare släppta klassificerare är denna nya klassificerare betydligt mer tillförlitlig i texten i de senaste AI-systemen."
Dessutom har de delat en rad begränsningar så att användningen av textklassificeraren kan göras på ett så effektivt sätt som möjligt.
- Klassificeraren är mycket opålitlig på korta texter (mindre än 1,000 XNUMX tecken). Även de längsta texterna är ibland felmärkta av klassificeraren.
- Ibland kommer klassificeraren felaktigt att märka mänskligt skriven text som AI-skriven.
- Det rekommenderas att använda klassificeraren endast för engelsk text. Det fungerar betydligt sämre på andra språk och är opålitligt i kod.
- Text som är mycket förutsägbar kan inte identifieras på ett tillförlitligt sätt. Det är till exempel omöjligt att förutsäga om en lista med de första 1,000 XNUMX primtalen skrevs av AI eller av människor, eftersom det korrekta svaret alltid är detsamma.
- AI-skriven text kan redigeras för att kringgå klassificeraren. Klassificerare kan uppdateras och omskolas baserat på framgångsrika attacker, men det är oklart om detektion har en långsiktig fördel.
- Neurala nätverksbaserade klassificerare är kända för att vara dåligt kalibrerade utanför sina träningsdata. För indata som skiljer sig mycket från texten i träningsuppsättningen är klassificeraren ibland mycket säker på en felaktig förutsägelse.
