Un studiu recent, realizat de cercetătorii de la Universitatea Purdue, pus în adevărata lumină performanța chatbot-ului OpenAI, ChatGPT, atunci când vine vorba despre răspunsul la întrebările de programare software. Studiul analizează acuratețea, stilul de limbă și preferințele utilizatorilor în peste 500 de răspunsuri generate de modelul AI, oferind perspective asupra punctelor forte și deficiențelor acestuia.
Studiul Purdue, care a analizat 517 de interogări de la platforma comunității de codificare Stack Overflow, a dezvăluit un defect notabil în performanța ChatGPT. În mod șocant, chatbot-ul a produs răspunsuri incorecte în mai mult de jumătate din cazuri, cu o rată de acuratețe de 52%. Și mai uimitoare a fost descoperirea că 77% dintre răspunsurile sale au fost excesiv de pronunțate, ceea ce ar putea contribui la confuzia utilizatorilor.
În mod curios, în ciuda inexactităților care afectează răspunsurile ChatGPT, studiul a dezvăluit o tendință deosebită – utilizatorii au optat pentru răspunsurile AI în aproape 40% din timp, atrași de stilul său de limbaj elocvent, dar 77% dintre aceste răspunsuri preferate erau… incorecte. Acest fenomen subliniază atracția exercitată de forma în care „se exprimă” AI, care eclipsează corectitudinea faptică a informațiilor furnizate.
Cercetătorii au observat, de asemenea, un fenomen fascinant – utilizatorii nu au reușit în foarte multe cazuri să identifice erori în răspunsurile ChatGPT, mai ales atunci când acestea nu erau ușor de verificat sau necesitau referințe externe. În cazurile în care erorile erau evidente, un număr semnificativ de participanți a favorizat în continuare răspunsul AI, datorită „livrării” cu siguranță și autoritate. Acest lucru evidențiază puterea limbajului persuasiv, chiar și în fața inexactităților, notează techround.co.uk.
Studiul Purdue și-a extins analiza și la stilul de limbă folosit de ChatGPT în comparație cu postările tipice Stack Overflow. S-a descoperit că modelul AI a folosit frecvent „atribute ale conducerii”, sugerând realizări fără a discuta riscurile. Această discrepanță subliniază necesitatea unei abordări mai echilibrate a diseminării informațiilor. (redacția UZPR)
Foto: pixabay.com