Un studiu recent, publicat de o echipă de specialiști de la Universitatea Stanford și de la Universitatea din California, Berkeley, a arătat că performanța Chat GPT la sarcinile de dezvoltare a codului a scăzut considerabil în cele trei luni de după testarea versiunilor din martie 2023.
Cercetarea a evaluat ChatGPT pe patru sarcini: rezolvarea problemelor de matematică, răspunsul la întrebări sensibile/periculoase, crearea codului și raționamentul vizual. Aceste sarcini au fost alese pentru a exemplifica capacitățile diverse și benefice ale acestor sisteme. Dar cercetătorii au descoperit că performanța ChatGPT la jobul de generare de cod a scăzut dramatic între martie 2023 și iunie 2023.
Conform cercetării, ChatGPT-4 a avut rezultate bune în recunoașterea numerelor prime în martie 2023, cu o precizie de 97,6%. Cu toate acestea, până în iunie 2023, precizia GPT-4 pentru aceeași treabă a scăzut la 2,4%. O altă descoperire fascinantă este schimbarea comportamentului sistemului în timp ce răspunde la întrebări sensibile. Comparativ cu martie 2023, GPT-4 și GPT-3.5 au fost mai puțin înclinați să răspundă la solicitări sensibile în iunie 2023. De asemenea, erorile de formatare în crearea codului au crescut semnificativ în iunie 2023, comparativ cu martie 2023 pentru GPT-4 și GPT-3.5., potrivit analyticsinsight.net.
Acest studiu a confirmat ceea ce au remarcat mulți utilizatori ChatGPT, care consideră că că performanța sistemului s-a deteriorat odată cu înaintarea în „vârstă”. OpenAI, creatorul chatbot-ului, a respins aceste acuzații, susținând că fiecare versiune nouă este mai bună decât cea anterioară. (redacția UZPR)
Foto: Emiliano Vittoriosi/Unsplash