Jak wynika z badania przeprowadzonego przez Uniwersytet Purdue, ChatGPT radzi sobie dość kiepsko w rozwiązywaniu problemów programistycznych. Zaledwie mniej niż połowa z przedstawionych przez chatbota odpowiedzi była poprawna.
ChatGPT kontra pytania ze StackOverflow
Uniwersytet Purdue przeprowadził bardzo ciekawe badanie, w którym przed ChatGPT postawiono 517 pytań ze znanego dobrze programistom StackOverflow. W badaniu brało udział 12 ochotników, których poproszono o ocenę wyników wygenerowanych przez narzędzie OpenAI. W trakcie samej oceny uzyskanych odpowiedzi przede wszystkim brano pod uwagę ich poprawność. Na tym jednak nie koniec, bowiem ocenie podlegały również: spójność, kompleksowość oraz zwięzłość. Wagę przywiązywano również do stylu językowego.
Jak się okazało, ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe.
Jak się okazało, ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe. Osoby, które z ChatGPT już korzystały chyba same przyznają, że chatbot lubi się rozpisywać nawet przy najprostszych pytaniach. Mimo wszystko, odpowiedzi generowane przez ChatGPT byłby preferowane przez 39,34% uczestników ze względu na ich dobry styl językowy. Problem w tym, że wśród tych niespełna 40% odpowiedzi, aż 77% uznano za błędne.
Nawet gdy odpowiedź była błędna, niektórzy wciąż ją preferowali
Z badania wynika również, że tylko wtedy, gdy odpowiedź przedstawiona przez ChatGPT w jasny i widoczny sposób jest błędna, użytkownicy są w stanie ją wykryć. Co ciekawe, nawet gdy odpowiedź chatbota była w oczywisty sposób niepoprawna, to wciąż 2 z 12 osób biorących udział w badaniu ją preferowało. Jako przyczynę podaje się pewny siebie i przyjemny styl chatbota.
Potwierdza się zatem teza, iż ChatGPT (i jemu podobne) nie wygryzą programistów z pracy, a staną się (lub raczej już się stały) ich narzędziami.
Zgłoś naruszenie/Błąd
Pozytywnie
Neutralnie 
Negatywnie
Lubię to!
Super
Ekscytujący 
Ciekawy
Smieszny
Smutny
Wściekły
Przerażony
Szokujący
Wzruszający
Rozczarowany
Zaskoczony
Prawda
Manipulacja
Fake news
Oryginalne źródło ZOBACZ
Dodaj kanał RSS
Musisz być zalogowanym aby zaproponować nowy kanal RSS