7

ChatGPT در پاسخ‌دادن به سؤالات برنامه‌نویسی چندان دقیق نیست


تیمی از دانشمندان کامپیوتر از دانشگاه پردو دریافتند که چت ربات محبوب هوش مصنوعی ChatGPT دارای اشکالات زیادی است و هنگام پاسخ دادن به سوالات برنامه نویسی کامپیوتری پاسخ های اشتباه زیادی می دهد.

این گروه در مقاله شما به عنوان بخشی از مجموعه مقالات کنفرانس CHI در مورد عوامل انسانی در سیستم‌های محاسباتی منتشر شده است، توضیح می‌دهد که چگونه آنها سؤالات را از وب‌سایت StackOverflow گرفته و به ChatGPT ارسال کرده‌اند، سپس میزان دقت پاسخ را اندازه‌گیری می‌کنند.

این تیم اکتشافات خود ارائه شده در کنفرانس عوامل انسانی در سیستم های محاسباتی (CHI 2024) که از 11 تا 16 مه برگزار شد.

دانشمندان دقت ChatGPT را در پاسخ به سوالات برنامه نویسی آزمایش کردند

Chatbot ChatGPT AI و سایر LLM ها اخیراً مورد توجه قرار گرفته اند. با در دسترس قرار گرفتن چنین برنامه هایی برای عموم، بسیار محبوب شدند. اما متاسفانه در کنار انبوهی از اطلاعات مفیدی که در بسیاری از پاسخ های ارائه شده توسط این گونه برنامه ها وجود دارد، نادرستی ها نیز به وفور دیده می شود. حتی بدتر از آن، زمانی که برنامه ها پاسخ های اشتباه می دهند همیشه مشخص نیست.

در این مطالعه جدید، تیم تحقیقاتی دانشگاه پوردو خاطرنشان کرد که بسیاری از دانشجویان برنامه نویسی از برنامه های تحصیلات تکمیلی نه تنها برای کمک به نوشتن کد برای تکالیف برنامه نویسی، بلکه برای پاسخ به سوالات برنامه نویسی استفاده می کنند.

تیم تحقیقاتی به 517 سوال پاسخ دادند و بررسی کردند که چند بار AI ChatGPT به سوالات پاسخ صحیح داده است. متاسفانه میزان دقت این چت بات تنها در 52 درصد مواقع گزارش شده است. تحقیقات در مورد پاسخ های چت ربات هوش مصنوعی ادامه دارد.

محققان از سوالاتی استفاده کردند که به صورت رایگان در وب سایت StackOverflow در دسترس هستند. این وب سایت برای کمک به برنامه نویسان ایجاد شده است که از طریق همکاری با دیگران بیشتر در مورد برنامه نویسی بیاموزند.

نوشته های مشابه

دکمه بازگشت به بالا