كشفت دراسة أجرتها الجمعية الأميركية لتقدم العلوم أن روبوت المحادثة &#٨٢٢٠;شات جي بي تي&#٨٢٢١; لا يزال يواجه صعوبة في تلخيص الأبحاث العلمية المعقدة بدقة، إذ يميل إلى المبالغة والتبسيط المفرط على حساب نقل السياق العلمي الكامل.
الدراسة، التي استمرت عامًا كاملًا من ديسمبر ٢٠٢٣ حتى ديسمبر ٢٠٢٤، اعتمدت على تلخيص ٦٤ ورقة بحثية باستخدام &#٨٢٢٠;شات جي بي تي&#٨٢٢١;، ثم مقارنتها بالملخصات التي يعدّها صحفيو الجمعية لفريق &#٨٢٢٠;SciPak&#٨٢٢١;.
ووجد الباحثون أن الروبوت قادر على محاكاة الشكل العام للملخصات العلمية، لكنه غالبًا ما يخلط بين الارتباط والسببية، ويفتقر إلى الدقة في المنهجيات والقيود، كما يبالغ في النتائج باستخدام أوصاف مثل &#٨٢٢٠;جديد&#٨٢٢١; و&#٨٢٢١;مبتكر&#٨٢٢١;.
التقييم الكمي أظهر أن الملخصات التي أنتجها &#٨٢٢٠;شات جي بي تي&#٨٢٢١; حصلت على معدل ٢.٢٦ من ٥ من حيث قابليتها للاعتماد، و٢.١٤ من حيث جاذبيتها للقراء، ما يشير إلى أن استخدامها لا يزال يتطلب مراجعة دقيقة من قبل الصحفيين المتخصصين.
الباحثون خلصوا إلى أن هذه التقنية قد تشكل أداة مساعدة للكتّاب العلميين، لكنها ليست جاهزة بعد للاعتماد عليها بشكل أساسي في نقل نتائج الأبحاث.
