كشفت دراسة أجرتها الجمعية الأميركية لتقدم العلوم أن روبوت المحادثة “شات جي بي تي” لا يزال يواجه صعوبة في تلخيص الأبحاث العلمية المعقدة بدقة، إذ يميل إلى المبالغة والتبسيط المفرط على حساب نقل السياق العلمي الكامل.
الدراسة، التي استمرت عامًا كاملًا من ديسمبر 2023 حتى ديسمبر 2024، اعتمدت على تلخيص 64 ورقة بحثية باستخدام “شات جي بي تي”، ثم مقارنتها بالملخصات التي يعدّها صحفيو الجمعية لفريق “SciPak”.
ووجد الباحثون أن الروبوت قادر على محاكاة الشكل العام للملخصات العلمية، لكنه غالبًا ما يخلط بين الارتباط والسببية، ويفتقر إلى الدقة في المنهجيات والقيود، كما يبالغ في النتائج باستخدام أوصاف مثل “جديد” و”مبتكر”.
التقييم الكمي أظهر أن الملخصات التي أنتجها “شات جي بي تي” حصلت على معدل 2.26 من 5 من حيث قابليتها للاعتماد، و2.14 من حيث جاذبيتها للقراء، ما يشير إلى أن استخدامها لا يزال يتطلب مراجعة دقيقة من قبل الصحفيين المتخصصين.
الباحثون خلصوا إلى أن هذه التقنية قد تشكل أداة مساعدة للكتّاب العلميين، لكنها ليست جاهزة بعد للاعتماد عليها بشكل أساسي في نقل نتائج الأبحاث.