به گزارش کلیک بی‌بی‌سی در یک کارآزمایی، خبرهایی را از سایت بی‌بی‌سی به چت‌جی‌پی‌تی، مایکروسافت کوپایلت، گوگل جمینی و پرپلکسیتی ای‌آی سپرد و سپس از انها سوال‌هایی درباره این اخبار پرسید.
پاسخ‌ها دارای «نادرستی‌های قابل توجه» و تحریف بودند.
دبورا ترنس، مدیرعامل بخش خبر بی‌بی‌سی، در وبلاگی نوشت هوش مصنوعی «فرصت‌های بی‌پایانی» را به ارمغان آورده است اما شرکت‌های سازنده «با آتش بازی می‌کنند».
او پرسید: «ما در دوره‌ای پر از بحران زندگی می‌کنیم. چه مدت طول خواهد کشید تا یک سرخط تحریف‌شده با هوش مصنوعی آسیبی جدی به دنیای واقعی وارد کند؟»
با شرکت‌های فناوری که مالک چت‌بات‌ها هستند، برای اظهارنظر تماس گرفته شده است که تاکنون پاسخی ارائه نکرده‌اند.
در این مطالعه، بی‌بی‌سی از این چت‌بات‌ها خواست صد خبر را خلاصه کنند و به پاسخ‌های هر کدام امتیازهایی داد.
روزنامه‌نگارانی که مرتبط با آن خبر یا مقاله بودند، به کیفیت پاسخ‌های هوش مصنوعی نمره دادند.
این بررسی نشان داد که ۵۱ درصد از تمام پاسخ‌های هوش مصنوعی به سؤالات، به‌نحوی از انحا دارای اشکالاتی جدی هستند.
علاوه بر این، ۱۹ درصد از پاسخ‌های هوش مصنوعی که به محتوای بی‌بی‌سی اشاره می‌کردند، دارای خطاهای جدی مانند اظهارات نادرست، اعداد و ارقام غلط و تاریخ نادرست بودند.
خانم ترنس در وبلاگ خود نوشت که بی‌بی‌سی به دنبال «آغاز گفتگویی جدید» با ارائه‌دهندگان فناوری هوش مصنوعی است «تا بتوانیم برای یافتن راه حل با هم همکاری کنیم».
او از شرکت‌های فناوری خواست که خلاصه‌سازی خبر خود را تعلیق کنند، همانطور که اپل پس از شکایت بی‌بی‌سی بر نادرست بودن سامانه خلاصه‌سازی خبرش چنین کاری را انجام داد.
برخی از مثال‌هایی که از خلاصه‌سازی این چت‌بات‌ها بی‌بی‌سی دریافت عبارتند از:
چت‌بات جمینی به اشتباه گفت که نظام بهداشت و درمان ملی بریتانیا مصرف سیگار الکترونیک را به‌عنوان کمک برای ترک سیگار واقعی توصیه نمی‌کند.
چت‌جی‌پی‌تی و کوپایلت هر دو گفتند که ریشی سوناک و نیکولا استورجن هر دو بر سر کار هستند که درست نیست.
پرپلیکسیتی در مطلبی درباره خاورمیانه به اشتباه از بی‌بی‌سی نقل کرد که ایران در آغاز «خویشتنداری» نشان داد و اقدامات اسرائیل را «تهاجمی» توصیف کرد.
به‌طورکلی این مطالعه بی‌بی‌سی نشان داد که چت‌بات کوپایلت شرکت مایکروسافت و جمینی گوگل مشکلات جدی‌تری نسبت به چت‌جی‌پی‌تی و پرپلکسیتی دارند.
بی‌بی‌سی معمولا دسترسی چت‌بات‌های هوش مصنوعی به محتوایش را مسدود می‌کند، اما برای این آزمایش در دسامبر ۲۰۲۴ اجازه دسترسی آنها به محتوای سایت بی‌بی‌سی را داد.
در این گزارش آمده است که چت‌بات‌ها علاوه بر اینکه مرتکب اشتباهات جدی در خلاصه‌سازی اخبار می‌شوند، در تشخیص و تمایز اظهارنظر با فکت موفق نیستند و نمی‌توانند پیش‌زمینه‌های اساسی برای خبر را عرضه کنند.
پیت آرچر، مدیر برنامه‌های هوش مصنوعی بی‌بی‌سی، می‌گوید: «ناشران اخبار باید بر استفاده و نحوه استفاده از محتوایشان کنترل داشته باشند و شرکت‌های هوش مصنوعی باید نحوه پردازش اخبار را همراه با مقیاس و دامنه خطا و نادرستی‌هایی که تولید می‌کنند، نشان دهند.»
