ليس من المستغرب أن الذكاء الاصطناعي لا يقوم دائمًا بتصحيح الأمور. وفي بعض الأحيان، حتى أنه يهلوس. ومع ذلك، أظهرت دراسة حديثة أجراها باحثون في شركة Apple عيوبًا أكثر أهمية في النماذج الرياضية التي يستخدمها الذكاء الاصطناعي للاستدلال الرسمي.

كجزء من الدراسة، طلب علماء Apple نموذج لغة كبير للذكاء الاصطناعي (LLM) سؤالًا، عدة مرات، بطرق مختلفة قليلاً، وقد اندهشوا عندما وجدوا أن LLM تقدم اختلافات غير متوقعة في الإجابات. وكانت هذه الاختلافات أكثر وضوحًا عندما يتعلق الأمر بالأرقام.

دراسة Apple تشير إلى مشاكل كبيرة فيما يتعلق بموثوقية الذكاء الاصطناعي

خلص البحث، الذي نشره arxiv.org، إلى وجود "تباين كبير في الأداء عبر إنشاءات مختلفة لنفس السؤال، مما يشكل تحديًا لموثوقية نتائج GSM8K الحالية التي تعتمد على مقاييس دقة النقطة الواحدة. GSM8K عبارة عن مجموعة بيانات تتضمن أكثر من 8000 سؤال وإجابة متنوعة في الرياضيات للمدارس الابتدائية.

حدد باحثو Apple أن التباين في هذا الأداء يمكن أن يصل إلى 10%. وحتى الاختلافات الطفيفة في المطالبات يمكن أن تسبب مشاكل هائلة فيما يتعلق بموثوقية إجابات LLM.

بمعنى آخر، قد ترغب في التحقق من صحة إجاباتك في أي وقت تستخدم فيه شيئًا مثل ChatGPT. هذا لأنه، على الرغم من أنه قد يبدو في بعض الأحيان أن الذكاء الاصطناعي يستخدم المنطق لإعطائك إجابات على استفساراتك، إلا أن المنطق ليس هو ما يتم استخدامه.

بدلاً من ذلك، يعتمد الذكاء الاصطناعي على التعرف على الأنماط لتقديم استجابات للمطالبات. ومع ذلك، تُظهر دراسة Apple كيف أن تغيير بعض الكلمات غير المهمة يمكن أن يغير التعرف على الأنماط.

جاء أحد الأمثلة على التباين الحرج المقدم من خلال مشكلة تتعلق بتجميع حبات الكيوي على مدار عدة أيام. أجرى باحثو Apple تجربة تحكم، ثم أضافوا بعض المعلومات غير المهمة حول حجم الكيوي.

أظهر كل من نموذج Meta وOpenAI مشكلات

Meta's Llama، وO1's OpenAI، ثم قاموا بتغيير إجاباتهم على المشكلة من عنصر التحكم على الرغم من عدم وجود تأثير ملموس لبيانات حجم الكيوي على نتيجة المشكلة. واجه GPT-4o من OpenAI أيضًا مشكلات في أدائه عند تقديم اختلافات صغيرة في البيانات المقدمة إلى LLM.

نظرًا لأن LLM أصبحت أكثر بروزًا في ثقافتنا، فإن هذه الأخبار تثير قلقًا كبيرًا حول ما إذا كان بإمكاننا الثقة في الذكاء الاصطناعي لتقديم إجابات دقيقة على استفساراتنا. خاصة بالنسبة لقضايا مثل المشورة المالية. كما أنه يعزز الحاجة إلى التحقق بدقة من المعلومات التي تتلقاها عند استخدام نماذج لغوية كبيرة.

وهذا يعني أنك ستحتاج إلى القيام ببعض التفكير النقدي والعناية الواجبة بدلاً من الاعتماد الأعمى على الذكاء الاصطناعي. ومرة أخرى، إذا كنت شخصًا يستخدم الذكاء الاصطناعي بانتظام، فمن المحتمل أنك تعرف ذلك بالفعل.