تهدف Apple إلى استخدام ثمانية نماذج صغيرة من لغات الذكاء الاصطناعي على الجهاز

في عالم الذكاء الاصطناعي، اكتسب ما يسمى بـ “نماذج اللغات الثانوية” شعبية مؤخرًا لأنه يمكن تشغيلها على جهاز محلي بدلاً من الحاجة إلى أجهزة كمبيوتر على مستوى مركز البيانات في السحابة. الأربعاء، أبل قدَّم OpenELM عبارة عن مجموعة من نماذج لغات الذكاء الاصطناعي الصغيرة مفتوحة المصدر والتي تكون صغيرة بما يكفي للتشغيل مباشرة على الهاتف الذكي. إنهم في الغالب نماذج بحثية لهذا المفهوم، لكن يمكنهم تقديم عروض الذكاء الاصطناعي على أجهزة Apple في المستقبل.

نماذج الذكاء الاصطناعي الجديدة من أبل، والتي يطلق عليها مجتمعة اسم OpenELM، متاحة الآن على أنها “نماذج لغة فعالة مفتوحة المصدر”. وجه قابل للاحتضان تحت ترخيص رمز نموذج Apple. وبما أن الترخيص لديه بعض القيود، فإنه لا ينطبق تعريف مقبول بشكل عام “مفتوحة المصدر”، ولكن الكود المصدري لـ OpenELM متاح.

في يوم الثلاثاء، قمنا بتغطية نماذج Fi-3 من Microsoft، والتي تهدف إلى تحقيق شيء مماثل: الفهم الفعال للغة وأداء المعالجة في نماذج الذكاء الاصطناعي الصغيرة التي يمكن تشغيلها محليًا. يحتوي Fi-3-mini على 3.8 مليار معلمة، لكن بعض نماذج OpenLM من Apple أصغر بكثير، مع ثمانية نماذج متميزة تتراوح من 270 مليون إلى 3 مليار معلمة.

بالمقارنة، تمتلك عائلة Meta's Llama 3 أكبر نموذج تم إصداره على الإطلاق مع 70 مليار معلمة (ستصدر نسخة 400 مليار منها قريبًا) وتم شحن GPT-3 من OpenAI في عام 2020 مع 175 مليار معلمة. يعد عدد المعلمات بمثابة مقياس تقريبي لكفاءة وتعقيد نموذج الذكاء الاصطناعي، لكن الأبحاث الحديثة ركزت على جعل نماذج لغة الذكاء الاصطناعي الصغيرة كبيرة كما كانت قبل بضع سنوات.

تأتي نماذج OpenELM الثمانية في نسختين: أربعة “مدربة مسبقًا” (في الأساس نسخة أولية من النموذج التالي) وأربعة تعليمات مضبوطة (مضبوطة بدقة لاتباع التعليمات، وهو أمر رائع لبناء مساعدي الذكاء الاصطناعي وروبوتات الدردشة ):

يحتوي OpenELM على نافذة سياق بحد أقصى 2048 رمزًا مميزًا. تم تدريب النماذج على مجموعات البيانات المتاحة للجمهور RefinedWebنسخة كومة إزالة التكرارات والمجموعة الفرعية بيجامة حمراءومجموعة فرعية دولما v1.6، والتي تقول Apple إن إجماليها 1.8 تريليون رمز من البيانات. الرموز المميزة هي تمثيلات مجزأة للبيانات التي تستخدمها نماذج لغة الذكاء الاصطناعي للمعالجة.

وتدعي أن نهجها مع OpenELM يتضمن “إستراتيجية تحجيم الطبقة” التي تقوم بتعيين المعلمات بشكل أكثر كفاءة عبر كل طبقة، والتي لا توفر الموارد الحسابية فحسب، بل تعمل أيضًا على تحسين أداء النموذج أثناء التدريب على عدد أقل من الرموز المميزة. ووفقا لهذا، أصدرت شركة أبل ورق ابيضمكنت هذه الإستراتيجية OpenELM من تحقيق تحسن بنسبة 2.36 بالمائة في الدقة مقارنة بـ Allen AI. أولمو 1 ب (نموذج لغة صغير آخر) عندما تكون هناك حاجة إلى نصف الرموز المميزة للتدريب المسبق.

أصدرت Apple أيضًا الكود الخاص بهذا البوق، مكتبة تُستخدم لتدريب OpenELM، وتتضمن أيضًا وصفات تدريب قابلة للتكرار تسمح بنسخ الأوزان (ملفات الشبكة العصبية)، وهو أمر غير معتاد حتى الآن بالنسبة لشركة تكنولوجيا كبرى. كما ذكرت شركة Apple في ملخص بحث OpenELM، تعد الشفافية هدفًا رئيسيًا للمنظمة: “إن إمكانية تكرار نماذج اللغات الكبيرة وشفافيتها مهمة لتعزيز البحث المفتوح، وضمان موثوقية النتائج، وتمكين التحقيقات في البيانات وتحيزات النماذج، كما وكذلك المخاطر المحتملة.”

ومن خلال إطلاق كود المصدر، وأوزان النماذج، والمواد التدريبية، تهدف شركة Apple إلى “تعزيز وإثراء مجتمع البحث المفتوح”. ومع ذلك، فإنه يحذر أيضًا من أنه نظرًا لأن النماذج يتم تدريبها على مجموعات البيانات المتاحة للجمهور، فإن “هذه النماذج لديها القدرة على إنتاج مخرجات غير دقيقة أو ضارة أو متحيزة أو مرفوضة استجابة لمحفزات المستخدم”.

على الرغم من أن شركة Apple لم تقم بعد بدمج قدرات نموذج لغة الذكاء الاصطناعي في أجهزتها الاستهلاكية، إلا أنه يُشاع أن تحديث iOS 18 القادم (المتوقع إصداره في مؤتمر WWDC في يونيو) سيتضمن ميزات الذكاء الاصطناعي الجديدة التي تستخدم المعالجة على الجهاز لضمان المستخدم. الخصوصية – لمنح Siri دفعة طال انتظارها، يمكن للشركة استئجار Google أو OpenAI للتعامل مع معالجة الذكاء الاصطناعي الأكثر تعقيدًا خارج الجهاز.