ما هو تعلم النقل؟
التعلّم القائم على نقل المهام (TL) هو إحدى تقنيات تعلّم الآلة (ML) وهي تضبط نموذجًا تم تدريبه مسبقًا على مهمة محددة ليعمل على مهمة جديدة ذات صلة. يعد تدريب نموذج تعلّم الآلة الجديد عملية تستغرق وقتًا طويلاً وتتطلب قدرًا كبيرًا من البيانات وقوة الحوسبة والعديد من التكرارات قبل أن يصبح جاهزًا للإنتاج. بدلاً من ذلك، تستخدم المؤسسات تقنية TL لإعادة تدريب النماذج الحالية على المهام ذات الصلة بالبيانات الجديدة. على سبيل المثال، إذا تمكّن نموذج تعلّم الآلة من تحديد صور الكلاب، فيمكن تدريبه على التعرّف على القطط باستخدام مجموعة صور أصغر تسلّط الضوء على اختلافات الميزات بين الكلاب والقطط.
ما هي فوائد التعلم النقل (transfer learning)؟
تقدم TL العديد من الفوائد التالية للباحثين الذين ينشئون تطبيقات ML.
كفاءة محسنة
يستغرق تدريب نماذج تعلم الآلة وقتًا في بناء المعرفة وتحديد الأنماط. كما أنها تتطلب مجموعة بيانات كبيرة ومكلفة من الناحية الحسابية. في TL، يحتفظ النموذج الذي تم تدريبه مسبقًا بالمعرفة الأساسية بالمهام والميزات والأوزان والوظائف، مما يسمح له بالتكيف مع المهام الجديدة بشكل أسرع. يمكنك استخدام مجموعة بيانات أصغر بكثير وموارد أقل مع تحقيق نتائج أفضل.
زيادة إمكانية الوصول
يتطلب بناء شبكات عصبية للتعلم العميق كميات كبيرة من البيانات والموارد وقوة الحوسبة والوقت. تتغلب TL على هذه العوائق التي تحول دون الإنشاء، مما يسمح للمؤسسات بتبني ML لحالات الاستخدام المخصصة. يمكنك تكييف النماذج الحالية وفقًا لمتطلباتك بجزء بسيط من التكلفة. على سبيل المثال، باستخدام نموذج التعرف على الصور الذي تم تدريبه مسبقًا، يمكنك إنشاء نماذج لتحليل التصوير الطبي أو المراقبة البيئية أو التعرف على الوجه مع الحد الأدنى من التعديلات.
الأداء المُحسّن
غالبًا ما تُظهر النماذج التي تم تطويرها من خلال TL قوة أكبر في البيئات المتنوعة والصعبة. إنهم يتعاملون بشكل أفضل مع التقلبات والضوضاء في العالم الحقيقي، بعد أن تعرضوا لمجموعة واسعة من السيناريوهات في تدريبهم الأولي. إنها تعطي نتائج أفضل وتتكيف مع الظروف غير المتوقعة بمرونة أكبر.
ما هي استراتيجيات تعلم النقل (transfer learning) المختلفة؟
ستعتمد الإستراتيجية التي تستخدمها لتسهيل تعلم النقل (TL) على مجال النموذج الذي تقوم ببنائه والمهمة التي تحتاج إلى إكمالها وتوافر بيانات التدريب.
تعلم النقل التحويلي - Transductive transfer learning
يتضمن تعلم النقل التحويلي نقل المعرفة من مجال مصدر محدد إلى مجال مستهدف مختلف ولكنه مرتبط، مع التركيز الأساسي على المجال المستهدف. وهو مفيد بشكل خاص عندما تكون البيانات المصنفة قليلة أو معدومة من المجال الهدف.
يطلب تعلم النقل التحويلي من النموذج عمل تنبؤات بشأن البيانات المستهدفة باستخدام المعرفة المكتسبة سابقًا. نظرًا لأن البيانات المستهدفة مشابهة رياضيًا لبيانات المصدر، يبحث النموذج عن الأنماط ويعمل بشكل أسرع.
على سبيل المثال، ضع في اعتبارك تكييف نموذج تحليل المشاعر الذي تم تدريبه على مراجعات المنتجات لتحليل مراجعات الأفلام. يختلف نطاق المصدر (مراجعات المنتج) والمجال المستهدف (مراجعات الأفلام) في السياق والتفاصيل ولكنهما يشتركان في أوجه التشابه في البنية واستخدام اللغة. يتعلم النموذج بسرعة تطبيق فهمه للمشاعر من مجال المنتج إلى مجال الفيلم.
تعلم النقل الاستقرائي - Inductive transfer learning
تعلم النقل الاستقرائي هو المكان الذي تكون فيه مجالات المصدر والهدف هي نفسها، ولكن المهام التي يجب أن يكملها النموذج تختلف. النموذج الذي تم تدريبه مسبقًا على دراية بالفعل ببيانات المصدر ويتدرب بشكل أسرع للوظائف الجديدة.
أحد الأمثلة على تعلم النقل الاستقرائي هو معالجة اللغة الطبيعية (NLP). يتم تدريب النماذج مسبقًا على مجموعة كبيرة من النصوص ثم ضبطها باستخدام تعلم النقل الاستقرائي إلى وظائف محددة مثل تحليل المشاعر. وبالمثل، يتم تدريب نماذج الرؤية الحاسوب مثل VGG مسبقًا على مجموعات بيانات الصور الكبيرة ثم ضبطها لتطوير اكتشاف الأشياء.
تعلم النقل غير الخاضع للإشراف - Unsupervised transfer learning
يستخدم تعلم النقل غير الخاضع للإشراف استراتيجية مشابهة لتعلم النقل الاستقرائي لتطوير قدرات جديدة. ومع ذلك، يمكنك استخدام هذا النوع من التعلم عن طريق النقل عندما يكون لديك فقط بيانات غير مصنفة في كل من المجالين المصدر والهدف.
يتعرف النموذج على الميزات الشائعة للبيانات غير المصنفة للتعميم بشكل أكثر دقة عندما يُطلب منك تنفيذ مهمة مستهدفة. هذه الطريقة مفيدة إذا كان الحصول على بيانات المصدر المصنفة أمرًا صعبًا أو مكلفًا.
على سبيل المثال، ضع في اعتبارك مهمة تحديد أنواع مختلفة من الدراجات النارية في صور حركة المرور. في البداية، يتم تدريب النموذج على مجموعة كبيرة من صور المركبات غير المصنفة. في هذه الحالة، يحدد النموذج بشكل مستقل أوجه التشابه والميزات المميزة بين أنواع مختلفة من المركبات مثل السيارات والحافلات والدراجات النارية. بعد ذلك، يتم تقديم النموذج إلى مجموعة صغيرة ومحددة من صور الدراجات النارية. يتحسن أداء النموذج بشكل ملحوظ مقارنة بما كان عليه من قبل.
ما هي خطوات تعلم النقل؟
هناك ثلاث خطوات رئيسية عند ضبط نموذج تعلم الآلة لمهمة جديدة.
تحديد نموذج مدرب مسبقًا
أولاً، حدد نموذجًا مدربًا مسبقًا مع معرفة أو مهارات سابقة لمهمة ذات صلة. إن السياق المفيد لاختيار نموذج مناسب هو تحديد المهمة المصدر لكل نموذج. إذا فهمت المهام الأصلية التي قام بها النموذج، فيمكنك العثور على مهمة تنتقل بشكل أكثر فعالية إلى مهمة جديدة.
قم بتكوين نماذجك المدربة مسبقًا
بعد تحديد نموذج المصدر الخاص بك، قم بتكوينه لتمرير المعرفة إلى نموذج لإكمال المهمة ذات الصلة. هناك طريقتان رئيسيتان للقيام بذلك.
تجميد الطبقات المدربة مسبقًا
الطبقات هي الكتل الإنشائية للشبكات العصبونية. تتكون كل طبقة من مجموعة من الخلايا العصبية وتقوم بإجراء تحويلات محددة على بيانات الإدخال. الأوزان هي المعلمات التي تستخدمها الشبكة لاتخاذ القرار. يتم ضبط الأوزان مبدئيًا على قيم عشوائية، ويتم تعديل الأوزان أثناء عملية التدريب حيث يتعلم النموذج من البيانات.
من خلال تجميد أوزان الطبقات المدربة مسبقًا، يمكنك الاحتفاظ بها ثابتة، مع الحفاظ على المعرفة التي حصل عليها نموذج التعلم العميق من مهمة المصدر.
إزالة الطبقة الأخيرة
في بعض حالات الاستخدام، يمكنك أيضًا إزالة الطبقات الأخيرة من النموذج الذي تم تدريبه مسبقًا. في معظم تصميمات ML، تكون الطبقات الأخيرة خاصة بالمهمة. تساعدك إزالة هذه الطبقات النهائية على إعادة تكوين النموذج لمتطلبات المهام الجديدة.
تقديم طبقات جديدة
يساعدك تقديم طبقات جديدة فوق النموذج الذي تم تدريبه مسبقًا على التكيف مع الطبيعة المتخصصة للمهمة الجديدة. تعمل الطبقات الجديدة على تكييف النموذج مع الفروق الدقيقة ووظائف المتطلبات الجديدة.
تدريب النموذج للمجال المستهدف
تقوم بتدريب النموذج على بيانات المهمة المستهدفة لتطوير مخرجاته القياسية للتوافق مع المهمة الجديدة. من المحتمل أن ينتج النموذج الذي تم تدريبه مسبقًا مخرجات مختلفة عن تلك المرغوبة. بعد مراقبة وتقييم أداء النموذج أثناء التدريب، يمكنك ضبط المعلمات الفائقة أو بنية الشبكة العصبية الأساسية لتحسين المخرجات بشكل أكبر. على عكس الأوزان، لا يتم تعلم المعلمات الفائقة من البيانات. تم إعدادها مسبقًا وتلعب دورًا مهمًا في تحديد كفاءة وفعالية عملية التدريب. على سبيل المثال، يمكنك ضبط معايير التنظيم أو معدلات تعلم النموذج لتحسين قدرته فيما يتعلق بالمهمة المستهدفة.
ما هي استراتيجيات نقل التعلم في الذكاء الاصطناعي المولّد؟
تعد استراتيجيات نقل التعلم أمرًا بالغ الأهمية لاعتماد الذكاء الاصطناعي المولّد في مختلف الصناعات. يمكن للمؤسسات تخصيص نماذج التأسيس الحالية دون الحاجة إلى تدريب نماذج جديدة على مليارات من معايير البيانات على نطاق واسع. فيما يلي بعض استراتيجيات نقل التعلم المستخدمة في الذكاء الاصطناعي المولّد.
تدريب adversarial في النطاق
يتضمن تدريب adversarial في النطاق تدريب نموذج التأسيس لإنتاج بيانات لا يمكن تمييزها عن البيانات الحقيقية في المجال المستهدف. تستخدم هذه التقنية عادةً شبكة تمييزية، كما يظهر في الشبكات adversarial المولدة، التي تحاول التمييز بين البيانات الحقيقية والبيانات المولدة. يتعلم المُولِّد كيفية إنشاء بيانات واقعية بشكل متزايد.
على سبيل المثال، في إنشاء الصور، قد يتم تكييف نموذج مدرب على الصور لإنشاء عمل فني. يساعد أداة التمييز على ضمان توافق العمل الفني الذي تم إنشاؤه من الناحية الأسلوبية مع المجال الهدف.
التعلم بين المعلم والطالب
يتضمن التعلم بين المعلم والطالب نموذج «المعلم» الأكبر والأكثر تعقيدًا الذي يقوم بتدريس نموذج «الطالب» الأصغر والأبسط. يتعلم نموذج الطالب محاكاة سلوك نموذج المعلم، ونقل المعرفة بشكل فعال. هذا مفيد لنشر النماذج التوليدية الكبيرة في البيئات ذات الموارد المحدودة.
على سبيل المثال، يمكن لنموذج اللغة الكبير (LLM) أن يعمل كمدرس لنموذج أصغر، وينقل قدراته على توليد اللغة. سيسمح هذا للنموذج الأصغر بإنشاء نص عالي الجودة مع عبء حسابي أقل.
تفكيك الميزات
يتضمن تفكيك الميزات في النماذج التوليدية فصل جوانب مختلفة من البيانات، مثل المحتوى والأسلوب، إلى تمثيلات متميزة. وهذا يمكّن النموذج من معالجة هذه الجوانب بشكل مستقل في عملية نقل التعلم.
على سبيل المثال، في مهمة إنشاء الوجوه، قد يتعلم النموذج فصل ملامح الوجه عن الأسلوب الفني. سيسمح ذلك بإنشاء صور شخصية بأنماط فنية مختلفة مع الحفاظ على تشابه الموضوع.
تعلم النقل عبر النماذج
يتضمن تعلم النقل عبر النماذج نقل المعرفة بين الطرائق المختلفة، مثل النصوص والصور. يمكن للنماذج التوليدية أن تتعلم التمثيلات القابلة للتطبيق عبر هذه الطرائق. قد يتعلم النموذج الذي تم تدريبه على الأوصاف النصية والصور المقابلة إنشاء صور ذات صلة من أوصاف نصية جديدة، ونقل فهمه بشكل فعال من نص إلى صورة.
تقنيات التعلم zero-shot وfew-shot
في تقنيات التعلم zero-shot وfew-shot، يتم تدريب النماذج التوليدية على أداء المهام أو توليد البيانات التي لم يروا أمثلة عليها إلا قليلاً أو لم يروا أي أمثلة عليها أثناء التدريب. يتم تحقيق ذلك من خلال تعلم تمثيلات غنية تعمم جيدًا. على سبيل المثال، قد يتم تدريب نموذج توليدي لإنشاء صور للحيوانات. باستخدام تقنية few-shot، يمكن أن ينتج النموذج صورًا لحيوان نادرًا ما يُرى من خلال فهم ودمج ميزات الحيوانات الأخرى.
كيف يمكن لـ AWS المساعدة في متطلبات نقل التعلم الخاصة بك؟
Amazon SageMaker JumpStart هو مركز ML حيث يمكنك الوصول إلى النماذج المدربة مسبقًا، بما في ذلك نماذج التأسيس، لأداء مهام مثل تلخيص المقالات وإنشاء الصور. يمكنك استخدام التعلم عن طريق النقل لإنتاج نماذج دقيقة على مجموعات البيانات الأصغر الخاصة بك، بتكاليف تدريب أقل من تلك المشاركة في تدريب النموذج الأصلي. على سبيل المثال، باستخدام SageMaker JumpStart، يمكنك:
- قم بتخصيص النماذج المدربة مسبقًا بالكامل لحالة الاستخدام الخاصة بك ومع بياناتك للنشر بشكل أسرع في الإنتاج.
- قم بالوصول إلى الحلول المبنية مسبقًا لحل حالات الاستخدام الشائعة.
- شارك أدوات تعلم الآلة، بما في ذلك نماذج ML وأجهزة الكمبيوتر المحمولة، داخل مؤسستك.
عند استخدام نهج تعلم النقل متعدد الوسائط، يمكنك أيضًا استخدام Amazon SageMaker Debugger لاكتشاف المشكلات المخفية الخطيرة. على سبيل المثال، يمكنك فحص تنبؤات النموذج للعثور على الأخطاء، والتحقق من متانة النموذج الخاص بك، والنظر في مقدار هذه المتانة من القدرات الموروثة. يمكنك أيضًا التحقق من صحة المدخلات والعمليات المسبقة للنموذج للحصول على توقعات واقعية.
ابدأ التعلم عبر النقل على AWS من خلال إنشاء حساب مجاني اليوم.
