النماذج اللغوية والمعادلات الرياضية

About this course

دورة عربية متقدّمة تشتقّ المعمار الرياضي للنماذج اللغوية الكبيرة من مبادئه الأولى. لا نكتفي بوصف ما تفعله النماذج، بل نبرهن لماذا تعمل: من تحليل قاعدة الضرب الاحتمالي، مروراً باشتقاق آلية الانتباه وتحليل تباينها، وصولاً إلى التبسيط الأنيق لتدرّج الإنتروبيا المتقاطعة وتحليل تقارب الانحدار التدرّجي. كل درسٍ يحوي براهين كاملة (مؤطَّرة)، وأكواد Python مُتحقَّقٌ منها عددياً (تطابق التدرّجات التحليلية مع الفروق المركزية)، وتمارين على مستوى الأوراق البحثية. المخرجات النهائية تشمل نموذجاً لغوياً مصغّراً مبنياً من الصفر يجسّد كل اللبنات. المتطلّبات المسبقة: جبرٌ خطّي (مصفوفات، تحويلات، نواظم)، تفاضلٌ جزئي وقاعدة السلسلة، واحتمالاتٌ أساسية (توزيعات شرطية، توقّع، تباين). الإلمام بنظرية المعلومات مفيدٌ لكنه غير لازم.

Curriculum

10 lessons · 2h 3m total · Preview lessons marked below

• 01
  ما هو النموذج اللغوي؟

  قاعدة الضرب، ماركوف، MLE، الحيرة
  12m
• 02
  تحويل الكلمات إلى أرقام

  اشتقاق BPE، هندسة الترميز الأحادي
  5m
• 03
  المتّجهات والفضاء الدلالي

  هدف skip-gram، العيّنات السلبية، التماثلات الخطّية
  7m
• 04
  الجبر الخطّي

  تكافؤ الضرب القياسي، تدرّجات المصفوفات، SVD
  7m
• 05
  الاحتمالات وSoftmax

  الإنتروبيا العظمى، الجاكوبي، ثبات الإزاحة
  12m
• 06
  آلية الانتباه

  اشتقاق التحجيم من التباين، القناع السببي، المسار الخلفي
  10m
• 07
  بنية المُحوّل

  تدفّق التدرّج عبر الوصلات المتبقّية، ضرورة اللاخطّية
  16m
• 08
  دالة الخسارة

  الإنتروبيا المتقاطعة من KL، تبسيط التدرّج a−y
  18m
• 09
  التعلّم والانحدار التدرّجي

  اشتقاق من تايلور، الانتشار الخلفي، Adam، التقارب
  11m
• 10
  التجميع الكامل

  نموذج مصغّر كامل، المعاينة، قوانين التوسّع
  25m
• Progress to Get Course Certificate