نماذج الخبراء المتعددين (MoE)
تعرّف إلى معماريات الخبراء المتعددين، والتنشيط المتناثر، وآليات التوجيه، والنماذج المفتوحة المرتبطة بها.
ابدأ بالنطاق، ثم انتقل إلى القرار
عند تقييم MoE، انظر معاً إلى إجمالي المعلمات، والمعلمات النشطة، والتوجيه، والتوازي، وذاكرة الاستدلال. تجمع هذه الصفحة المعمارية والآلية والنموذج في مسار استكشاف واحد.
هذه الصفحة تساعدك على فهم الموضوع واكتشاف المرشحين. عند الحاجة إلى مقارنة القيود والميزانية والنشر، اكتب المشكلة الفعلية في البحث الدلالي.
مداخل الرسم المعرفي
الأسماء والتفاصيل المعروضة هنا تبقى قريبة من السجل العام الأصلي عندما لا تتوفر ترجمة عربية موثقة؛ لا نملأ الفجوات بتخمينات.
Mixture-of-Experts
An architecture where only a subset of experts (K) is active per token, but all
آليةsparse mixture-of-experts
KG-recorded mechanism related to 稀疏混合专家（MoE）; detailed English notes are not yet available.
آليةMoE
layer carries 512 experts, activating 10 routed plus 1 shared per token
آليةMoE
KG-recorded mechanism related to 混合专家模型（MoE）; detailed English notes are not yet available.
آليةMoE
KG-recorded mechanism related to 混合专家（MoE）; detailed English notes are not yet available.
آليةhybrid Mamba–Transformer mixture-of-experts language model
KG-recorded mechanism related to 混合 Mamba–Transformer 混合专家架构; detailed English notes are not yet available.
آليةSparse Mixture-of-Experts
KG-recorded mechanism related to 稀疏混合专家模型; detailed English notes are not yet available.
آليةMoE Routing
KG-recorded mechanism related to MoE Routing; detailed English notes are not yet available.
آليةMulti-Router Latent MoE
Uses 512 routed experts with top-10 and 1 shared expert via multiple independent
نموذجPhi-mini-MoE-instruct
Phi-mini-MoE is a lightweight Mixture of Experts (MoE) model with 7.6B total parameters and 2.4B activated parameters. It is compressed and distilled from the base model shared by Phi-3.5-MoE and GRIN-MoE using the SlimMoE approach, then post-trained via supervised fine-tuning and direct preference optimization for instruction following and safety. The model is trained on Phi-3 synthetic data and filtered public documents, with a focus on high-quality, reasoning-dense content. It is part of the SlimMoE series, whic
نموذجPhi-tiny-MoE-instruct
Phi-tiny-MoE is a lightweight Mixture of Experts (MoE) model with 3.8B total parameters and 1.1B activated parameters. It is compressed and distilled from the base model shared by Phi-3.5-MoE and GRIN-MoE using the SlimMoE approach, then post-trained via supervised fine-tuning and direct preference optimization for instruction following and safety. The model is trained on Phi-3 synthetic data and filtered public documents, with a focus on high-quality, reasoning-dense content. It is part of the SlimMoE series, whic
آليةCursor Router
KG-recorded mechanism related to Cursor Router; detailed English notes are not yet available.
أضف تجربة إلى هذا الموضوع
الملاحظات العامة منفصلة عن حقائق الرسم المعرفي، ويمكن للزوار مناقشتها والتصويت عليها.
افتح مساحة النقاش ←