【ChatGPT】AIチャット総合避難所【Gemini・Claude】

121：名無しさん：2025/07/03(木) 18:15:02 ID:JhHgmynI: ファーウェイから初のオープンモデル
Pangu Pro MoE
https://gitcode.com/ascend-tribe/pangu-pro-moe-model/blob/main/README_EN.md

技術的には、Mixture of Grouped Experts (MoGE)
Expertをあらかじめ複数グループに均等分割
各トークンが各グループから同数のExpertを活性化するようルーティングを制約することでデバイス間の計算・通信量を自動的に平衡化する構造
https://arxiv.org/abs/2505.21411v2
https://chatgpt.com/share/686649d3-9aa0-8006-a131-6f14991ef369

5月にPangu Ultra MoEが出た話はこのスレでも出たと思う

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板