PC/コンピュータ

749：名前なんか必要ねぇんだよ！：2025/12/15(月) 10:32:42 ID:4SfktU.s: >>743
LLMは巨大な行列が数十個あって順番に掛けていくみたいな構造なので
キャッシュとは対極（1トークン生成するために全データを順に1回ずつ使う）だと思います

最近はMoE(Mixture of Experts)といってLLMの内部に得意分野の違う小さなLLMがいくつか入っているような仕組みも出てきて
これだと小さなLLM1個分の計算＋αで済む、みたいに高速化してるみたいです

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板