レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所 30
-
>>23
Ministral 8B(80億)モデルがスマホでローカル実行される様子
https://x.com/kimmonismus/status/1874574319386321028
というか最新スマホやPCはNPU搭載するからそこで実行されるだけ。
例えばRyzen AI MAX+ 395は50TOPsのXDNA2 NPUが搭載されている。
メモリの帯域幅にもよるが45TOPsあれば30 tokens/sの出力が得られる（という一例がある）
掲示板管理者へ連絡
無料レンタル掲示板
