レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所 27
-
すごい。@Microsoft が、2024 年の「最も」影響力のある論文の 1 つであるコードをオープンソース化しました 🔥
1 ビットの LLM (例: bitnet b1.58)。
これで、bitnet b1.58 で量子化されたローカル デバイスで 100b パラメータ モデルを 1 つの CPU で 5 〜 7 トークン/秒で実行できます
私たち全員が待ち望んでいた夢です。
📊 パフォーマンスの改善:
- ARM CPU で 1.37 倍から 5.07 倍の高速化を実現
- モデルの規模が大きくなるとパフォーマンスが大きく向上
- ARM でエネルギー消費を 55.4% から 70.0% 削減
- x86 CPU では、2.37 倍から 6.17 倍の高速化を実現
https://x.com/rohanpaul_ai/status/1847814379657462201
掲示板管理者へ連絡
無料レンタル掲示板
