PC/コンピュータ - 1512227706 - したらば掲示板

PC/コンピュータ

1：名前なんか必要ねぇんだよ！：2017/12/03(日) 00:15:06 ID:ghgtr8Wk: パソコン関連の話題であればなんでもOKです

前スレ
http://jbbs.shitaraba.net/bbs/read.cgi/internet/20196/1463560392/
738：名前なんか必要ねぇんだよ！：2025/11/29(土) 02:23:13 ID:z6pqfdZY: ローカルで動画生成AI動かすのにメモリ
48Gx2か64Gx2を買おうかなと思ってたら
気づいたら爆上がりしてて涙で、でますよ…
739：名前なんか必要ねぇんだよ！：2025/11/29(土) 05:50:48 ID:iy05VXg6: ローカルのAIってグラボとグラボメモリ上で動かすんじゃないの？
普通のRAMも大量に積んでないとダメなんですか？
740：名前なんか必要ねぇんだよ！：2025/11/29(土) 10:05:10 ID:o/7u75mg: SSDとかいう消去可能だが原理的にはROMなので耐久性に疑問があるストレージを使ってるから
SWAPが発生すると寿命が縮む分メモリケチってもコストが浮かないみたいな話ってあったりします？
741：名前なんか必要ねぇんだよ！：2025/11/29(土) 13:01:04 ID:z6pqfdZY: >>739
小規模のLLMやちょい古めの画像生成だったら全部で16GB程度に収まるからVRAMだけでいけるけど、
大きめのLLMや動画や最近の画像モデルだと、モデル+中間生成物がVRAMに収まる規模じゃなくて
スワップみたいにRAMを使う感じになってる。
一応SSDにスワップすれば動くのは動くけど実用的じゃない、みたいな
742：名前なんか必要ねぇんだよ！：2025/11/29(土) 13:15:49 ID:iy05VXg6: そうなんすか
結局速さだけじゃなくて大規模モデルの扱いになると場合によっては統合グラフィックと大容量RAM機にベンチでは逆転されるって聞いてるけど
グラボ及びVRAMと本体RAM跨いだ時のオーバーヘッドってどんなもんなんだろうね

ちょっと前に仕事のCAEで使ってたけど
多チャネル大容量RAMのリース落ちWSとか準備したほうが手っ取り早のでは？
743：名前なんか必要ねぇんだよ！：2025/11/30(日) 10:53:47 ID:dMCeMkJU: LLMって実体はそもそも頻度DBみたいなものですよね？
だったらクラスターのインデックスでも作って先読みで周辺のクラスターだけキャッシュしておけば
全ヒットして速度低下しない気がするわけで、データの構造次第だったりしませんかね？

最近のプログラムはSSDみたいなフラットな特性なストレージに最適化されていて、ランダムシークに弱点があるディスク装置で
それをカバーするノウハウが失われた結果、不当に遅さが強調され過ぎて居るような気がして仕方がないなあ

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）