PC/コンピュータ

739：名前なんか必要ねぇんだよ！：2025/11/29(土) 05:50:48 ID:iy05VXg6: ローカルのAIってグラボとグラボメモリ上で動かすんじゃないの？
普通のRAMも大量に積んでないとダメなんですか？
740：名前なんか必要ねぇんだよ！：2025/11/29(土) 10:05:10 ID:o/7u75mg: SSDとかいう消去可能だが原理的にはROMなので耐久性に疑問があるストレージを使ってるから
SWAPが発生すると寿命が縮む分メモリケチってもコストが浮かないみたいな話ってあったりします？
741：名前なんか必要ねぇんだよ！：2025/11/29(土) 13:01:04 ID:z6pqfdZY: >>739
小規模のLLMやちょい古めの画像生成だったら全部で16GB程度に収まるからVRAMだけでいけるけど、
大きめのLLMや動画や最近の画像モデルだと、モデル+中間生成物がVRAMに収まる規模じゃなくて
スワップみたいにRAMを使う感じになってる。
一応SSDにスワップすれば動くのは動くけど実用的じゃない、みたいな
742：名前なんか必要ねぇんだよ！：2025/11/29(土) 13:15:49 ID:iy05VXg6: そうなんすか
結局速さだけじゃなくて大規模モデルの扱いになると場合によっては統合グラフィックと大容量RAM機にベンチでは逆転されるって聞いてるけど
グラボ及びVRAMと本体RAM跨いだ時のオーバーヘッドってどんなもんなんだろうね

ちょっと前に仕事のCAEで使ってたけど
多チャネル大容量RAMのリース落ちWSとか準備したほうが手っ取り早のでは？

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板