レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所17
-
>>867
もし人間の脳全体を旧来のニューラルネットワークで再現しようとすると（そもそも構造が違いすぎるので意味ないと思うが）少なくとも5000〜7000兆パラメータ、下手すると2京1000兆パラメータは必要になってくるのではないかな。
ソースは出せないけど、パラメータ数とシナプス数を比較したとき、パラメータ数×6（層）×3というのを見た気がする
数字間違ってたらごめん。
1760億パラメータのBLOOMというLLMは329GBなので
https://zenn.dev/turing_motors/articles/26e1f1be50c0b5
推論だけするなら最低VRAM3.3TB〜33TBくらいあれば足りるのでは。
>また、学習には384枚のNVIDIA A100というGPUが使われています。約4ヶ月間学習され、
学習させるならA100ベースで最低4万枚〜40万枚を4ヶ月間連続稼働させれば学習できるかな。
掲示板管理者へ連絡
無料レンタル掲示板
