レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所 25
-
OpenAI Japanの長崎代表「いずれ出てくる『GPT Next』というAIモデルは、過去の実績から見て100倍近く進化していく。AIというテクノロジーは従来のソフトウェアと違い、指数関数的に成長する。」
itmedia.co.jp/aiplus/spv/240…
明確にスライドには2024"GPT Next"と記載されている。
この100倍というのは恐らく計算資源のスケーリングではなく、アーキテクチャや学習効率の改善を含めた実効計算量+2OOMsをイメージしているのだろう。
今年出るGPT-4 NEXTは小型版のStrawberryを用いておよそGPT-4と同程度の計算資源で訓練され、実効計算量は100倍になっているものを想像している。
最近話題になっているOrionはGPT-4と比較するとH100 10k台相当で数ヶ月訓練され、10倍の計算資源スケールを追加され、+3OOMsとなり来年の何処かでリリースされるのではないかと考えている。
掲示板管理者へ連絡
無料レンタル掲示板
