レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所 22
-
データは枯渇するのか？人間が生成したデータに基づくLLMスケーリングの限界
https://arxiv.org/html/2211.04325v2
＞RedPajamaなどの人間が作成した公開テキストデータの最大のデータセットには、数十億のウェブページから収集された数十兆語が含まれています
＞この論文では、人間が生成した公開テキストデータは、今後10年を超えて拡張し続けることはできないと主張します。
＞転移学習、非公開データの使用など、この制約を回避するためのさまざまな潜在的な戦略を検討
人間が集めてきたデータに頼りすぎ感はあるな
できれば知識がない分野でも、自分で試行錯誤して学習してほしいが
掲示板管理者へ連絡
無料レンタル掲示板
