レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。

技術的特異点/シンギュラリティ【総合】避難所 24

13：名無しさん (ｽﾌﾟｰ 8908-6d29)：2024/07/24(水) 19:07:43 ID:udGj1mkkSd: グーグルDeepMindの新しい研究：数百万の専門家を組み合わせた巨大LLMの構築
https://linnk.ai/insight/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92/%E3%82%B0%E3%83%BC%E3%82%B0%E3%83%ABdeepmind%E3%81%AE%E6%96%B0%E3%81%97%E3%81%84%E7%A0%94%E7%A9%B6-%E6%95%B0%E7%99%BE%E4%B8%87%E3%81%AE%E5%B0%82%E9%96%80%E5%AE%B6%E3%82%92%E7%B5%84%E3%81%BF%E5%90%88%E3%82%8F%E3%81%9B%E3%81%9F%E5%B7%A8%E5%A4%A7llm%E3%81%AE%E6%A7%8B%E7%AF%89-7L1vLbRl/

＞Transformerでは、事実知識の大部分がFeed Forward(FFW)レイヤーに蓄積されていることが分かっています。
＞そこで、FFWレイヤーを専門家ネットワークに置き換えることで、パフォーマンスと学習効率を大幅に向上させることができたと報告しています

掲示板管理者へ連絡無料レンタル掲示板