レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。

技術的特異点/シンギュラリティ【総合】避難所 23

985：名無しさん (ｽﾌﾟｰ c065-b20c)：2024/07/23(火) 20:50:36 ID:DM8763SwSd: グーグルDeepMindの新しい研究：数百万の専門家を組み合わせた巨大LLMの構築
https://linnk.ai/insight/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92/%E3%82%B0%E3%83%BC%E3%82%B0%E3%83%ABdeepmind%E3%81%AE%E6%96%B0%E3%81%97%E3%81%84%E7%A0%94%E7%A9%B6-%E6%95%B0%E7%99%BE%E4%B8%87%E3%81%AE%E5%B0%82%E9%96%80%E5%AE%B6%E3%82%92%E7%B5%84%E3%81%BF%E5%90%88%E3%82%8F%E3%81%9B%E3%81%9F%E5%B7%A8%E5%A4%A7llm%E3%81%AE%E6%A7%8B%E7%AF%89-7L1vLbRl/

＞Transformerでは、事実知識の大部分がFeed Forward(FFW)レイヤーに蓄積されていることが分かっています。
＞そこで、FFWレイヤーを専門家ネットワークに置き換えることで、パフォーマンスと学習効率を大幅に向上させることができたと報告しています

GPTとマルコフ連鎖の違い
＞トランスフォーマーは過去の単語だけでなく、より広い文脈、例えば文全体やそれ以前の文章を考慮して予測を行っている。
＞マルコフ連鎖は、次の状態の確率分布を現在の状態に基づいて生成する確率過程のモデルで現在の状態が過去の状態にのみ依存するという制約がある

掲示板管理者へ連絡無料レンタル掲示板