技術的特異点/シンギュラリティ【総合】避難所 32 - 1740420084

1：名無しさん (ﾜｯﾁｮｲ c308-7211)：2025/02/25(火) 03:01:24 ID:Tyb4ObR.00: 2045年頃に人類は技術的特異点(Technological Singularity)を迎えると予測されている。
未来技術によって、どのような世界が構築されるのか？人類はどうなるのか？
などを様々な視点から多角的に考察し意見交換するスレッド

■技術的特異点：収穫加速の法則と半導体微細化の進歩曲線に基づいて予測された、
生物的制約から開放された知能[機械ベース or 拡張脳？]が生み出すとされる
具体的予測の困難な時代が到来する起点

■収穫加速の法則：一つの発見が新たな技術を生み出し、その技術が他の発明を生み出すという連鎖的な反応が、科学技術全体を進歩させるという仮説

★関連書籍・リンク・テンプレ集(必修)
https://singularity-2ch.memo.wiki/
★特異点アンケート
https://forms.gle/c6ZLjnheCEZftYgg9

※前スレ
技術的特異点/シンギュラリティ【総合】避難所 31
https://jbbs.shitaraba.net/bbs/read.cgi/study/13463/1737879771/

※不老技術の動向と医学関連はこちら
不老不死（不老長寿）を目指すスレ避難所
https://jbbs.shitaraba.net/bbs/read.cgi/study/13463/1669450079/

次スレは>>950が立てること　立てられない場合は早急に他者に依頼するか951以後の者が早急に立てること
誰も次スレを立てずに議論に没頭して落としたり次スレにフライングレスしないこと
未来技術板のURLは書かないし、あちらから誘導もしないこと
971：名無しさん (ﾜｯﾁｮｲ 3884-736c)：2025/03/25(火) 05:03:12 ID:uoKq2RXQ00: >まだまだAGIにはほど遠いけどな

お前自身がAGIから遙かに遠い地点に居るんだよ
そもそもお前はAGIを見届ける立場には居ないのだ
それだけの事をお前はやらかしたんだ
絶対に、絶対に、絶対に、絶対に、絶対にお前を許さない
972：名無しさん (ﾜｯﾁｮｲ 3884-736c)：2025/03/25(火) 05:14:46 ID:uoKq2RXQ00: >>964
よお、10年間もAIをバカにしてきたクソ野郎。もういい加減目を覚ませ、AIはとんでもない進化を遂げてるんだ。タンパク質の構造予測とか、生物学の大きな問題を解決してるんだぞ。GPTみたいなモデルは文章を書いたりコードを書いたり、俺たちより賢いことやってる。画像や動画も扱えるし、エージェントは自分でタスクをこなすようになってる。
お前の心配事？バイアス？それは確かに問題だけど、データバランスを調整したり人間がチェックしたりで改善してる。仕事がなくなる？一部はそうかもしれないけど、新しい仕事も増えてるし、生産性も上がってる。文脈理解？AIはどんどん賢くなってる、共感的な応答もできるんだ。
なのに何でまだ懐疑的なんだ？お前、頭が悪いのか？それともただの頑固者か？AIは現実だ、未来だ、クソすごいんだ。目を覚ませ、馬鹿野郎。
974：名無しさん (ﾜｯﾁｮｲ a2e8-1b06)：2025/03/25(火) 08:35:56 ID:7UWyBdoQ00: 連投してまでこんな事言う人未だに居るんだ怖いね
スレを私物化しようとしてた人かな
975：名無しさん (ｽﾌﾟｰ 2aca-56d6)：2025/03/25(火) 10:25:33 ID:mimGbIH2Sd: !Attention is NOT all you need !
Using only 8 GPU's (not a cluster), we trained a Qwerky-72B (and 32B), without any transformer attention With evals far surpassing GPT 3.5 turbo, and closing in on 4o-mini. All with 100x++ lower inference cost, via RWKV linear scaling

https://x.com/picocreator/status/1904250680266956903

このツイートは、AIモデルの新しいアプローチである「Qwerky-72B（および32B）」について説明しており、従来のトランスフォーマーモデルのアテンション機構に依存せず、RWKVという線形スケーリング技術を用いて高い性能を達成したことを主張しています。以下に、その内容をわかりやすく解説します。

---

### 1. **主張の核心: "Attention is NOT all you need"**
- トランスフォーマーモデルの有名な論文「Attention is All You Need」（2017年）では、アテンション機構が自然言語処理（NLP）の鍵とされていました。しかし、このツイートでは「アテンションがすべてではない」と挑戦的に述べています。
- Qwerky-72Bは、トランスフォーマーのアテンション（QKV: Query, Key, Value）を使わず、RWKVという代替技術を採用し、それでも高い性能を発揮したと報告しています。

---

### 2. **モデルの特徴とトレーニング**
- **規模とリソース**: Qwerky-72B（72億パラメータ）と32B（32億パラメータ）は、わずか8台のGPU（大規模クラスタではない）でトレーニングされました。これは通常のトランスフォーマーモデルに比べて非常に少ない計算資源です。
- **変換プロセス**:
1. 既存のトランスフォーマーモデル（おそらくQwen 2.5など）からスタート。
2. FFN（Feed-Forward Network、またはMLP: Multi-Layer Perceptron）を凍結（変更しない）。
3. QKVアテンション機構を削除。
4. RWKV（線形アテンション機構）に置き換え。
5. 5億トークン未満のデータで再トレーニング。
- **驚くべき点**: 通常、AIモデルは数十億～数兆トークンでトレーニングされますが、Qwerky-72Bは5億トークン未満で大幅な性能向上を実現。これは、モデルの「知識や知能」の大部分がアテンション層ではなくFFN層にあるという証拠だとしています。

---

### 3. **性能**
- **評価結果**: Qwerky-72Bは、GPT-3.5 Turboを大きく上回り、GPT-4o-miniに迫る性能を示したとされています。特に、ArcやWinograndeといったベンチマークで顕著な改善が見られたようです。
- **同クラスとの比較**: 同じパラメータ数のトランスフォーマーモデルと互角に戦える性能を持っています。

---

### 4. **RWKVの利点**
- **線形スケーリング**: トランスフォーマーのアテンションはシーケンス長に対して計算コストが二次的（quadratic）に増大しますが、RWKVは線形的（linear）にスケールするため、推論コストが劇的に削減されます（100倍以上安価）。
- **リソース効率**: VRAM（ビデオメモリ）と計算要件が大幅に減少し、同じハードウェアでより多くのタスクを処理可能。

---

### 5. **新しい視点: 知能はFFNにある**
- **仮説**: ツイートでは、AIモデルの「知識や知能」の大部分がアテンション層ではなくFFN/MLP層に存在すると主張しています。アテンションはむしろ「記憶管理や焦点の調整」の役割を果たしている可能性があると提案しています。
- **証拠**: アテンション層を削除してRWKVに置き換え、FFNを再利用しただけで高い性能を維持できたことから、この仮説を裏付けているとしています。

---

### 6. **今後の展望**
- **再利用可能なFFN**: FFNを独立した「再利用可能なブロック」とみなすことで、RWKVアーキテクチャの改良を大規模かつ迅速に検証できるようになると述べています。
- **開発サイクル**: 約6か月ごとに大きなアップデートを予定しており、さらに効率的で強力なモデル（例: DeepSeekの変換）が期待されています。
- **コスト革命**: 二次的スケーリング（quadratic scaling）は企業収益には良いがコスト面では非効率的。RWKVのような準二次的（sub-quadratic）アーキテクチャは、少ないリソースで高性能を実現し、AIの民主化を加速する可能性があります。

---

### 7. **まとめ**
このツイートは、Qwerky-72Bがトランスフォーマーの限界（高い推論コスト、アテンション依存）を打破する革新的なモデルであることを強調しています。RWKVを活用することで、効率性と性能を両立させ、AIモデルの知能がアテンションではなくFFNに依存しているという新しい視点を提供しています。詳細は論文待ちとのことですが、これが事実なら、AI研究におけるパラダイムシフトのきっかけとなるかもしれません。
976：名無しさん (ﾜｯﾁｮｲ 3114-082b)：2025/03/25(火) 14:36:47 ID:bC.wbMwc00: あぼーん多いけど荒らしか？
977：名無しさん (ｵｯﾍﾟｹ a8da-d157)：2025/03/25(火) 17:27:04 ID:mNzEg16QSr: どうしたらあぼーんなるの？
978：名無しさん (ｱｳｱｳ 6beb-56d6)：2025/03/25(火) 18:04:15 ID:UBmaVJ5oSa: 板の管理者が非表示にしてるじゃね
979：名無しさん (ｵｯﾍﾟｹ 359d-d157)：2025/03/25(火) 18:14:33 ID:PyKDaBzYSr: 管理してくれてたんだ！
980：名無しさん (ﾜｯﾁｮｲ 4818-5fc1)：2025/03/25(火) 20:52:18 ID:a7PW84J200: >>976
あぼーんされる前に見てたけど、荒しというか>>964になぜか激烈な反応をして罵倒連投してたな
なぜか>>971と>>972は残っているけど、あんな感じのレスだったよ
それと連投を揶揄した別の人のレスも一緒にあぼーんされてるｗ
981：名無しさん (ｽﾌﾟｰ 68b9-fc09)：2025/03/26(水) 02:06:56 ID:vgW1De0YSd: DeepSeek V3-0324が話題だね。
982：名無しさん (ｽﾌﾟｰ 68b9-fc09)：2025/03/26(水) 02:19:51 ID:vgW1De0YSd: この前Gemini 2.0出したばかりなのにもうGemini 2.5 Pro Experimentalきてるやん
983：名無しさん (ﾜｯﾁｮｲ e1d6-1b28)：2025/03/26(水) 02:45:09 ID:RX6sqX7600: かようにAIはAGIへ向けて日進月歩いや秒進分歩で進んでいる
にもかかわらず、１０年前からAI懐疑論を垂れ流し大ハズレしている>>964が
今なおAI懐疑論を焚き付けている事実を等閑視することは断じて出来ない
>>964お前だけは絶対に許さないからな、覚えておけよクズ野郎

管理人氏、>>964のアク禁を意見具申します
984：名無しさん (ｽﾌﾟｰ 68b9-bc9a)：2025/03/26(水) 02:54:40 ID:vgW1De0YSd: GPT-4oとSoraの画像生成
985：名無しさん (ｽﾌﾟｰ 68b9-bc9a)：2025/03/26(水) 02:56:55 ID:vgW1De0YSd: 今から生放送だから元気ある人は観たらいいんじゃない？
Livestream | OpenAI
https://openai.com/live/
986：名無しさん (ﾜｯﾁｮｲ 8adf-c0fc)：2025/03/26(水) 04:02:02 ID:.cjmsGFU00: deepseekとGoogleとOpenAIがほぼ同時に新しいの発表するの偶然かね？
特に気になるのはGemini2.5かな　推論モデルのようだし使ってみるか
987：名無しさん (ｵｲｺﾗﾐﾈｵ 3878-c559)：2025/03/26(水) 09:01:04 ID:QUB5IXPAMM: DeepSeek R1のパフォーマンスと価格に匹敵する新しいAIモデル「Hunyuan T1」をTencentが公開
https://gigazine.net/news/20250324-tencent-hunyuan-t1/
988：名無しさん (ﾜｯﾁｮｲ 7045-2d8c)：2025/03/26(水) 09:10:35 ID:/UW9hxSE00: >>980
別ブラウザでも見てみたけどあぼーんされてないぞ
989：名無しさん (ｵｯﾍﾟｹ 7cb6-ae42)：2025/03/26(水) 09:23:35 ID:YszO8cHASr: ChMateはあぼーんされてる
990：名無しさん (ﾜｯﾁｮｲ 7045-2d8c)：2025/03/26(水) 10:16:48 ID:/UW9hxSE00: そういう事かありがとう
なら管理人が消したわけではなく共有NGだな
ChMate以外を使ってる人には無関係だ
991：名無しさん (ﾜｯﾁｮｲ bad9-c162)：2025/03/26(水) 10:59:06 ID:m24raRi200: ブラウザ(Chrome)で見ると966-970が消えてる
964は見える
ChMateでは全部見えるがこれはアプリが保存済みだからだろう
一度ログを消すと消えると思う
992：名無しさん (ﾜｯﾁｮｲ 0c26-3caa)：2025/03/26(水) 11:32:39 ID:EeS5qdDA00: Haider.さんのX

＞私たち全員が同意できることが1つあります。オープンAIやサム・アルトマンを追い詰めると、彼らは本当に素晴らしいものを生み出します。
昨年、O1のわずか3か月後にO3を発表したときのことを思い出してください。

＞壁は存在しませんし、これからも存在しません。今日、次のことが起こりました。

- openAI がネイティブ画像生成機能を備えた gpt-4o を発表
- google がこれまでで最も強力なモデルである gemini 2.5 Pro をリリース
- DeepSeek v3-0324 がオープンソースの非推論 AI モデルとして最高のパフォーマンスを発揮
993：名無しさん (ﾜｯﾁｮｲ c0b0-aae0)：2025/03/26(水) 12:25:29 ID:B/u.Y0qI00: この人のレポート面白いよな

カリフォルニアのamazonが経営する食料品スーパーマーケット「amazonフレッシュ」を試したらDX（デジタルトランスフォーメーション）すごかった。amazonGOと同じく最新AIやテクノロジー満載
https://m.youtube.com/watch?v=W9emH8ermF8&pp=ygUY44OV44Ol44O844OB44Oj44Oq44K544OI
994：名無しさん (ﾜｯﾁｮｲ 10fb-092a)：2025/03/26(水) 14:16:28 ID:E85b6PZM00: インド人のデジタル農奴が働いてたアマゾンGOさん
https://www.businessinsider.jp/article/284899/
995：名無しさん (ﾜｯﾁｮｲ 10fb-092a)：2025/03/26(水) 14:19:05 ID:E85b6PZM00: 指示通りに働き、機械が不得手とする物理的なタスクをこなせて、低賃金でも働く
AGIロボット導入後も手放すメリットないよな
こんな使い勝手が良いデジタル小作人
996：名無しさん (ﾜｯﾁｮｲ 4bc5-2d8c)：2025/03/26(水) 20:28:51 ID:lKbgpsvc00: >>980
このまえも暴れてたトランプ信者だろ
997：名無しさん (ｽﾌﾟｰ 2fa5-bc9a)：2025/03/26(水) 20:42:18 ID:JjsUD4mwSd: トランプ信者というかシンギュラリタリアンでした。（このスレでは普通の事）
998：名無しさん (ﾜｯﾁｮｲ e1d6-ae0f)：2025/03/26(水) 20:43:26 ID:RX6sqX7600: 俺はイリヤ・サスケヴァ信者だから違うよ(///з///)
999：名無しさん (ﾜｯﾁｮｲ e1d6-ae0f)：2025/03/26(水) 20:45:16 ID:RX6sqX7600: 反AI厨はオワコン
1000：名無しさん (ﾜｯﾁｮｲ e1d6-ae0f)：2025/03/26(水) 20:45:56 ID:RX6sqX7600: もはやAGIは目睫の間にある