レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
技術的特異点/シンギュラリティ【総合】避難所 25
-
・最先端のAIモデルトレーニングクラスターは今年 10万GPUにまで拡張され、2025 年までに30万GPU 以上のクラスターが計画されている。建設スケジュール、許可、規制、電力供給など、多くの物理的な制約があるため、単一のデータセンター サイトで大規模モデルを同期的にトレーニングするという従来の方法は限界に達しつつある。
・Google、OpenAI、Anthropic はすでに、大規模モデルのトレーニングを 1 つのサイトから複数のデータセンター キャンパスに拡張する計画を実行している。
・Googleが先行しており、2026年までにオハイオ州とアイオワ/ネブラスカ州にそれぞれギガワット規模のAIクラスター建設。相互接続して単一のモデルをトレーニングするために数ギガワットの電力を供給することもできる。
・OpenAIとMicrosoftは短期的には不利だが、さまざまな超大規模キャンパスを相互接続し、国中で巨大な分散トレーニング ランを実行する計画中。MicrosoftとOpenAI は、マルチGW コンピューティング システムを最初に実現する。Microsoft と OpenAI は、ギガワット規模に迫る超高密度の液体冷却データセンター キャンパスを建設しており、またOracle、Crusoe、CoreWeave、QTS、Compass などの企業と協力して、Google よりも大きな AI トレーニングおよび推論能力の総合的な実現に取り組んでいる。
・このマルチキャンパス、マルチリージョンのトレーニングクラスターでトレーニングされるモデルは、100兆パラメータ以上の規模になると考えられる。
https://semianalysis.com/p/multi-datacenter-training-openais?%2F=
→順調にLeopold Aschenbrennerの言う通り、人類史上類を見ない規模の巨大プロジェクトが進もうとしているね。
掲示板管理者へ連絡
無料レンタル掲示板
