Open AI Super Alignment元社員
Open AI Super Alignment元社員(leopold-aschenbrenner氏)から余りに衝撃的なブログ記事公開。
「今、何が私たちを襲おうとしているのかを理解し、事態がどれほど狂っているのかを理解し、状況認識を持っている人は、おそらく世界に数百人しかいない。」
2028-29年までに超知能、2027年までにAGI。それが実現される理由とその後の人類史上類を見ない経済成長の相転移（GDP30%以上）と急性リスク期間（国家間の緊張の急激な高まり）に突如突入すること。そしてAGIから人類を質的に超える知能の急激な出現（数ヶ月から1年、遅くて2年）で文字通り人類史が変わるということが赤裸々に記される。
億ものGPUを製造するためにアメリカ経済を戦時体制にすること、すべてを封鎖し、スパイを排除し、中国共産党による総攻撃をかわすこと、AI研究を猛烈に自動化し、1年で10年分の飛躍を遂げ、やがて最も賢い人間よりもはるかに賢いAIシステムを生み出す1億ものAGIをどうにか管理すること；状況を安定させ、敵に先んじるために必要な新技術を開発し、それらを統合するために米軍を急速に作り変える。おそらくこれまでに経験したことのないような緊迫した国際情勢に対処しながら。
この記事は政府は勿論、全人類が見るべき記事だと感じる。
AGIはまず単に計算資源のスケーリングによるその桁数(OOMs)の増加(アーキテクチャの改善やRLHFやCoTのような事前トレーニング以外のテクニックも全部含めた上で実効的な計算量の増加)で達成されると相当自信を持っているようだ。
その後、AGIはまずAI研究を特化し自動化し、自動化された研究者が 1 億人存在し、それぞれが人間の 100 倍のスピードで作業するようになる。もはやそれが2028年までに起こるとされる。その後あらゆる科学技術研究に汎化、自動化、ロボット工学もハードウェアの問題ではなく単にソフトウェアの問題でAGI後の数年で圧倒的なスピードで解決される。私たちは人類がこれまでに直面したことのない最も極端な状況に急速に陥る。
1兆ドル規模のトレーニング計算資源への投資(2030年までに超知能のトレーニングに使われることが示唆)の話、2028年までに数千億ドルのトレーニング費用が使われる計画の話やその後は国家安全保障に移る。
超知能発明による圧倒的な技術力による現状の核抑止体制の終了（核兵器やステルス潜水艦を先制的に無力化可能）、根本的に異なる世界秩序への移行過程において国家安全保障上の問題を急速に感じた中国による先制攻撃（極端には特殊作戦部隊によるAI関連施設への攻撃）や戦争の可能性が克明に主張されている。
「20 世紀の軍事技術の発展を 10 年足らずで経験していたらどうなるか想像してみてください。数年後には馬とライフルと塹壕から現代の戦車部隊に移行し、さらに数年後には超音速戦闘機と核兵器と大陸間弾道ミサイルの大群に移行し、さらに数年後には敵が気付く前に敵を倒せるステルス性と精密さに移行していたでしょう。これが、超知能の出現によって私たちが直面する状況です。1 世紀分の軍事技術の進歩が 10 年足らずに圧縮されるのです。敵の軍事力の多くを無力化できる超人的なハッキング、ロボット軍団、自律型ドローンの群れが登場しますが、さらに重要なのは、私たちがまだ想像もできないまったく新しいパラダイム、そして破壊力が 1000 倍に増大した新しい大量破壊兵器 (そして、抑止力の均衡を急速に繰り返し覆す、突破不可能なミサイル防衛などの新しい大量破壊兵器防御も) の発明です」
現状国家安全保障を余りにも先端企業は気にしておらず、セキュリティがガバガバで、フロンディアモデルのアルゴリズムをサンフランシスコのパーティーで盗み聞きされたりスパイ活動されることで、権威主義国家によって価値観の固定化がおこり、「自由民主主義の半永久的な喪失」の可能性が真面目に指摘される。この状態は「狂気」だと指摘される。もし中国とアメリカの優位さが数年確保できたらいいけど、数ヶ月となると、アライメントにも手をかけられず人類はそのまま破滅するかもしれない。軍事レベル、核兵器の取り扱い以上のセキュリティがAGI関連には必要。
そして、今後わずか数年以内にこの事実はアメリカ政府のオーバートンの窓を大きく塗り替え、アメリカは「戦時体制」になる/なるべきと指摘。
これは歴史的な記事になるかもしれない。このような20 世紀の地政学的な熱狂と人為的な危機をわずか数年で経験する。そんな時代に突入しようとしている。AIアライメントには楽観的なようだが、中国との競争で余裕がないと失敗し人類は存亡リスクに至る可能性が真剣にあると言っている。個人的に人生で読んでいてここまで現実感がなくなる記事は始めて。これは現実なのか。
AGI実現可能性についても最後に「数年前、少なくとも私にとっては、これらのアイデアを真剣に受け止めていましたが、それらは抽象的で、モデルや確率推定の中に閉じ込められていました。今では非常に現実的に感じられます。私にはそれが見えます。AGIがどのように構築されるかがわかります。もはや人間の脳の大きさの推定や仮説、理論的な外挿などではなく、基本的にAGIがトレーニングされるクラスターとそれが構築される時期、使用するアルゴリズムの大まかな組み合わせ、未解決の問題とその解決への道筋、重要となる人々のリストを伝えることができます。」と書いており、相当もう現実のものとなっていることが見てとれる。
この記事はOpenAIの内部でDaniel KokotajloやSam AltmanやJohn Schulmanがよく言っていたタイムラインと似ている。つまりこれはOpen AI内部での未来に関する情報を相当克明に描いているといえる。またスーパーアライメントに楽観的な理由も深層学習が汎化しやすいことなどを独自の節を作り理由に挙げている。
世界をそして、人類史を変えようとしていることが手に取るようにわかる。その事実が様々な歴然としたデータ(投資動向、アルゴリズム改善率、半導体動向、)から現実を突きつけるような記事になっている。
そしてこの現実を「SITUATIONAL AWARENESS」状況認識、している人は「数百人」しかいないらしい。
皆読んだ方が良い。
situational-awareness.ai
「今、何が私たちを襲おうとしているのかを理解し、事態がどれほど狂っているのかを理解し、状況認識を持っている人は、おそらく世界に数百人しかいない。」
2028-29年までに超知能、2027年までにAGI。それが実現される理由とその後の人類史上類を見ない経済成長の相転移（GDP30%以上）と急性リスク期間（国家間の緊張の急激な高まり）に突如突入すること。そしてAGIから人類を質的に超える知能の急激な出現（数ヶ月から1年、遅くて2年）で文字通り人類史が変わるということが赤裸々に記される。
億ものGPUを製造するためにアメリカ経済を戦時体制にすること、すべてを封鎖し、スパイを排除し、中国共産党による総攻撃をかわすこと、AI研究を猛烈に自動化し、1年で10年分の飛躍を遂げ、やがて最も賢い人間よりもはるかに賢いAIシステムを生み出す1億ものAGIをどうにか管理すること；状況を安定させ、敵に先んじるために必要な新技術を開発し、それらを統合するために米軍を急速に作り変える。おそらくこれまでに経験したことのないような緊迫した国際情勢に対処しながら。
この記事は政府は勿論、全人類が見るべき記事だと感じる。
AGIはまず単に計算資源のスケーリングによるその桁数(OOMs)の増加(アーキテクチャの改善やRLHFやCoTのような事前トレーニング以外のテクニックも全部含めた上で実効的な計算量の増加)で達成されると相当自信を持っているようだ。
その後、AGIはまずAI研究を特化し自動化し、自動化された研究者が 1 億人存在し、それぞれが人間の 100 倍のスピードで作業するようになる。もはやそれが2028年までに起こるとされる。その後あらゆる科学技術研究に汎化、自動化、ロボット工学もハードウェアの問題ではなく単にソフトウェアの問題でAGI後の数年で圧倒的なスピードで解決される。私たちは人類がこれまでに直面したことのない最も極端な状況に急速に陥る。
1兆ドル規模のトレーニング計算資源への投資(2030年までに超知能のトレーニングに使われることが示唆)の話、2028年までに数千億ドルのトレーニング費用が使われる計画の話やその後は国家安全保障に移る。
超知能発明による圧倒的な技術力による現状の核抑止体制の終了（核兵器やステルス潜水艦を先制的に無力化可能）、根本的に異なる世界秩序への移行過程において国家安全保障上の問題を急速に感じた中国による先制攻撃（極端には特殊作戦部隊によるAI関連施設への攻撃）や戦争の可能性が克明に主張されている。
「20 世紀の軍事技術の発展を 10 年足らずで経験していたらどうなるか想像してみてください。数年後には馬とライフルと塹壕から現代の戦車部隊に移行し、さらに数年後には超音速戦闘機と核兵器と大陸間弾道ミサイルの大群に移行し、さらに数年後には敵が気付く前に敵を倒せるステルス性と精密さに移行していたでしょう。これが、超知能の出現によって私たちが直面する状況です。1 世紀分の軍事技術の進歩が 10 年足らずに圧縮されるのです。敵の軍事力の多くを無力化できる超人的なハッキング、ロボット軍団、自律型ドローンの群れが登場しますが、さらに重要なのは、私たちがまだ想像もできないまったく新しいパラダイム、そして破壊力が 1000 倍に増大した新しい大量破壊兵器 (そして、抑止力の均衡を急速に繰り返し覆す、突破不可能なミサイル防衛などの新しい大量破壊兵器防御も) の発明です」
現状国家安全保障を余りにも先端企業は気にしておらず、セキュリティがガバガバで、フロンディアモデルのアルゴリズムをサンフランシスコのパーティーで盗み聞きされたりスパイ活動されることで、権威主義国家によって価値観の固定化がおこり、「自由民主主義の半永久的な喪失」の可能性が真面目に指摘される。この状態は「狂気」だと指摘される。もし中国とアメリカの優位さが数年確保できたらいいけど、数ヶ月となると、アライメントにも手をかけられず人類はそのまま破滅するかもしれない。軍事レベル、核兵器の取り扱い以上のセキュリティがAGI関連には必要。
そして、今後わずか数年以内にこの事実はアメリカ政府のオーバートンの窓を大きく塗り替え、アメリカは「戦時体制」になる/なるべきと指摘。
これは歴史的な記事になるかもしれない。このような20 世紀の地政学的な熱狂と人為的な危機をわずか数年で経験する。そんな時代に突入しようとしている。AIアライメントには楽観的なようだが、中国との競争で余裕がないと失敗し人類は存亡リスクに至る可能性が真剣にあると言っている。個人的に人生で読んでいてここまで現実感がなくなる記事は始めて。これは現実なのか。
AGI実現可能性についても最後に「数年前、少なくとも私にとっては、これらのアイデアを真剣に受け止めていましたが、それらは抽象的で、モデルや確率推定の中に閉じ込められていました。今では非常に現実的に感じられます。私にはそれが見えます。AGIがどのように構築されるかがわかります。もはや人間の脳の大きさの推定や仮説、理論的な外挿などではなく、基本的にAGIがトレーニングされるクラスターとそれが構築される時期、使用するアルゴリズムの大まかな組み合わせ、未解決の問題とその解決への道筋、重要となる人々のリストを伝えることができます。」と書いており、相当もう現実のものとなっていることが見てとれる。
この記事はOpenAIの内部でDaniel KokotajloやSam AltmanやJohn Schulmanがよく言っていたタイムラインと似ている。つまりこれはOpen AI内部での未来に関する情報を相当克明に描いているといえる。またスーパーアライメントに楽観的な理由も深層学習が汎化しやすいことなどを独自の節を作り理由に挙げている。
世界をそして、人類史を変えようとしていることが手に取るようにわかる。その事実が様々な歴然としたデータ(投資動向、アルゴリズム改善率、半導体動向、)から現実を突きつけるような記事になっている。
そしてこの現実を「SITUATIONAL AWARENESS」状況認識、している人は「数百人」しかいないらしい。
皆読んだ方が良い。
situational-awareness.ai
免責事項：このコミュニティは、Moomoo Technologies Inc.が教育目的でのみ提供するものです。
さらに詳しい情報
コメント
サインインコメントをする
KIMIHIKO スレ主 : ちなみにSituational awarenessが本当なら、NvidiaとMicrosoft株価は今後何倍にもなることが表や言及からわかる。これはよく読み込んだ人なら気づく。