CUDA (Compute Unified Device Architecture: 統合コンピューティング アーキテクチャ) 講義全文とメモ
再び NTU に戻ってきて、ゲストスピーカーとして参加できることを大変うれしく思います。
卒業生の皆様へ：
あなたが生きている時代は非常に複雑ですが、それはチャンスでもあります
私がオレゴン州立大学を卒業したとき、世界はもっと単純でした。テレビはまだ超大型で、TVBやMTVはまだ登場しておらず、携帯電話も存在しません。 **1994 年、IBM PC と Apple の MAC Macintosh によってパーソナル コンピュータ革命が始まり、その後、チップとコンピューティング プログラムが開発されました。 **
(Alpha Rabbit 注: 実際、ジェンセン氏は主に 2 つのことに基づいていると述べました。まず、1994 年以降、Microsoft は DOS の開発と販売を停止し、全面的に Windows に切り替えました。これが最も重要です。第 2 に、IBM は完成した PC として絶対的なリーダーの地位にあり、Windows 3.1 を搭載し、現在に至るまで Apple の MAC の市場シェアを引き抜き続けています。第 3 に、Apple のオリジナルマシンと呼ばれています。 Power MAC、ただし 1995 年の Windows 95 では世界中で Apple は PC 市場シェアをほぼ完全に失いました)
私たちは、現実世界と並行して存在する、常時接続された没入型のデータ世界にいます。
40 年前、コンピューター業界が家庭用 PC を開発し、AI テクノロジーの研究を続けたとき、私たちのアルゴリズムは車を運転したり、X 線画像を研究したりしていました。 AI は、ヘルスケア、金融サービス、運輸、製造といった世界最大の巨大産業にサービスを提供するコンピューター自動化への扉を開きました。
AI は私たちに大きなチャンスをもたらし、機敏な企業は AI テクノロジーを活用して競争力を強化するでしょうが、AI をうまく活用できない企業は衰退することになります。今日ここにいる多くの起業家を含め、多くの起業家が将来新しい会社を設立するでしょう。
*事業を始めるにあたって、当時の彼の目の前には難しい問題があった。それは、思い切って To B の仕事を終わらせるかどうかだった。それともすぐに方向転換してマイクロソフトの動向についていくでしょうか？ **** 最終的にジェンセン氏の決断は、「新興企業にとってリソースは限られているため、セガの事業を行うことはできない。もしセガの事業を行うと、マイクロソフトとのビジネスを逃すことになる」というものだった。 ***したがって、ジェンセン氏の最初の判断は、今日の後で再検討しますが、正しく、先見の明のあるものです。つまり、我々はマイクロソフトに従わなければなりません。結局のところ、彼が Microsoft を選んでいなかったら、Nvidia はおそらく今頃廃業していたでしょう)
2023 年卒業生の皆さん、皆さんは、私が卒業したときのパーソナル コンピューターとチップ革命と同じように、大規模な変革を経験する世界に入ろうとしています。皆さんは AI のスタートラインに立っています。あらゆる業界は革命を起こし、生まれ変わり、新しいアイデア、つまりあなたのものを受け入れる準備が整います。
Nvidia Huang Renxun 氏は国立台湾大学で講演しましたが、彼はどのようなメッセージを伝えましたか?
作者：アルファウサギ
5 月 27 日、Nvidia CEO のジェンセン フアン (ジェンセン フアン) 氏が国立台湾大学の卒業式でスピーチを行い、著者はジェンセン フアン氏のスピーチを研究した後、ジェンセン氏のスピーチの要点 (つまり本文の下線部分) を解釈しました。参考として、関連分野の専門家からのコメントも歓迎します。
CUDA (Compute Unified Device Architecture: 統合コンピューティング アーキテクチャ) 講義全文とメモ
再び NTU に戻ってきて、ゲストスピーカーとして参加できることを大変うれしく思います。
卒業生の皆様へ：
あなたが生きている時代は非常に複雑ですが、それはチャンスでもあります
私がオレゴン州立大学を卒業したとき、世界はもっと単純でした。テレビはまだ超大型で、TVBやMTVはまだ登場しておらず、携帯電話も存在しません。 **1994 年、IBM PC と Apple の MAC Macintosh によってパーソナル コンピュータ革命が始まり、その後、チップとコンピューティング プログラムが開発されました。 **
今日あなたが直面している世界は、地政学的、社会的、環境的な変化や課題を伴い、より複雑になっており、そのすべてがテクノロジーに覆われています。
(Alpha Rabbit 注: 実際、ジェンセン氏は主に 2 つのことに基づいていると述べました。まず、1994 年以降、Microsoft は DOS の開発と販売を停止し、全面的に Windows に切り替えました。これが最も重要です。第 2 に、IBM は完成した PC として絶対的なリーダーの地位にあり、Windows 3.1 を搭載し、現在に至るまで Apple の MAC の市場シェアを引き抜き続けています。第 3 に、Apple のオリジナルマシンと呼ばれています。 Power MAC、ただし 1995 年の Windows 95 では世界中で Apple は PC 市場シェアをほぼ完全に失いました)
私たちは、現実世界と並行して存在する、常時接続された没入型のデータ世界にいます。
40 年前、コンピューター業界が家庭用 PC を開発し、AI テクノロジーの研究を続けたとき、私たちのアルゴリズムは車を運転したり、X 線画像を研究したりしていました。 AI は、ヘルスケア、金融サービス、運輸、製造といった世界最大の巨大産業にサービスを提供するコンピューター自動化への扉を開きました。
AI は私たちに大きなチャンスをもたらし、機敏な企業は AI テクノロジーを活用して競争力を強化するでしょうが、AI をうまく活用できない企業は衰退することになります。今日ここにいる多くの起業家を含め、多くの起業家が将来新しい会社を設立するでしょう。
(Alpha Rabbit 注: ジェンセンはなぜそのようなことを言ったのでしょうか? スピーチを聞いているこれらの成績優秀な国立台湾大学の学生は、NVIDIA が将来必要としている人材だからです。NVIDIA は若い人材を探しています)
過去のコンピューター時代がそれぞれ新しい産業を生み出してきたのと同じように、AI もまた、データ エンジニア、プロンプト エンジニア、AI ファクトリー オペレーター、AI セキュリティ エンジニアなど、これまで存在しなかった新しい仕事を生み出してきました。
仕事の自動化によって一部の仕事はなくなるが、AI は間違いなくすべての仕事を再構築し、デザイナー、アーティスト、営業、製造プランナーのパフォーマンスを劇的に向上させるだろう。これまでのすべての世代と同様に、成功するためにテクノロジーを活用してください。すべての企業とあなたは、AI を活用し、AI の助けを借りて驚くべきことを実現する方法を学ばなければなりません。
AI があなたの仕事を奪うのではないかと心配する人もいます。 AI が自己意志を発達させるのではないかと心配する人もいるかもしれません。私たちは、パーソナルコンピュータ、インターネット、モバイルデバイス、クラウドテクノロジーと同じように、新しい分野の始まりにいます。
(アルファラビットの注: ジェンセンの真意は、実際には——これは歴史の必然だ、誰もが変化と未来を受け入れるべきだ、要点を押さえ、歩かずに走るべきだということです)
**しかし、AI の影響はより根本的なものであり、コンピューティングのあらゆるレベルが書き換えられるでしょう。ソフトウェアの作成方法やソフトウェアの実行方法が変わります。 **
あらゆる観点から見て、これは コンピューター業界 の再生のチャンスです。あなたはこの業界の礎です。今後 10 年間で、私たちの業界は数兆ドル相当の従来型コンピューターを新しい AI コンピューターに置き換えることになります。
(* Alpha Rabbit 注: Nvidia は今後 10 年で Intel/AMD になります。技術的な観点から見ると、Nvidia は真のチューリング完全コンピューティング デバイスを作成し、先行者利益を強化し続けるでしょう。将来的には独自の AI デバイスを持つことになりますが、これは初期のゲイツ氏とインテルと同じ目標です。当時のマイクロソフトとインテルの目標は、誰もが Windows コンピューターを所有することでした*)。
私の旅は皆さんより 40 年前に始まりました。1984 年は完璧な卒業の年であり、2023 年も同様になると予想しています。
何を言えばいいですか今日はあなたにとってこれまでで最も成功した日です。あなたは国立台湾大学を卒業しました。私も成功しました。 Nvidiaを始める前。 **私も失敗を経験しましたが、それは大きな失敗であり、言うのは屈辱的で恥ずかしいことであり、ほとんど破滅につながります。 **
それでは、今日の Nvidia を形作った 3 つのストーリーをお話しましょう。
** 正直に間違いに向き合い、謙虚に助けを求めることは、賢くて成功した人にとって学ぶのが最も難しいことです。 **私たちはアクセラレーテッド コンピューティング テクノロジーを開発するために Nvidia を設立しました。最初のアプリケーションである PC ゲーム用の 3D グラフィックスでは、比較的安価な型破りなフォワード テクスチャリング技術を発明しました。私たちはセガとコンソールを製造する契約を獲得しました。これにより、ゲーム開発者が当社のプラットフォームを使用してゲームを開発し、当社に資金を提供するようになります。
(Alpha Rabbit 注: 当時、なぜジェンセンはアクセラレーション コンピューティング技術を開発したのでしょうか。実際、それは新しい技術など存在しなかったからです。しかし、当時の状況は 1993 年で、 Mac と Windows、3 つのマルチメディア この言葉は広く知られていますが、問題が発生しました。当時、PC の計算能力、グラフィックス、サウンドの計算は非常に困難でした。そのため、当時のコンピュータではビデオを再生し、別のカードが必要でした。 ジェンセンが見たコンピュータグラフィックスの未来. いわゆるアクセラレーションとは、「グラフィックス処理を高速化すること」を指します。なぜアクセラレーションする必要があるのですか? それは遅いからです。それは同じです。馬車の代わりにメルセデス・ベンツ）
しかし、1 年間の開発期間の後、私たちが設計したアーキテクチャは間違った戦略であり、技術的な観点から見て不適格であることがわかりました。一方、Microsoft は、リバース テクスチャ マッピングと三角形に基づく Windows 95 Direct3D を発表しようとしています。これは、SEGA のコンソールを完成させたら、Windows と互換性のないものを作成することになるが、契約を締結できなければ廃業することを意味しました。
いずれにせよ、私たちは破産の運命に直面するでしょう。
(Alpha Rabbit 注: Jensen がここで言及したアーキテクチャのエラーは、ディスプレイ チップの基礎となる設計を指します。
*SEGA自体は実際にはメーカーであり、ゲーム機のメーカーであり、NvidiaがSegaのビジネス、つまりTo Bのビジネスを継続する場合、Sega向けのチップを設計するとき、間違いなくTo Bの方法に従うことになります。まずはセガの事業を終わらせてください。その結果、Nvidiaが半分を作った後、突然Microsoftがジェンセンの視界に入るようになり、Microsoftも巨人（ToC）となったが、この時ジェンセンはMicrosoftの3Dグラフィックスのコンセプトの方が優れていることを痛感していた。 *
*事業を始めるにあたって、当時の彼の目の前には難しい問題があった。それは、思い切って To B の仕事を終わらせるかどうかだった。それともすぐに方向転換してマイクロソフトの動向についていくでしょうか？ **** 最終的にジェンセン氏の決断は、「新興企業にとってリソースは限られているため、セガの事業を行うことはできない。もしセガの事業を行うと、マイクロソフトとのビジネスを逃すことになる」というものだった。 ***したがって、ジェンセン氏の最初の判断は、今日の後で再検討しますが、正しく、先見の明のあるものです。つまり、我々はマイクロソフトに従わなければなりません。結局のところ、彼が Microsoft を選んでいなかったら、Nvidia はおそらく今頃廃業していたでしょう)
私はSEGAのCEOに連絡し、私たちの発明が間違っていたこと、契約とゲーム機を完成させることができないことを説明し、SEGAに他のパートナーを見つけるよう提案しました。私は彼にこう言いました。『やめなければなりません。 '
しかし、SEGA に全額支払ってもらう必要があります。そうしないと Nvidia は事業を継続できなくなります。
恥ずかしながらセガの社長にお願いしましたが、驚いたことに快諾していただきました。彼の理解と寛大さのおかげで、さらに 3 か月を節約できました。その間に Riva 128 を構築し、資金が底をつきかけたとき、Riva 128 は初期の 3D 市場を揺るがし、私たちの注目を集め、会社の経営を救ってくれました。
**当社のチップに対する市場の需要は強いため、私は 4 歳のときに台湾を離れた後、台湾に戻りました。私はTSMCのZhongmou Chang氏と出会い、25年続く関係が始まりました。 **
**私たちは自分たちの間違いについて正直に話し、NVIDIA を存続から救うために謙虚に協力を求めました。これらは、あなたのような最も賢く最も成功した人々にとって、開発するのが最も難しい特性の一部です。 **
私たちの性格は、ビジョンを追求する骨の折れるプロセスによって形成されます
2007 年に、当社は CUDA GPU アクセラレーション コンピューティング テクノロジを発表し、CUDA を科学計算、物理シミュレーション、画像処理におけるアプリケーションのパフォーマンスを向上させるプログラミング モデルにすることを期待しています。
まったく新しいコンピューティング モデルを作成することは困難であり、歴史的にもまれです。 CPU の計算モデルは、IBM 360 以来 60 年間標準でした。 CUDA では、開発者がアプリケーションを作成して GPU の利点を実証する必要があります。開発者には大規模なユーザー ベースが必要です。大規模な CUDA ユーザー ベースには、市場の誰かが新しいアプリケーションを購入する必要があります。
*( Alpha Rabbit 注: 1. 2007 年に何が起きましたか? 当時、並列コンピューティングの標準化というトレンドがありました。ここに例を示します。たとえば、画像は x * y ピクセルであり、CPU の計算は「一行ずつ文章を書く」というのは「文章を一行ずつ書く」ようなもので、GPUコンピューティングとは、例えば1ページに200マスあり、同時に200マス書くので一瞬で書き終わるということです。 360 はメインフレームです。メインフレームは英語では Computer ではなく Mainframe と呼ばれます。当時は 3. CUDA の場合、まったく新しいものです。***CUDA では開発者がアプリケーションを作成し、GPU の利点を実証する必要があります。この文「開発者がテクノロジーをやる」という意味 投資するとき、この作品に未来がなければ投資しても無駄ですが、より多くの人が投資すれば、Linuxのように見込みのないものでも有望なものになりますが、あの時代はテクノロジーの理想によって動かされていました。 4. この前提の下では、Nvidia が将来どのような機器を製造しても、その並列コンピューティング インターフェイスは決して変更されません。cuda が独占する場合、他の競合製品も cuda の標準化に従う必要があります)
**したがって、鶏が先か卵が先かの問題を解決するために。 **
当社は、すでに巨大なゲーム市場を持っているゲーム用グラフィックス カード GPU GeForce を活用して、ユーザー ベースを構築しています。しかし、CUDA のコストは非常に高く、NVIDIA の利益は長年にわたって大きな打撃を受けており、時価総額はかろうじて維持されています
** 約10億ドルを保有。当社の長年にわたる圧倒的な業績により、株主はCUDAに懐疑的であり、当社が収益性の向上に注力することを望んでいます。 **
(*( Alpha Rabbit 注: ここで質問があります。なぜ、年間利益に大きな打撃を受けている Nvidia のような企業が、投資家や株主によって直接閉鎖されないのでしょうか? **) *
**しかし、私たちは粘り強く、アクセラレーテッド コンピューティングの時代が来ると信じており、GTC と呼ばれるカンファレンスを設立し、世界中で CUDA テクノロジーを推進するために精力的に取り組んでいます。 **
(Alpha Rabbit 注: Jensen Huang は実際には筋金入りのゲーマーで、プレイすること、オタクの天井が大好きで生まれました。Nvidia の GTC カンファレンスは 2009 年に始まり、CUDA リリースはちょうど約 2 年が経過しました。そして、Nvidia は GTC で主に 2 つのことを行います。 、ゲームの将来計画、2 番目、GPU/Cuda の将来計画、ここでの参加者は CUDA の潜在的なユーザーです)
その後、CT 再構成、分子動力学、素粒子物理学、流体力学、画像処理などのアプリケーションが登場し始め、開発者がアルゴリズムを記述してチップを高速化しました。
2012 年、AI 研究者が CUDA を調査し、有名な AlexNet が当社の GPU GTX 580 でトレーニングされ、AI の大爆発が始まりました。幸いなことに、私たちは深層学習の可能性に気づき、すべてを賭けて深層研究を追求しました。数年後、AI 革命が始まり、Nvidia がその原動力となりました。 **私たちは AI 用の CUDA を発明しました。この旅は私たちの性格を鍛え、痛みと苦しみに耐えました。そして、それは私たちのビジョンを追求する過程で必要な痛みです。 **
諦めることを学ぶことが成功への鍵です
別の話をすると、2010 年に Google は Android システムを優れたグラフィックスを実現するプラットフォームにし、携帯電話業界にもモデム用のチップ会社がありました。 Nvidia の優れたコンピューティング能力により、Nvidia は Android システムの優れたパートナーとなっています。私たちは成功し、株価は急騰しましたが、すぐに競合他社が参入し、私たちがモデムについて学んでいる間に、モデムメーカーはコンピューティングチップの作り方を学んでいました。
(*Alpha Rabbit 注: Nvidia はかつて、携帯電話で使用すると非常に人目を引く tegra チップ セットを発売しました。その結果、Qualcomm がこれに注目し、これは良くない、形勢が逆転するだろうと...そのため、通信チップ工場であるクアルコムは、いざというときはモバイルGPUを開発するべきだと考え始め、エヌビディアも独自の携帯電話を製造し、ベースバンドチップ、つまり通信用のモデムチップの開発を開始する計画を立てている。注, クアルコムには専門家のアドバイスが必要です。 *この人は誰ですか? 、クアルコムの社長に GPU の製造を開始するよう説得した人は誰ですか? とても風変わりで決して姿を現さない人もいますが、彼らは科学技術の歴史を揺るがしています。 ..)
携帯電話市場は巨大なので、シェアを握ることができます。しかし、私たちはこの市場を放棄するという難しい決断を下しました。 Nvidia の使命は、「通常のコンピューターが解決する問題」を解決するコンピューターを作成することであるため、私たちはビジョンと独自の貢献に焦点を当てる必要があります。
(Alpha Rabbit 注: なぜ諦めるのか: モバイル モデムは適用範囲が狭すぎるため、1. 信号を受信する 2. 信号を送信することしかできません。To C 遺伝子はなく、ストーリーも将来もありません。そして、クアルコムは彼は nvidia を始めた最初の日からグラフィックスを担当しています*)*
**私たちの放棄は功を奏し、AI アルゴリズムを実行するニューラル ネットワーク プロセッサと安全なアーキテクチャを備えたロボット工学という新しい市場を創造しました。 **
当時はまだ目に見えない市場でした。巨大な携帯電話市場から撤退し、市場規模が分からないロボット市場を創設する。しかし今日、私たちは自動運転車、ロボット工学、そして新しい産業において数十億ドル規模のビジネスを行っています。
** あなたのように賢くて成功した人にとって、「撤退」することは簡単ではありません。しかし、戦略的な撤退、犠牲、何を手放すかを決めることは成功の核心であり、非常に重要な核心です。 **
走る！何があっても走り続ける
2023 年卒業生の皆さん、皆さんは、私が卒業したときのパーソナル コンピューターとチップ革命と同じように、大規模な変革を経験する世界に入ろうとしています。皆さんは AI のスタートラインに立っています。あらゆる業界は革命を起こし、生まれ変わり、新しいアイデア、つまりあなたのものを受け入れる準備が整います。
40 年間で、私たちはパーソナル コンピューター、ウェブ、モバイル デバイス、クラウドを作成しました。 AI時代の今、あなたは何を作りますか？
何があっても全力で走れ！ゆっくり歩かないでください。
**食べ物を求めて走っているのか、他人から食べ物として扱われていないのか。自分がどのような状況に置かれているかを知る方法がないこともよくありますが、とにかく走り続けてください。 **
**あなたの旅の中で、私が犯したいくつかの間違いや経験を持ち込んでください。謙虚に失敗に向き合い、間違いを認めて助けを求めてほしいと思います。 **あなたは夢を達成するために必要な痛みや苦しみに耐え、有意義な人生を送り、人生のキャリアを全力で全力で取り組むために犠牲を払います。
**2023 年卒業生の皆さん、皆さん、心からお祝いを申し上げます。 **
**来て！ **
この記事は、ChaosAI の Farseer Dakai に感謝します