Supremacy: AI, ChatGPT and the race that will change the world
Parmy Olson
Supremacy - AI, ChatGPT and the race that will change the world
ジェフリー・ヒントン氏のチームがGPUにCNNを実装したAlexNetを使って画像認識でブレークスルーを起こしたのが2012年です。
5年後の2017年にGoogleのチームがAttentionモデルを使ったTransformerアーキテクチャを発表し、大規模言語モデルが誕生します。このTransformerの論文”Attention is All you need"の執筆者は、現在のAIを牽引する企業に散らばり、 一人はChatGPT開発の中心人物です。ChatGPTやLlama、Geminiは、Transformerアーキテクチャの系譜を受け継いでいます。
OpenAIは2024年12月にText-to-Videoの製品を発表しました。デモを見ると、ハルシネーションは発生していないようです。
深い層から構成されるニューラルネットに何ができるのか、理論的な限界や境界がはっきりしているわけではなく、誰にもわかりません。5年後シリコンベースのチップアーキテクチャの演算能力が、さらに強力になっていることは明確に断言できます。これは人よりも深く大規模なニューラルネットワークによるリアルタイム処理が普通に利用できることを意味します。
本書は、二人の起業家、サム・アルトマン氏とデミス・ハサビス氏について執筆されています。二人を中心としたAIビジネスに関わる人々の物語です。現代のトーマス・エジソンとジョージ・ウェスティングハウス関係のように、二者を対比させています。
二人がどのようにテクノロジーに関わり始めて、起業してAIを牽引していくか、それを軸に米国と英国における20年ほど前から現在までのこの分野におけるテクノロジー企業の動きがわかります。例えば現在のxAIを起こした起業家のOpenAIに対する反目の理由、2023年11月のOpenAIの一時的なガバナンスの混乱時に何があったのか等がクリアになります。
本書に記された物語の後、ハサビス氏は望みが叶いノーベル化学賞を授かっています。
また、著者は新しい技術の負の側面についてもバランスよく記しています。
タイトルの…,and the raceには、本書に登場するテクノロジー企業のrace to build AGI(Artificial General Intelligence)だけでなく、human raceに対するAIのサイバネティックス的な意味も暗示しているのでしょうか。おそらく近いうちに邦訳が出版されるでしょうが、そのときこの微妙なニュアンスは消えるのでしょう。
Transformerアーキテクチャは、コンテキストの中の位置関係で頻度の高いワードを予測して、ワード間の結びつきの強さから意味を特定します。それでもワードの持つ意味はその言語体系特有のもので、言語は、歴史や文化と結びついているので、韻を含んだ表現などは異なる言語に変換するときに伝達されません。最もこれは、言語の構造に依存しているため、人でもAIによる処理でも同じことです。少なくともChatGPTのような現在のアーキテクチャによるAIは、歴史や文化の異なるあらゆる言語の構造を学習します。
本書の主役である二人が起業した二社を含むテクノロジー企業は、今後もタレント、資金、計算リソースを投入し、現在のアーキテクチャよりさらに洗練されたアーキテクチャをリリースしていくのでしょう。それは社会システムや人の生活様式を変えていくことになるでしょう。
