11月15日、2017年にGoogleの機械学習研究者8名が「Attention Is All You Need（必要なのは注意だけ）」と題された画期的な研究論文を共同執筆したと報じられました。この論文では、現在ではほぼすべての主流の生成型人工知能モデルを支える中核的な基盤となっているTransformer AIアーキテクチャが紹介されました。

Transformerアーキテクチャは、ニューラルネットワークを用いて「トークン」と呼ばれる入力データブロックをコンパイルまたは変換し、目的の出力形式に変換するもので、現代の人工知能の急速な発展を牽引する重要な要素となっています。Transformerアーキテクチャの様々なバリエーションは、GPT-4（およびChatGPT）などの言語モデル、Google NotebookLMやOpenAIの高度な音声パターンを実行する音声生成モデル、Soraなどの動画生成モデル、Midjourneyなどの画像生成モデルなど、幅広いモデルで広く利用されています。

今年10月に開催されたTED AIカンファレンスで、「Google Eight」の一人であるヤコブ・ウスコライト氏がメディアのインタビューに応じ、Transformerの開発経緯、大規模言語モデル分野におけるGoogleの初期の取り組み、そして現在取り組んでいる生物計算分野における新たな挑戦について語りました。

インタビューの中で、ウスケルト氏は、自身と Google チームは Transformer テクノロジーの可能性に大きな期待を抱いていたものの、ChatGPT などの製品におけるその重要な役割を完全には予見していなかったと明かしました。

以下はインタビューの全文です。

Q: 論文「Attention is everything you need」に対するあなたの主な貢献は何ですか?

ウスケルト：論文の脚注で詳しく説明されていますが、私の中心的な貢献は、注意メカニズム、特に自己注意が、当時のシーケンス伝達モデルを支配していた再帰メカニズム（再帰ニューラルネットワーク由来）に取って代わる可能性があるというアイデアを提案したことです。この代替案はより効率的であり、したがってより効果的です。

Q: チームが論文を発表した後、何が起こると思いますか？どのような産業が生まれると予想していますか？

ウスケルト：まず強調したいのは、私たちの研究は孤立したものではなく、多くの先人たちの研究成果の上に成り立っているということです。この論文は単独の出来事ではなく、私たちのチームと多くの研究者による長年の努力の集大成です。したがって、その後のすべての発展をこの論文だけに帰することは、人間中心主義的な見方かもしれませんが、必ずしも正確ではありません。

その論文が発表される以前、Googleの私のチームは長年にわたり注意モデルの研究に取り組んでいました。それは長く困難な道のりであり、私のチームだけでなく、多くの研究者による膨大な研究作業が必要でした。注意モデルには大きな期待を寄せ、この分野全体を技術的に進歩させることができると信じていました。しかし、ChatGPTのような製品が本当に実現するかどうかについては、少なくとも表面的には、完全には予見していませんでした。論文を発表した時点でも、大規模な言語モデルとそれが示す能力は私たちを驚かせていました。

これらの技術をそのまま市場性のある製品に転換することはしませんでした。その理由の一つは、当時、大規模な製品開発（100億ドル規模の投資が必要になる可能性もあった）に対して慎重だったからです。これらの技術の可能性は認識していましたが、技術単体で魅力的な製品が実現できるとは確信していませんでした。これらの技術に大きな期待を抱いていたかという問いに対しては、答えは「イエス」です。

Q: Googleの大規模言語モデル開発の取り組みについてはよくご存知だと思いますが、ChatGPTが世間の注目を集めて大きな成功を収めたとき、あなたのチームはどのような思いをされましたか？「ああ、彼らは成功し、私たちはチャンスを逃してしまった」といった後悔はありましたか？

ウスケルト氏：ええ、当時は「これは絶対に可能だ」という予感はありました。でも、「ああ、先を越されて残念だ」というような気持ちではありませんでした。むしろ「もっと早く実現できたはずだ」という気持ちでした。人々がこれらの新しいテクノロジーを受け入れ、採用したスピードには、本当に驚きました。本当に素晴らしいと思いました。

Q: その時にはすでに Google を退職されていたんですよね?

ウスケルト：はい、辞めました。ある意味、Googleはこの種の革新的な仕事に理想的な場所ではなかったと言えるでしょう。それが私が辞めることを決めた理由の一つです。Googleが気に入らなかったから辞めたのではなく、Inceptiveを立ち上げるという私のビジョンを他の場所で追求する必要があると感じたからです。

しかし、私の本当のモチベーションは、巨大なビジネスチャンスを見ているということではなく、人々の生活に直接的かつ良い影響を与えることができる、より効果的な医薬品を設計するなど、外部環境においてより良いことを行うという道徳的責任感です。

Q: ChatGPTの興味深い点は、以前GPT-3を使ったことがあることです。そのため、ChatGPTが登場したとき、この技術に精通している人にとってはそれほど驚きではありませんでした。

ウスケルト：その通りです。この種の技術を以前に使ったことがあるなら、その進化をはっきりと理解し、合理的な推論を行うことができます。OpenAIがアレック・ラドフォード氏らと初期のGPTモデルを開発していた頃、私たちはこれらの可能性について議論しました。当時、私たちは同じ会社に所属していませんでしたが。当時、私たち全員が興奮を覚えたと思いますが、ChatGPTがこれほど広く急速に普及するとは、誰も予想していませんでした。

Q: 最初は「ああ、これは会話のループでコンテキストを維持できるチャットボット機能を備えたGPT-3に過ぎない」と思いました。確かに魅力的ではありましたが、画期的な瞬間だとは思いませんでした。

ウスケルト氏：ブレークスルーの瞬間には様々な形があります。これは厳密には技術的なブレークスルーではありませんが、このレベルの能力は極めて高い実用性を示しており、間違いなくブレークスルーと言えるでしょう。

同時に、私たちが開発したツールを利用するユーザーの創造性と多様性は、しばしば私たちの予想をはるかに超えることを認識する必要があります。ユーザーがこれらのツールをどれだけ活用するか、あるいはこれらのアプリケーションがどれだけ普及するかを予測するのは難しいかもしれません。

多くの場合、私たちは実践を通してしか学ぶことができません。だからこそ、実験的な姿勢を維持し、失敗を受け入れる姿勢を持つことが非常に重要です。なぜなら、ほとんどの場合、試みは失敗するからです。しかし、場合によっては成功することもあり、そして極めて稀ですが、ChatGPTのように途方もない成功を収めることもあります。

Q: つまり、ある程度のリスクが伴うということですね。Googleにはそのようなリスクを負う意志がないのでしょうか？

ウスケルト氏：確かに当時はそうでした。しかし、もっと深く考えて歴史を振り返ると、実は非常に興味深いことに気づきます。例えばGoogle翻訳ですが、その道のりはChatGPTと少し似ています。Google翻訳の最初のバージョンをリリースした時は、せいぜいパーティージョーク程度でした。しかし、非常に短期間で、真に有用なツールへと変貌を遂げました。その過程では、出力結果がひどくて恥ずかしいものになることもありました。しかし、Googleはそれが正しい方向だと考え、諦めずに取り組み続けました。しかし、それは2008年、2009年、あるいは2010年頃の話です。

Q: AltaVista 検索エンジンがリリースしたオンライン翻訳ツール、Babel Fish を覚えていますか?

ウスケルト：もちろんです。

Q: 初めて登場したとき、私と弟はよくその本に惹かれ、異なる言語間でテキストを翻訳していました。そうするとテキストがわかりにくくなり、面白くなってしまうからです。

ウスケルト： そうですね、そういった翻訳はどんどん不条理で滑稽なものになっていきます。

（注：Googleを退職後、ウスケルト氏は生化学分野へのディープラーニング技術の導入に取り組む企業、Inceptiveの共同設立者となった。同社は、ウスケルト氏が「生物学的ソフトウェア」と呼ぶものを開発している。これは、人工知能コンパイラを用いて特定の行動をRNA配列に変換する手法である。これらのRNA配列を生物系に導入すると、事前に定義された機能を実行できるようになる。）

Q: 最近、仕事で何に重点を置いていますか?

ウスケルト：2021年にInceptiveを共同設立しました。私たちの目標は、ディープラーニングとハイスループット生化学実験を用いて、真にプログラム可能でより効率的な医薬品を設計することです。これは私たちの「バイオソフトウェア」への旅の第一歩に過ぎないと確信しています。

生物学的ソフトウェアは、いくつかの点でコンピュータソフトウェアに似ています。まず動作仕様を定義し、次にコンパイラを用いてこれらの仕様をコンピュータソフトウェアに変換します。コンピュータソフトウェアはコンピュータ上で実行され、指定された機能を発揮します。同様に、生物学的ソフトウェアでは、生物学的プログラムの一部を定義し、コンパイラを用いてコンパイルします。しかし、ここで重要なのは、従来の工学的コンパイラを使用していないことです。なぜなら、生体システムの複雑さはコンピュータのそれをはるかに超えているからです。しかし、学習機能を備えた人工知能コンパイラを導入することで、これらの生物学的プログラムの断片を分子にコンパイル、つまり変換することが可能になります。これらの分子を生物システムや生物に組み込むと、細胞は事前に定義された機能に従って機能します。

Q: これは mRNA COVID ワクチンの仕組みと似ていますか?

ウスケルト氏：mRNA COVIDワクチンは非常に単純な例として考えることができます。この例では、プログラムが細胞に「この改変ウイルス抗原を作る」ように指示し、細胞は指示に従って対応するタンパク質を生成します。しかし、分子ははるかに複雑な挙動を示すことが想像できます。これらの挙動の複雑さを直感的に理解するには、RNAウイルスを例に考えれば十分です。RNAウイルスは単なるRNA分子ですが、生物に侵入すると非常に複雑な挙動を示すことがあります。例えば、生物体内に広く分布し、地球全体に広がることもあれば、特定の時期に生物体内の少数の細胞でのみ特定のタスクを実行することもあります。したがって、これらの機能を備えた小さな分子を設計できれば、どれほど革新的な影響を与えるかは想像に難くありません。もちろん、私たちの目標は人々を病気にする分子を作ることではなく、人間の健康に有益な分子を作ることであり、それは医療のあり方を根本的に変えることになるでしょう。

Q: 破壊的な RNA 配列を誤って作成しないことをどのように確認しますか?

ウスケルト：医学は長い間、科学からやや乖離した存在でした。真に理解されたわけではなく、その作用機序も未だに完全には解明されていません。

そのため、人類は様々な安全対策と臨床試験手順を開発せざるを得ませんでした。患者が臨床に入る前から存在するこれらの経験に基づく安全対策は、私たちが不注意で有害物質を作り出すことを防いでいます。これらのシステムは近代医学の誕生以来、私たちと共に存在してきました。だからこそ、私たちはこれらのシステムを活用し続け、安全を確保するためにあらゆる努力を尽くします。まずは最小のシステムから実験を始め、将来的には単一細胞を用いて、確立された医療プロトコルを厳守することで、これらの分子の安全性を確保していきます。（シャオシャオ）