周文萌（Sina Technology）の記事

発行番号：第58号

ゲスト: Kimi (The Dark Side of the Moon) の創設者兼 CEO、ヤン・ジーリン氏

キミチャットの一般公開1周年を記念して、キミチャットの創業者兼CEOであるヤン・ジーリン氏（31歳）が再びメディアの前に立ち、同社が開発中の新世代数学的推論モデル「k0-math」を紹介した。

楊志林氏は、「AI人材が大企業に戻ってくる」という最近の現象について議論した際、「これは当然のことです。業界は新たな発展段階に入ったからです。当初は多くの企業が取り組んでいましたが、今ではそうする企業は少なくなっています」と率直に述べた。同氏は、強化学習が人工知能における最も重要な方向性の一つとなり、パラダイムに新たな変化が起こると見ている。

特筆すべきは、バイトダンスの豆宝（Doubao）との競争について尋ねられた際、同氏は「競争そのものにあまり焦点を当てたくありません。競争自体は価値を生み出さないからです。今最も重要なのは、より優れた技術と製品を提供し、ユーザーにとってより大きな価値を生み出すことです」と述べたことです。

以下は楊志林氏の返答である。

Q: AIスタートアップが買収され、優秀な人材が大企業に戻ってくるという現象について、どうお考えですか？

楊志林：私たちはまだこの問題に遭遇していませんが、他の企業では遭遇するかもしれません。業界が新たな発展段階に入ったため、これは当然のことだと思います。当初は多くの企業が参入していましたが、今では企業数は減少しています。今後、各社の取り組みも徐々に変化していくでしょう。これは避けられない法則だと思います。一部の企業は事業を継続できなくなり、それが問題を引き起こすでしょう。これもまた、業界発展の法則です。

私たちにとって、業務の合理化という積極的な決断は非常に重要であり、この1年間で得た大きな教訓でもあります。重要なことに集中し、それをしっかりと実行すべきだということです。数ある大規模スタートアップ企業の中で、私たちは一貫して最小限の従業員数を維持してきました。これは非常に重要だと考えています。

チームを過度に拡大したくはありません。拡大はイノベーションに致命的な影響を与えるからです。チームを一定規模に維持したいのであれば、ビジネスを簡素化するのが最善の方法です。

Q: キミに集中しようと決めたのはいつですか?

楊志林：おそらく今年の2月か3月頃、あるいは3月か4月頃でしょう。これは、米国市場の評価と私たち自身の観察という2つの要素に基づいています。また、製品開発においては、機能を慌てて追加するのではなく、シンプルさを追求することが非常に重要です。

Q: AI時代に向けたスーパーアプリケーションはまだ登場していないようですが、多数のインテリジェントエージェントが徐々に均質化されつつあります。優れたAIアプリケーションを開発するための鍵は何だとお考えですか？

楊志林：実は、スーパーアプリは既に登場しています。ChatGPTは月間アクティブユーザー数が5億人を超えており、少なくとも半分はスーパーアプリと言えるでしょう。この点は既にほぼ実証済みです。Characterのような製品は当初は大規模なユーザーベースを有していましたが、コアユーザー層への拡大に苦戦しました。そこで、米国市場の状況と私たち自身の観察と判断に基づき、最も高い可能性を秘め、AGIビジョンに最も関連性の高いものに焦点を当てました。このアプローチを用いて事業と人員を管理し、コアとなるイノベーション能力の強化に真に注力しています。

Q: 事前トレーニングの状況はどうですか？スケーリング則が壁にぶつかり、減速し始めている今、この点に関して制限はありますか？

Yang Zhilin: 事前学習に関しては、半世代モデルから第一世代モデルに至るまで、まだ改善の余地があると考えています。この分野は来年リリースされる予定で、主要なモデルが事前学習を非常に高いレベルに押し上げると確信しています。しかしながら、今後最も重要なのは強化学習であり、そこではパラダイムシフトが起こると予測しています。しかし、それは依然としてスケーリングの問題であり、スケーリングしないという意味ではなく、単に異なる方法でスケーリングするだけでしょう。これが私たちの見解です。

スケーリング則は天井や上限を表すのかという質問がありましたが、私はそれについては比較的楽観的です。根本的な問題は、静的なデータセットを使用するというアプローチが、かなり単純で粗雑だったことです。強化学習では、人間がプロセスに関与することがよくありますが、可能な限り多くのデータをラベル付けすることはできませんし、あらゆる問題の特定の思考プロセスをラベル付けすることもできません。つまり、本質的にはAIを使って人間の入力を活用していることになります。例えば、100個のデータポイントにラベル付けするだけでも大きな効果が得られます。なぜなら、残りは依然として独立した思考プロセスだからです。このアプローチは、問題解決においてより頻繁に利用されるようになると思います。

実用面から見ると、確実性はかなり高いと思います。実際に動作させるまでのプロセスが重要なので、この方法で実現できる可能性は高いと思いますし、そのポテンシャルは非常に高いと考えています。

Q: ByteDance の子会社である Doubao との競争についてどのようにお考えですか?

楊志林：私たちは依然として、ユーザーに真の価値を提供する方法に焦点を当てています。競争そのものにはあまり焦点を当てたくありません。競争自体は価値を生み出さないからです。私たちの現在の中核課題は、より優れた技術と製品を提供し、ユーザーにとってより大きな価値を生み出すことだと考えています。私たちは、モデルの思考力と推論能力をどのように向上させ、それを通じてユーザーにより大きな価値をもたらすかに、より注力していきます。意図的に何か違うことをするのではなく、正しいことをすることです。なぜなら、誰かがAGIを実現できれば、それは非常に良い結果だと考えているからです。

Q: 現在、Dark Side of the Moon にとって最も重要な任務は何ですか?

Yang Zhilin: 中核となる課題は、リテンションを向上させること、あるいはリテンションを重要な指標として活用することです。リテンションは基本的に、テクノロジーの成熟度やレベルと正の相関関係にあると考えているため、現在、私たちにとって最も重要な課題です。

AGIはまだ初期段階にあると思います。もちろん、毎年大きな進歩はあります。昨年の製品を今年使ってみると、耐えられないと感じるかもしれません。しかし、先ほど申し上げた思考能力など、まだ多くの点が不十分です。インタラクションも十分ではありません。そのため、現時点でAGIが行えるインタラクションは、まだ比較的限られています。

このインタラクションには、ユーザーとのインタラクションと客観的な世界とのインタラクションという2つの側面があると考えられます。どちらにもまだ改善の余地があると考えています。この2つの側面を改善すれば、リテンションはさらに向上するでしょう。

Q: OpenAI o1モデルのリリース後、大規模モデルのパラダイムが学習時のスケーリングから推論時のスケーリングへと移行したとおっしゃっていました。この傾向を受けて、Dark Side of the Moonは技術面と製品面でどのような調整を行いましたか？

Yang Zhilin: O1の変化は実際には予測可能です。以前、推論が学習よりもはるかに大きな割合を占めると述べました。これは本質的に同じことを言っているのです。なぜなら、それは基本的に避けられないことだからです。分析すれば、必ず起こります。学習に十分なデータがない場合、必ずデータを生成する必要があります。そして、データを生成することは本質的に強化学習です。本質は同じです。

これはかなり以前から見られた現象だと思いますが、早期の事前学習のメリットの多くは十分には実現されていませんでした。そのため、Next-Token予測を通じてより多くのインテリジェンスを圧縮する方法に非常に興味があるかもしれません。

Q: ここでレイアウトを作成する予定はいつですか?

楊志林：昨年から人材育成に取り組み始めましたが、今後は様々なプロセスを経ていくことになるでしょう。例えば、当初はLHF、つまり標準的なLHFを使用していましたが、そのオンライン率はそれほど高くありませんでした。今後は、よりスケーラブルな新しい手法を模索する必要があるかもしれません。そういったプロセスが必要になると思います。

Q: 昨年、長文テキストが月面着陸への第一歩だとおっしゃっていましたが、数理モデルと深い推論はどのステップだとお考えですか？

楊志林：第二段階。

Q: 事前学習済みデータのスケーリングはボトルネックに達している可能性があります。このボトルネックは、中国と米国間の大規模モデルの動向にどのような影響を与えるでしょうか？中国企業にとって良いことでしょうか、悪いことでしょうか？

楊志林：私たちにとっては、良いことかもしれません。仮に事前学習を継続していて、予算が今年は10億ドル、来年は100億ドル、あるいは1000億ドルになったとしても、必ずしも持続可能とは限りません。もちろん、推論のためにはスケールアップも必要ですが、スケールアップの出発点が非常に低ければ、コンピューティングパワーが一定期間ボトルネックになることはないでしょう。この時点では、イノベーション能力の方が重要であり、今回のケースでは、イノベーション能力はむしろ私たちにとって有利になると考えています。