JioStarは5億人以上の消費者に利用されるエンターテインメントとライブスポーツのプラットフォームを運営し、最大7,250万人の同時ライブスポーツ視聴者をサポートしたことがあります。この規模では、AIは高速で信頼性が高く、本番環境に対応している必要があります。
OpenAI APIを使用して、JioStarはJioHotstarに会話型ビデオおよびクリケット統計発見アシスタントを構築しました。視聴者は自然に話しかけて映画や番組、歴史的なハイライト、ライブ試合の瞬間、またはクリケット統計を見つけることができ、結果は視覚的で会話的な体験を通じて返されます。
OpenAIのシンガポールでのエグゼクティブサミットで、OpenAIのASEAN担当Go-to-Market責任者であるSidharth Sharma氏が、JioStarのチーフアーキテクトであるVijay Seshadri氏と、15言語以上で約8週間でこの体験を構築した方法と、AIをデモから本番へ移行するリーダーへの教訓について話しました。
コンテンツ発見は過去25年間ほとんど進化していません。レコメンデーションが最後の大きな変化でした。その後の多くは同じアイデアの反復です。しかし、何を見るかを選ぶことは非常に個人的です。人は「悲しい気分だ。気分を上げてくれるものを見せて」と言うかもしれません。そのような単純なリクエストにも多くのニュアンスが含まれています。どんな悲しさか?通常その人を元気にするものは何か?コメディ、慰めの視聴、それとも完全に気をそらすものが欲しいのか?従来のレコメンデーションシステムはその瞬間を理解するのに苦労するかもしれません。会話は視聴者にそれを説明する方法を提供します。彼らはこれを音声視覚インターフェースと呼んでいます。
Seshadri氏は「コンテンツ発見は本質的に視覚的ですが、それらの視覚的オプションを音声の好みと会話と組み合わせることで、強力な新しいパラダイムが生まれます」と述べています。
彼らは10月と11月にコンセプトの作業を開始し、2月に主要なクリケットトーナメントが控えていました。約2か月と、エンターテインメント視聴者とクリケットファンという2つの非常に異なるオーディエンスがいました。エンターテインメント視聴者は「金曜の夜だから驚かせて」と言ったり、タイトルを知らずに映画を説明したりするかもしれません。スポーツ視聴者は、ウィケットの落下、連続するシックス、または選手が特定の得点をした試合など、より具体的な更新を望むかもしれません。クリケットの専門家は毎球の統計を望むかもしれません。これらは非常に異なる発見の問題です。彼らは短時間でエンターテインメント、スポーツの瞬間、詳細なクリケット統計を1つの体験にまとめ、複数言語で提供しました。
早い段階で、問題を精度、遅延、コストの三者のトレードオフとして枠組みしました。すべてのエンジニアリング上の決定は、これら3つを同時にバランスさせる必要がありました。音声はこれを特に重要にしました。ユーザーの60%以上がテキストではなく音声を使用しています。人々は見たいものを話すことを好みます。応答は依然として関連性があり、高速で、大規模に経済的に実行可能でなければなりません。
Seshadri氏は「陳腐に聞こえるかもしれませんが、答えは評価、評価、評価です。このようなアプリケーションを初めて構築する場合、準備ができていると思っていても、評価の重要性を過小評価するでしょう」と述べています。
彼はそれを2つの部分で考えています。評価フレームワークと検証レイヤーです。本番前に、評価フレームワークはプロンプトの変更を促すべきです。本番では、フィードバックループが顧客の行動と失敗を新しい評価ケースに変えるべきです。このフライホイールは自己増幅的になり得ますが、正しくするのは非常に困難です。領域の専門家が不可欠です。スポーツ統計の評価では、熱心なファンが何を尋ねるかを理解しているスポーツ雑誌の編集者などと協力しました。プロンプトだけから始めることはできません。深い人間の専門知識でシステムをシードする必要があります。
彼らが正しく行ったことの1つはチームです。彼らはデータサイエンティストとエンジニアの小規模なチームを明確な問題声明の周りに集めて始めました。OpenAIのフォワードデプロイエンジニアが彼らと並んで働き、絶対に正しくしなければならないいくつかのことをさらに特定しました。最初はスコープです。音声またはテキストインターフェースではユーザーがほとんど何でも尋ねることができるため、システムが答えるべきでないことを決定することから始めました。ガードレールが最初でした。
評価については、シードデータセットから始め、モデルを使用してより多くのバリエーションで拡張しました。彼らは現在メーカー・チェッカーパターンと呼ばれるものを作成しました。1つのモデルが質問への答え方を決定するのを助け、別のモデルが検証者として機能しました。競合する目的を持つLLM as judgeです。これにより別の疑問が生じました。誰がジャッジをテストするのか?検証者の設計自体が評価問題でした。Codexは評価ケースの生成やシステムの更新などの作業を加速するのに役立ちましたが、より速い構築は判断と検証の必要性を排除しませんでした。
Seshadri氏は、モデル有効性の本番監視にもっと早く投資することを勧めています。P99遅延などの従来のインフラストラクチャ指標は依然として重要ですが、十分ではありません。本番環境でモデルの有効性も監視する必要があります。
第一に、テクノロジーができることと企業内の現実の間には大きなギャップがあります。あなたの会社がすべてのフロンティアモデルの発表に追いついていなくても、あなただけではありません。第二に、活動ではなく成果に焦点を当て続けてください。目に見える動きを意味のある進歩と誤解しやすいです。特に企業が入力指標を強調する場合。たとえば、生成されたコード行数は、意味のある価値を創造したかどうかを教えてくれません。Seshadri氏は「私はAIを企業のための大規模な簡素化ハンマーと見ています。ビジネスプロセス、ワークフロー、ソフトウェアエンジニアリングシステムを簡素化するためにそれを使わなければ、それは大きな無駄な機会になるでしょう」と述べています。
最後に、ほとんどの企業は必要な人間のスキルと主体性を過小評価しています。これは一般的なスキルアッププログラムだけではできません。リーダーはこれらのツールを判断力を持って適用できる人材を必要としています。強力なエンジニアにCodexのようなツールを与えると、影響は倍増する可能性があります。本番システムを検証する判断力がなければ、リスクも倍増します。あなたはロケットを手にしています。特に本番システムでは、検証とガードレールが必要であり、適切な人に鍵を渡す必要があります。