Step 3.7 Flashの紹介：大規模マルチモーダル推論

StepFunは、Basetenモデルライブラリにフラッグシップマルチモーダル推論モデル「Step 3.7 Flash」をリリースしました。このモデルは、効率的なスパースMoEアーキテクチャを採用し、総パラメータ数1980億のうち、トークンごとに活性化されるのはわずか110億です。これは、大規模なチームにおいて各リクエストが専門のサブセットによって処理され、ほとんどの「頭脳」が休止状態にあるようなものと考えることができ、極めて高い計算効率を実現します。

Step 3.7 Flashは画像や動画の入力をネイティブでサポートしており、視覚タスクのために別のモデルを用意する必要はありません。256kトークンのコンテキストウィンドウは大規模なコードベースなどの大きな入力を処理でき、低・中・高の3段階の推論レベルはコーディングやツール呼び出しなどのエージェントワークフローに適しています。これにより、ホワイトボードの写真をアクションプランに変換、データ可視化をクリーンなテーブルに変換、レシートをスプレッドシートに変換、スクリーンショットからコードを生成、画面録画を分析して問題を診断するなど、創造的なユースケースが可能になります。

BasetenはFP8量子化を適用し、各重みのビット幅を16ビットから8ビットに削減したことで、モデル重みはわずか198GBのメモリに収まりました。公式のvLLMレシピでは8台のH200またはB200 GPU（それぞれ1,128 GBおよび1,536 GBのメモリ）が必要ですが、Basetenでは4台のH100 GPUで運用可能です。これによりトークンあたりのコストが大幅に低下し、プロダクショントラフィックに十分なヘッドルームを確保しています。この最適化は、MoEによるスパース活性化（11Bパラメータのみ）、ハイブリッドアテンション（長い会話でもメモリフットプリントを抑える）、投機的デコーディング（複数のトークンを並列に予測しスループットを向上）に支えられており、4×H100がモデルを収容するだけでなく、本番環境のワークロードにも十分対応できることを意味します。

Step 3.7 FlashはBasetenモデルライブラリの専用推論デプロイメントとして利用可能です。デプロイ後、APIキーを生成し、StepFunのクイックスタートガイドに従って画像、動画、テキスト入力を処理できます。StepFunのBasetenモデルライブラリへの参加はエコシステムを豊かにし、チームがこのモデルを使ってどのような革新を生み出すか期待されています。