Jetsonでデュラブルストリームを介したローカルAIの提供

著者はNVIDIA Jetson Orin Nano SuperとKokoro-82Mモデルを使用してローカルテキスト読み上げアプリStreamTTSを構築し、従来のリクエスト・レスポンスではなくデュラブルストリーム（S2）を採用することで、共有可能でリアルタイム更新可能な音声生成を実現し、遅い推論、公平なスケジューリング、重複排除に対処しました。