Show HN: セルフホスト型AI – 視覚・Minecraft操作・反応を備えたAI

Wallieは、従来のAIストリーマーの限界を打破する、オープンソースのAIストリーマーです。他のAIが短い台詞と不自然な間で視聴者を飽きさせるのに対し、Wallieは数分にわたって思考を展開し、画面の内容に人間らしい反応を示し、1時間前の話題も覚えています。その秘密は、独自の「ロールサマライザー」と「重複排除エンジン」にあります。約14セグメントごとに過去の履歴を圧縮したメモをプロンプトに注入することで、コンテキストウィンドウの制限を回避。さらに、言い回しの類似性を検出して同じ内容の繰り返しを防ぎます。v2.0の最大の目玉は、Minecraftを自律的にプレイできることです。Wallieは目標を設定し、Baritoneで経路探索、カスタムFabric MODでクラフトや戦闘を行います。カメラの動きも自然で、プレイ中の実況は実際のインベントリや体力に基づいており、まるで人間がプレイしているかのような臨場感を提供します。視覚に関しては、一人称視点で画面を「自分の行動」として扱い、ゲーム中なら「やられた！」、ブラウジングなら「これを開こう」と自然に反応します。注意力エンジンにより、すべての画面変化に反応するのではなく、深く反応するものとスルーするものをバランスよく選択します。聴覚機能も充実しており、システム音声をキャプチャして音楽や発話に反応。ローカルの音声認識と数値計算ベースのDSP解析で、楽曲の調性やテンポ、楽器の質感まで理解します。視覚と聴覚の情報は統合され、矛盾のない一つの反応を生成します。さらに、Live2Dアバターは6つのアニメーションレイヤーを同時に制御し、リップシンクや自然なまばたき、感情表現を行います。すべての機能はブラウザ上のダッシュボードから設定可能で、完全にオフラインで動作させることもできます。Wallieは単なる技術デモではなく、実際に長時間の配信に耐えうるエンターテインメントAIです。6つのLLMプロバイダー、3つのTTSエンジン、3つのチャットプラットフォームをサポートし、自由に組み合わせ可能。ペルソナシステムでは、名前だけでなく、エネルギーレベル、ユーモアスタイル、口癖、タブーな話題などを詳細に設定でき、強い意見を持たせることもできます。長時間の配信では、ロールサマライザーとセッションノートで文脈を維持し、重複を排除。ムードエンジンとアテンションエンジンにより、自然で流暢な配信を実現します。これらすべての機能が、視聴者を飽きさせない本物のストリーマー体験を提供します。