パキスタン通知ヘルパーの構築：ローカルな安全問題のための小さなAIツール
著者はHugging FaceのBuild Smallハッカソン向けに、パキスタンのローカルな安全性問題に焦点を当てたAIツール「パキスタン通知ヘルパー」を開発しました。このツールは小規模モデル（Qwen3.5 4B）を使用して不審なメッセージを分析し、リスクラベル、説明、安全な次のステップを提供します。英語とウルドゥー語に対応し、ウルドゥー語モードでは右から左へのレイアウトとウルドゥー語による評価を生成します。記事ではモデル選定、プロンプト、ウルドゥー語UI、Codexを使った迅速な開発に関する教訓を共有しています。
パキスタン通知ヘルパーは、Hugging Faceの「Build Small」ハッカソンのために構築されたAIツールで、パキスタンにおける非常にローカルな安全問題、すなわち人々が不審なメッセージを理解し、リンクをクリックしたり、電話をかけ直したり、OTPを共有したり、支払いを行ったりする前に安全な行動を取れるように支援します。
このアイデアは一般的な問題から生まれました。銀行、宅配業者、税務当局、交通警察、公共事業会社、携帯電話事業者、政府機関からのように見えるメッセージを人々は日常的に受け取ります。本物もあれば、詐欺も多くあります。難しいのはメッセージを読むことではなく、次に何をすべきかを知ることです。
このツールは信憑性チェッカーではなく、メッセージが本物か偽物かを主張しません。代わりにトリアージツールとして機能し、テキストまたはスクリーンショットを受け取り、リスクラベル、簡単な説明、明らかな危険信号、安全な次のステップを返します。
「Build Small」に適合する理由 このプロジェクトは「バックヤードAI」トラックに適合します。なぜなら、パキスタンにおける詐欺風の通知や不審なメッセージという具体的なローカル問題に焦点を当てているからです。大規模な汎用アシスタントを構築する代わりに、範囲が明確で、製品の動作が明確に定義され、インターフェースが実際のユーザー向けに設計されている場合に、小規模モデルがどこまで使えるかを探りたかったのです。
当初はより大きなQwenモデルをテストしましたが、最終的な本番選択はllama.cppを介したQwen3.5 4B Q8でした。10件の評価ケースにおいて、すべての高リスク詐欺ケースと両方のスクリーンショットケースに合格しました。これにより、小規模モデルの安全アシスタントとして実用的な選択肢となりました。
技術スタックは以下の通りです：Hugging Face Space（カスタムGradioフロントエンド）、キューイングされたGradioサーバーエンドポイント、Modalエンドポイント、CUDA llama.cpp、Qwen3.5 4B Q8 MTP GGUF + ビジョンプロジェクター。この小規模モデルスタックにより、テキストとスクリーンショットの両方を処理しつつ、ハッカソンの32Bモデル制限を下回ることができました。
アプリの機能 パキスタン通知ヘルパーは英語とウルドゥー語の両方をサポートします。これは最も重要な製品上の決定の一つでした。なぜなら、パキスタンの不審なメッセージは多くの場合、英語、ウルドゥー語、ローマ字ウルドゥー語、またはそれらが混ざった形で書かれるからです。
ウルドゥー語モードは単なる翻訳インターフェースではありません。ユーザーがウルドゥー語に切り替えると、アプリはレイアウトを右から左に変更し、見出し、ラベル、リスクカード、検証メッセージ、結果コントロールを翻訳し、さらにモデルに対して明確なウルドゥー語スクリプトで評価を生成するよう要求します。これにより、ユーザーは不審なメッセージを送信し、リスクラベル、説明、危険信号、安全な次のステップ、および必要に応じて返信ドラフトを含む完全な安全応答をウルドゥー語で受け取ることができます。
アプリは以下の警告サインを探します：緊急の脅威やアカウント停止の表現、OTP・PIN・パスワード・CVV・CNIC詳細・カードデータの要求、不審な支払いリンクや個人の電話番号、銀行・通信会社・宅配業者・税務当局・警察へのなりすまし、前払い金を必要とする賞品・返金・仕事・福利厚生など。
ツールはその後、不審なメッセージ内のリンクや電話番号を使う代わりに、独立して見つけた公式チャネルを通じて検証するなど、より安全な次のステップを提供します。
構築中の学び このプロジェクトは、小規模モデルでの構築は最高のベンチマークスコアを追求することよりも、品質、速度、コスト、製品の安全性の適切なバランスを見つけることにあると教えてくれました。
- 小規模モデルは範囲が明確なときに最も効果的
タスクが慎重に境界づけられている場合、小規模モデルが驚くほどうまく機能することを学びました。パキスタン通知ヘルパーは汎用の詐欺調査員である必要はなく、目に見えるリスクシグナルを特定し、過度に主張せず、安全な次のステップを提供する必要があります。そのため、製品範囲、プロンプト設計、出力契約はモデル自体と同じくらい重要でした。
- より大きなモデルから始める
最初はQwen3.6 27Bから始め、品質は素晴らしかったです。不審なメッセージを非常にうまく処理し、信頼性の高い説明を生成しました。問題はデプロイコストと実用性でした。モデルはより多くのVRAM、より大きなGPUマシン、コールドスタート時の回復時間を必要としました。トラフィックが不規則なハッカソンデモには理想的ではありませんでした。品質は95/100と評価しますが、品質だけでは十分ではありませんでした。
- より小さなローカルオプションのテスト
次に、より小さな視覚言語モデルMiniCPM-V 4.6 Q8を試しましたが、うまくいきませんでした。GPU上で非常に遅く、ZeroGPUで実行しようとするとクォータとランタイムの問題に直面しました。インターフェースがまだ約35分のクォータが残っていると表示していても、アプリは信頼性が低くなりました。その後Modalを介してデプロイしましたが、モデルの品質は十分ではなく、テストケースの多くに失敗したため断念しました。
- 「ゴルディロックス」モデルの発見
Artificial Analysisの小規模モデルランキングを調べ、このプロジェクトに最適なモデルを見つけました：Qwen3.5 4Bです。Build Smallの精神に合うほど小さく、アプリ体験に十分な速さで、必要な安全動作を実現できる能力がありました。Qwen3.6 27Bと比較すると、このタスクでは80/100程度と評価しますが、トレードオフは理にかなっていました。4Bモデルはサービスコストが低く、読み込みが速く、デプロイが容易で、小規模なModalマシンでも実用的でした。
- プロンプティングと出力契約が重要
初期のバージョンでは問題がありました。思考モードが500トークンの出力予算を消費してしまい、本番では無効にしました。密度の高いローマ字ウルドゥー語のスクリーンショットが補完制限に達したため、画像リクエストにはより大きなトークン予算を割り当てました。別のモデル応答が未検証の公式に見えるドメインを提案したため、システムプロンプトを更新して捏造されたURL、電話番号、組織、事実を禁止しました。これらの修正によりシステムはより安全で予測可能になりました。
- ウルドゥー語UXには実際の製品作業が必要
ウルドゥー語インターフェースは予想以上に多くの作業を必要としました。直訳は不自然に聞こえ、一部の見出しでは異なる行高が必要でした。ウルドゥー語とラテン語のモデル名が混在すると予期せず並び替えられることがありました。モバイルコントロールは特に右から左のレイアウトでより多くの垂直スペースを必要としました。また、バンドルされたNastaliqウェブフォントをテストしましたが、単体では美しいものの、製品UIでは可読性を低下させたため削除し、改善されたウルドゥー語コピーとRTLレイアウトを維持しつつシステムアラビアフォントスタックに戻しました。
- 主な教訓
最終的な教訓は、製品に最適なモデルは必ずしも最大のモデルではないということです。このプロジェクトでは、Qwen3.6 27Bが最高の生の品質を提供しましたが、Qwen3.5 4Bが最高の製品バランスを提供しました。このトレードオフこそが、このプロジェクトがBuild Smallに適していると感じさせた理由です。
Codexを使用した構築 Codexはプロジェクト全体で迅速な開発を支援しました。パキスタン通知ヘルパーは単純なモデルデモではなく、カスタムフロントエンド、Gradioバックエンド、Modalホストのllama.cppサーバー、スクリーンショット対応、ウルドゥー語モード、テスト、ドキュメント、安全な出力パイプラインを必要としました。Codexはコード生成ツールとしてだけでなく、エンジニアリングコラボレーターとして使用しました。
特に有用だったのは、Gradio Serverを介してHugging Face Spacesとの互換性を保ちながら、カスタムHTML、CSS、JavaScriptインターフェースを構築することでした。デフォルトのGradioコンポーネントレイアウトの代わりに、アプリはGradioのキューイングされたAPIルートとSSEプロトコルと通信するプロダクトスタイルのフロントエンドを使用しています。これにより、最終的なSpaceは標準的なモデルプレイグラウンドではなく、実際のローカル安全ツールのように感じられるものになりました。
プライバシーセーフなトレース また、プライベートユーザーコンテンツを公開せずにアプリの使用方法を理解できるように、オプションのパブリックトレース機能を追加しました。トレースオプションはアプリ内で表示され、各リクエストの前に無効にできます。有効にすると、完全なユーザーメッセージやスクリーンショットではなく、限られたリクエストレベルのメタデータのみを記録します。テキストは編集され上限が設定され、画像は固定された要約で表現され保存されません。トレースは生のスクリーンショット、リンク、識別子、生成された説明、返信ドラフト、エラー、資格情報、およびプライベート詳細を誤って繰り返す可能性のある自由形式のモデル出力を除外します。
結果 小さな評価スイートは現実世界の精度推定ではありませんが、回帰テストに有用でした。最終評価：初期厳格合格9/10、平均スコア89.5/100；最終回帰合格10/10、平均スコア100/100；高リスク詐欺ケースとスクリーンショットケースはすべて合格。最も重要な結果はスコアそのものではなく、範囲が明確な4Bモデルが必要な安全動作を維持できたことです。