Taxbit は、2018 年に設立されたデジタル資産の税務および会計コンプライアンスプラットフォームです。取引所、決済サービス、ブローカーなどの企業が、大規模に損益を計算し、税務書類を収集し、情報申告書を提出するのを支援しています。現在、企業ダッシュボードに埋め込まれた引用付きで権限認識型の AI アシスタントである Taxbit Assist が、コンプライアンスチームが製品内で直接回答を見つけるのを支援しています。以前は、ダッシュボードをうまく使うために必要な知識が公開ウェブサイト、API ドキュメント、ヘルプセンターの記事に散在しており、かなりの部分がまったく文書化されていませんでした。顧客が「このフォームステータスはどういう意味ですか?」と尋ねると、自分で調べるかサポートチケットを提出するしかありませんでした。Taxbit の内部本番分析によると、現在では Assist に質問したユーザーの 55% 以上が 24 時間以内に再び質問しています。
この記事では、Taxbit が Amazon Bedrock AgentCore 上で Taxbit Assist をどのように構築したかを共有します。AgentCore は、任意のフレームワークやモデルでエージェントを大規模に構築、接続、最適化するためのプラットフォームです。アーキテクチャ、規制対象顧客に提供できる信頼性の高い回答を実現した検索作業、安全性とデータレジデンシーの処理方法、およびライブ本番トラフィックで回答品質を継続的に測定する方法を説明します。
このドメインでは汎用チャットボットは選択肢になりませんでした。4 つの制約が構築方針を形作りました。第一に、回答は根拠に基づき引用付きであること。ユーザーは申告の意思決定を行うため、すべての回答はユーザーが開いて読めるソースに遡れる必要があり、知らない場合はそう伝える必要があります。第二に、ロールと組織の認識。サポートユーザーを管理者専用のワークフローに案内したり、アクセスできないページに送ったりしてはいけません。第三に、税務アドバイスをしないこと。Taxbit が原価基準をどのように計算するかを説明するのは製品ドキュメントですが、どの方法を選択すべきかを伝えるのは税務アドバイスです。その境界は狭いです。第四に、地域データレジデンシーのサポート。単一のコードベースからサポートし、本番で継続的に品質を測定します。
Taxbit Assist は、AI マネジメントシステムの国際標準である ISO/IEC 42001 に沿って開発・運用されています。Taxbit は ISO/IEC 27001 および ISO/IEC 27701 の認証も取得しており、SOC 2 Type II レポートを保持しています。Taxbit はモデルをトレーニングまたはファインチューニングせず、Amazon Bedrock もプロンプトや補完をモデルのトレーニングに使用しません。また、Taxbit は小規模チームであるため、エージェントループ、会話状態ストア、セッション分離を自社で構築・運用する代わりに、Amazon Bedrock AgentCore を選択しました。その理由は、マネージドエージェントランタイムがインフラ運用を排除し、組み込みの AgentCore メモリが別個の会話状態ストアを不要にし、セッションごとの分離が各ユーザーのコンテキストを封じ込めるからです。これにより、ほとんどの労力を検索と安全性の作業に注力できました。
Taxbit Assist は、AgentCore ランタイム上で動作する Strands Agents SDK アプリケーションです。ユーザーがダッシュボードで質問すると、ストリーミングチャット API が検証済みの ID(メール、組織 ID、ダッシュボードロール)とともに質問を AgentCore ランタイムに転送します。ランタイムはまず Amazon Bedrock Guardrails で受信メッセージをスクリーニングします。個人識別情報(PII)はその場でマスクされ、メッセージがブロックされた場合はモデルが呼び出されることはありません。次に、エージェントは Amazon Bedrock Knowledge Bases の知識ベースから候補パッセージを取得し、サーバー側で再ランク付けします。知識ベースは Amazon Bedrock のフルマネージド RAG 機能を使用し、Amazon S3 Vectors でバックアップされています。Amazon Bedrock モデルは取得したパッセージを推論し、ワークフローを推奨する前にユーザーが関連機能とロールにアクセスできることを確認します。回答はソースリンクとともにダッシュボードにストリーミングされ、AgentCore メモリがターンをまたいで会話を維持します。すべてのリクエストは OpenTelemetry トレースを Amazon CloudWatch に送信し、評価ツールに供給します。
エージェントランタイムは小さな Python アプリケーションです。システムプロンプト、モデル、8 つのツールで構成されます。ARM64 コンテナイメージとして提供され、AgentCore ランタイムが Amazon ECR からプルしてオンデマンドでスケールします。ツールは意図的に狭く設計されています。知識ベース検索が主要ツールです。2 つのアクセスチェック(組織の権利とユーザーのダッシュボードロール)があります。4 つのサポートチケットツール(呼び出し元自身のチケットの作成、一覧表示、更新、クローズ)があります。日未満の精度が必要な稀な質問用に現在時刻ツールがあります。このバージョンでは、エージェントは顧客の税務データへの読み取りアクセス権を持ちません。製品知識から回答し、実行できる書き込みは呼び出し元自身のサポートチケットのみです。
すべてのツールを支える重要なセキュリティ上の決定は、モデルが ID を扱わないことです。ユーザーのメール、組織 ID、ロールは信頼できる呼び出しサービスから取得され、モデルがそれらを見る前にクロージャを介して各ツールにバインドされます。モデルは権限をチェックするかどうかを決定できますが、誰の権限をチェックするかは決定できません。ID はモデルが設定できるパラメータではないからです。ユーザー入力は境界でサニタイズされるため、プロンプトインジェクションが信頼されたコンテキスト行を模倣することはできません。エージェントは Amazon Bedrock を通じて基盤モデル(FM)を実行し、クロスリージョン推論プロファイルを介して呼び出します。
地理認識推論はデータレジデンシーを処理します。推論プロファイル ID にはデプロイリージョンから派生した地理プレフィックスが含まれるため、EU デプロイは EU 内で推論を維持し、米国デプロイは米国に留まります。推論を正しい地理に保つことに加えて、BYOK(Bring Your Own Key)モデルもサポートしています。BYOK アカウントでは、会話履歴やクライアントデータを保持するその他のストアは、顧客自身の AWS KMS キーで暗号化されます。アプリケーション推論プロファイルはコストの可視性を処理します。各デプロイはシステム推論プロファイルをタグ付きアプリケーションプロファイルでラップするため、すべてのモデル呼び出しにコスト配分タグが付き、AWS Cost Explorer でワークロード別に表示されます。Amazon Bedrock プロンプトキャッシュはレイテンシとトークンコストを削減します。システムプロンプトはすべてのリクエストでバイト単位で同一で、キャッシュチェックポイントで終わるため、静的プレフィックスがユーザー間でキャッシュされます。リクエストごとのコンテキストはユーザーメッセージで渡されます。
エンジニアリングの大部分は知識ベースに注がれました。Amazon S3 Vectors でバックアップされた Amazon Bedrock 知識ベースで、Cohere Embed English v3 を使用して 1024 次元の float32 ベクトルを生成し、コサイン距離で比較します。すべてマネージドであるため、運用するベクトルデータベースはありません。コンテンツは 3 種類のソースから流入し、それぞれが単一の Amazon S3 バケットの独自のプレフィックスに配置されます。公開コンテンツが最初です。公開ウェブサイト、API ドキュメント、ヘルプセンターの記事がスケジュールされた AWS Lambda 関数によってクロールされます。サイトマップの lastmod タイムスタンプとコンテンツハッシュにより、通常の実行では前回以降に変更されたものだけに触れます。範囲設定は予想以上に重要でした。サイトマップには約 400 以上の URL がありますが、回答生成コーパスに入るのは約 70 のみで、/blogs/ だけで 300 以上のマーケティングページを占めます。これを含めると、キャンペーンコンテンツがヘルプセンターと競合してコンプライアンス質問の引用元になります。これを除外することは、モデル作業をまったく必要としない、最も価値のある検索変更の 1 つでした。2 番目のソースはあまり一般的ではありません。Lambda 関数が製品ソースコードを読み取り、ダッシュボードルート、権限ゲート、フォーム適格性ロジック、レポート構成をカバーする Markdown ドキュメントを生成します。これにより、他のどこにも存在しない製品の真実が捕捉され、コード自体から再生成されるため最新の状態に保たれます。3 番目のソースは厳選されたコンテンツです。手書きの記事と承認された修正が、自動ソースでカバーされないギャップを埋めます。Amazon EventBridge は夜間と週次のずらしたケイデンスでクロールをスケジュールし、各スクレーパーは変更があった場合にのみ取り込みジョブをトリガーします。9 つのスクレーパーを S3 サブプレフィックス(product-public/、product-internals/、curated/)で 3 つのアンブレラデータソースにグループ化し、関連コンテンツをまとめています。
チャンキングでは、セマンティックチャンキングを選択しました。これは検索テストで固定サイズチャンキングを上回りました。しかし、ドキュメントの途中から抽出されたチャンクは、ドキュメントの主題のコンテキストを失います。税務レポートでは、そのコンテキストが答えの全体であることがよくあります。非米国申告制度にのみ適用されるパッセージが、IRS Form 1099 に関する質問に対して返された場合、積極的に誤解を招きます。これを修正するために、知識ベースのカスタム変換フックを使用して POST_CHUNKING Lambda 関数を実行し、各チャンクの前にドキュメントの H1 タイトルとリード段落(通常はコンテンツの適用範囲を示す)を付加します。プレフィックスは約 128 トークン(タイトル 80 文字、スコープ 300 文字)に制限されます。Cohere Embed English v3 は入力あたり最大 512 トークンを受け入れるため、チャンク本文は 384 に制限され、ヘッダーと本文が一緒にウィンドウに収まります。本番プローブでは、チャンクの約 28% が 385~512 の範囲にあり、末尾がサイレントに切り捨てられることがわかりました。これは最も影響の大きい検索変更でした。チャンクはドキュメントの最初のチャンクにのみ存在するのではなく、独自のスコープをベクトルインデックスに持ち込むようになりました。実用的な注意点が 2 つあります。第一に、Amazon Bedrock では変換の中間ストレージをデータソースバケットとは別のバケットにする必要があります。同じバケットの別のプレフィックスは拒否されます。第二に、既存のデータソースでカスタム変換を有効にすると置換が強制されるため、インプレース変更ではなく完全な再取り込みを計画する必要があります。
クエリ時には、パイプラインは過剰取得してから剪定します。質問 → ベクトル検索(75 候補)→ 同じ Retrieve 呼び出し内でサーバー側の Cohere Rerank 3.5 → 再ランク付けされた上位 12 → ソースドキュメントごとに最大 2 チャンク → モデルに渡される上位 5。リランカーは Amazon Bedrock 内で同じ Retrieve 呼び出しの一部として実行されるため、余分なサービスホップはありません。75 候補のプールを広く保つのは、権威ある記事がベクトルランク 20~50 に位置し、プールに入ってから初めて再ランク付けで上位になることがよくあるためです。ドキュメントごとの上限は、1 つの重くチャンクされたページがすべてのスロットを埋めるのを防ぎます。引用の適格性は、プロンプト命令ではなくコード内のソースタイプによって強制されます。引用可能なのは 3 つの公開ソースのみです。それらの URL だけが顧客が開けるものに解決されるからです。コード派生コンテンツと厳選コンテンツは回答の根拠となりますが、顧客がフォローできないリンクは生成しません。
安全性とデータ処理では、3 つの境界が 1 つのテナントのデータを別のテナントのセッションに入れないようにします。知識ベースにはテナント固有のコンテンツは含まれません(公開ドキュメント、コード派生物の製品リファレンス、厳選記事のみ)。権利とロールチェックツールは、すでに認証されたサービスから呼び出し元の組織とメールを取得するため、モデルはその範囲を広げることはできません。