Machine Learning Mastery

この記事では、大きなコンテキストウィンドウがエージェントの記憶と同じではない理由と、検索、圧縮、要約の技術がエージェントの認知スタックでどのように連携するかを説明し、真の記憶の永続化を実現する方法を紹介します。

大規模言語モデルの埋め込みとHDBSCANを組み合わせて、ラベルなしテキストデータから自動的にトピックを発見するテキストクラスタリングパイプラインの構築方法を紹介。埋め込み生成、UMAPによる次元削減、HDBSCANによるクラスタリングを解説。

この記事では、Playwright、browser-use、LangGraphを使用して、実際のWebサイトを閲覧・操作できるAIエージェントをPythonで構築する方法を解説します。トピックは、PlaywrightがSeleniumよりも優れている理由（30～50%高速、永続的WebSocket、内蔵自動待機、リアルなイベント）、環境設定手順、動的ページのスクレイピング、複数ステップのフォーム入力、アンチボット検出対策、セッション永続化、Dockerへのデプロイです。コード例を通じて、Webサイトをナビゲートし、フォームに記入し、構造化データを抽出し、LLMで意思決定を行う実用的なブラウザエージェントを作成します。

Scikit-LLMとGroq APIを介して提供されるオープンソースの大規模言語モデルを使用して、セットアップからIMDBデータセットでの評価まで、感情分析パイプラインを構築する方法を学びます。

ローカル実験から本番AIシステムへの移行には、Pythonの書き方の転換が必要です。本記事では、ジェネレータと遅延評価、コンテキストマネージャ、非同期プログラミング、データクラスとPydantic、マジックメソッドの5つの重要な概念を紹介します。

本記事では、Scikit-LLMと大規模言語モデルを活用し、ラベル付き学習データなしでマルチラベルテキスト分類を実行する方法を紹介します。Groqが提供する無料のオープンソースLLMをゼロショット推論に使用し、scikit-learnライクなワークフローを実現します。セットアップ、分類器の初期化、go_emotionsデータセットの読み込み、複数の感情ラベルをテキストに割り当てる予測手順を解説します。

この記事では、Transformers.jsを使用してブラウザ内で完全に実行されるマルチモーダルAI機能（画像分類、画像キャプション、音声文字起こし）を構築する方法を説明します。サーバーやAPIキーは不要で、ユーザーのデバイスからデータが外部に出ることはありません。詳細なコード例とプロジェクト構成が含まれています。

AgentOpsは、自律型AIエージェントを本番環境で運用するためのフレームワークであり、可観測性、評価、コストガバナンス、安全性、継続的改善の5本柱をカバーします。本ガイドでは、AgentOpsが従来のLLMモニタリングとどのように異なるか、ツールエコシステム、完全な動作コード例、およびセッションリプレイを使用したエージェント障害のデバッグ方法を説明します。

この記事では、OllamaとScikit-LLM Pythonライブラリを使用して、Llama 3、Mistral、Gemmaなどのローカルでホストされたオープンソース大規模言語モデルを無料でテキスト分類に利用する方法を学びます。

本記事では、TF-IDF＋ロジスティック回帰、ゼロショットBART、GroqのLLMを用いたScikit-LLMの3つのテキスト分類手法をベンチマークしました。合成カスタマーサポートデータセットにおいて、Scikit-LLMは最高精度（87%）を達成し、BARTよりも低レイテンシでした。少量データで深い言語理解が必要なタスクに最適です。

本記事では、オブザーバビリティ、評価、コスト管理、エージェントオーケストレーションをカバーする構造化された6ステップのLLMOpsロードマップを紹介し、本番環境向けLLMシステムの構築方法を解説します。LLMOps市場は2024年の19.7億ドルから2028年には49億ドルに成長する見込みです（CAGR42％）。

この記事では、長期実行AIエージェントのためのコンテキストプルーニングパイプラインを実装し、セマンティック類似性を使用して対話メモリを効率的に管理する方法を説明します。センテンストランスフォーマー埋め込みモデルの使用、類似度の計算、プルーニングされたコンテキストウィンドウの構築をカバーしています。

本記事では、大規模言語モデルにおけるlogits、温度、top-pサンプリングがどのように連携して次のトークン予測を制御するかを詳しく解説します。logitsの役割、温度とtop-pが確率分布に与える影響、そしてそれらが順次パイプラインを形成する仕組みを説明します。実際のユースケースに応じたパラメータ値の選択に関する実践的なアドバイスも提供します。

この記事では、基本的なツール呼び出しスクリプトを、誤動作するツール、不正なモデル出力、利用不可なサービスに対して優雅に障害処理を行う堅牢なエージェントに変える方法を学びます。反復エージェントループ、ツール呼び出しの4つの障害カテゴリ、モデルが回復するための情報豊富なエラーメッセージの設計について説明します。

本記事では、BM25によるレキシカル検索とセマンティック検索を組み合わせ、Reciprocal Rank Fusion（RRF）でランキングを融合するハイブリッド検索戦略をRAGシステムに実装する方法を説明します。Pythonコードを用いたステップバイステップの実装、データセットの読み込み、BM25およびセマンティック検索関数の作成、ハイブリッド検索の統合を紹介します。小規模データセットでの実験では、単独の手法よりも優れた結果が得られました。

この記事では、埋め込みベースの類似性と構造化メタデータフィルタリングを組み合わせたコンテキスト認識セマンティック検索エンジンの構築方法を、埋め込みの生成からインデックスの永続化まで解説します。

非決定論的エージェントとは、同じ入力に対して複数回の実行で異なる出力が得られるエージェントです。本記事では、統計的ガードレールを使用してそれらの動作を監視・評価し、信頼性と安全性を確保する方法について説明します。

本記事では、エージェンティックRAG（検索拡張生成）を初心者、中級者、上級者の3つの難易度レベルで説明します。基本概念、技術アーキテクチャ、最先端の研究をカバーし、自律的な意思決定によって従来のRAGを強化する方法を理解するのに役立ちます。

Googleは、大規模言語モデル（LLM）およびベクトル検索エンジンに高度な量子化と圧縮を適用するための新しいアルゴリズムスイートおよびライブラリ「TurboQuant」を発表しました。これはRAGシステムに不可欠な要素です。

Pydantic AIフレームワークを使用して、構造化出力、カスタムツール、依存性注入、Web検索や拡張推論などの組み込み機能を備えた本番環境対応のAIエージェントをPythonで構築する方法を学びます。

本記事では、コンテキストウィンドウを制約のあるリソースとして扱い、静的・動的コンテキストの分離、会話履歴の管理、検索の予算設計、本番環境での品質評価を通じて、AIエージェントの信頼性、コスト効率、精度を向上させる方法を解説します。

本記事では、Scikit-LLMライブラリのテキスト要約機能を使用して、機械学習パイプラインで大量のテキストを処理する方法を紹介します。カスタムトランスフォーマーでHugging Faceの事前学習済み要約モデルを統合し、scikit-learnパイプラインに組み込んで、長文から分類までのエンドツーエンドのフローを実現します。

この記事では、インターネット接続やAPI費用を必要とせず、自分のマシン上で完全にローカルに動作するAIエージェントを小型言語モデル（SLM）を使って構築する方法を解説します。AIエージェントとSLMの概念、ローカル実行の利点、OllamaとLangChainのセットアップ、エージェントの段階的構築、メモリとツールの追加、そしてSLMの限界について説明します。

このガイドでは、Scikit-learn 分類器のトレーニング、FastAPI を使用した推論サーバーの構築、ローカルテスト、FastAPI Cloud へのデプロイまでを詳しく説明します。乳がんデータセットとランダムフォレストモデルを使用します。

この記事では、AIエージェントのメモリを3つの難易度で説明します。ステートレスなLLMエージェントの根本的なメモリ問題、主要なメモリタイプ（コンテキスト内メモリ、外部メモリ）、そしてスケーラブルなアーキテクチャ（書き込み戦略、検索方法、減衰処理、マルチエージェントの一貫性）について解説します。時間とともに改善するエージェント構築のための実践的な洞察を提供します。

ゼロショットテキスト分類は、タスク固有のトレーニングデータなしでテキストにラベルを付ける方法であり、ラベルを自然言語のステートメントに変換し、事前学習済みモデルがテキストがそのステートメントをサポートするかどうかを判断します。この記事では、その仕組み、facebook/bart-large-mnliを使用した単一ラベルおよびマルチラベル分類、カスタム仮説テンプレートによるパフォーマンス向上について説明します。