2026-05-27 21:00 UTC+9要約のみ更新: 2026-06-30 22:03 UTC+9

トークン選択の統計：Logits、温度、Top-Pの解説

本記事では、大規模言語モデルにおけるlogits、温度、top-pサンプリングがどのように連携して次のトークン予測を制御するかを詳しく解説します。logitsの役割、温度とtop-pが確率分布に与える影響、そしてそれらが順次パイプラインを形成する仕組みを説明します。実際のユースケースに応じたパラメータ値の選択に関する実践的なアドバイスも提供します。

ソースMachine Learning Mastery著者: Iván Palomares Carrascosa

誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

Logitsはトランスフォーマーの最終線形層から出力される生の非正規化スコアであり、softmaxにより確率に変換される。
温度はsoftmaxの前にlogitsをスケーリングし、ランダム性を制御する：高温度は分布を平坦化して創造性を高め、低温度は分布を鋭くして決定論性を高める。
Top-p（核サンプリング）は、累積確率が閾値pを超えるトークンに候補プールを制限し、適応的な制御を提供する。
3つのコンポーネントは順次動作する：logits生成 → 温度スケーリング → softmax → top-pフィルタリング → サンプリング。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。