オートコンプリートからエンジニアリングされた知能

大規模言語モデル（LLM）は思考するのではなく、単に次の単語（トークン）を予測するだけです。しかし、プロンプト、RAG、ツール使用、温度調整といったエンジニアリングの工夫により、テキストからSQLへの変換、コーディング、創薬などの複雑なタスクを解決できます。この記事では、制約がトークン予測を導く仕組み、LLMのステートレス性、API統合、RAGアーキテクチャについて解説します。