ベイズ最適化（Bayesian Optimization）は、高コストなブラックボックス最適化問題に広く利用されている手法であり、特に機械学習のハイパーパラメータチューニングや自動機械学習の分野で重要な役割を果たしています。しかし、その成否は多くの場合、目的関数の未知の構造に適合するカーネル関数の選択に依存しています。従来のガウスカーネルやマターンカーネルは良好な平滑性仮定を持つものの、異なる平滑度や鋭い不規則性を含む目的関数に対しては理想的なモデリング能力を提供できない場合があります。この核心的な課題に対し、Weibo Huang氏と共同研究者は、ALAS（Additive Learnable Alpha-Stable Kernels）と呼ばれる新しいガウス過程カーネル関数族を提案し、革新的な解決策を提供しています。
ALASカーネル関数族の基盤は、対称α安定スペクトル成分です。α安定分布は、裾野が重い性質を持つ分布族であり、その安定パラメータαが分布の裾の重さを制御し、結果として確率過程の標本経路の平滑度に影響を与えます。この性質をガウス過程のスペクトル表現に取り入れることで、ALASはパラメータαを学習し、データから最適な有効平滑度を適応的に決定できるようになります。これにより、目的関数の滑らかな傾向と鋭い不規則性の両方を同時に捉えることが可能です。この柔軟性により、ALASは事前知識なしに複雑な目的関数構造に自動適応します。
本研究では、ALASとALAS-Sepの2つのパラメータ化が提案されています。ALASは単一の定常成分で、結合スペクトル変調を行い、一般的な定常目的関数に適しています。一方、ALAS-Sepは分離可能な変種であり、各入力次元が独立した裾野挙動パラメータを学習できるため、近似分解可能な目的関数に対して高いロバスト性を発揮します。この次元レベルの柔軟性は、各次元が異なる平滑特性を示す可能性がある高次元最適化問題において特に重要です。
実験部分では、標準ベンチマーク関数と実世界の代理関数を用いて広範な評価が行われました。ベンチマークにはBranin、Hartmann、Rosenbrockなどの一般的な最適化テスト関数が含まれ、実世界の代理にはロボット制御や材料設計などの分野の実際の問題が使用されました。実験結果は、ALASとその変種が多様な設定において強力かつロバストな性能を示し、予測精度と最適化収束速度の両方で、既存の先進的なカーネル選択手法を有意に上回るか、少なくとも劣らないことを実証しています。特に、ALAS-Sepは目的関数が分解可能な構造を持つシナリオで顕著な性能を発揮しました。
この研究の意義は、新しいカーネル関数族を提供するだけでなく、ベイズ最適化におけるカーネル選択問題に対して自動化かつ柔軟な解決策を提示した点にあります。従来の実践では、カーネル選択は人手による経験や煩雑な交差検証に依存していましたが、ALASは学習を通じてデータ特徴に自動適応するため、ユーザーの技術的負担を大幅に軽減します。今後、この研究はベイズ最適化をより広範な複雑な最適化タスクに応用する原動力となり、適応的カーネル設計に関するさらなる研究を促進することが期待されます。現在、この論文はarXivプラットフォームに投稿されており、著者らは関連コードとデータも公開していて、コミュニティによる再現とさらなる探索が可能です。