自动化AI研究的初步探索

Recursive公司发布了自动化AI研究系统的早期成果，在三个基准测试中实现了最先进的性能：固定预算语言模型训练、小模型训练速度和GPU内核优化。该系统自动化了研究循环，通过提出、实现、实验、验证和迭代来改进目标。在NanoChat任务中，系统以0.9109 BPB的表现超越了社区最佳结果；在NanoGPT Speedrun中，训练时间缩短至77.5秒；在SOL-ExecBench中，GPU内核优化达到0.754的SOL得分。系统发现了多种创新技术，如哈希表增强的n-gram嵌入和字节级特征。