SIA：开源自我改进AI框架
SIA是一个开源的自改进AI框架，通过协调元代理、任务特定代理和反馈代理，自动提升AI系统在基准任务上的性能。在多个基准测试中取得显著成果，如LawBench准确率提升56.6%，GPU内核运行时间减少91.9%，单细胞RNA去噪提升502%，并在MLE-Bench Hard排名第一。支持本地运行和自定义任务，采用MIT许可。
文章情报
要点
- SIA通过元代理、任务代理和反馈代理的迭代循环实现自我改进，无需人工干预。
- 在LawBench、GPU内核优化、单细胞RNA去噪等基准测试中取得大幅性能提升。
- 支持本地运行，提供内置任务和自定义任务接口。
- 开源项目，采用MIT许可证，可在GitHub上获取。
为什么重要
这条新闻值得关注，因为SIA通过元代理、任务代理和反馈代理的迭代循环实现自我改进，无需人工干预。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
SIA（Self-Improving AI）是一个开源框架，旨在让AI系统能够自主提升其在基准任务上的表现。该项目由Hexo Labs开发，并在GitHub上发布，采用MIT许可证。其核心思想是通过一个自改进循环，不断优化完成任务所需的智能体。
SIA的架构由三种主要智能体组成：元代理（Meta-Agent）负责读取任务描述并生成初始的目标代理；目标代理（Target Agent）尝试完成任务并记录过程和结果；反馈代理（Feedback Agent）审查执行日志，识别改进点，并更新目标代理。这个迭代过程使系统能够自主地优化其解决问题的能力。
该框架在多个基准测试中展示了卓越的性能。在OpenAI MLE-Bench Hard（一组真实的Kaggle机器学习竞赛）中，SIA在所有测试的迭代中排名第一。在法律领域，针对中国法院案件描述预测刑事指控的任务（LawBench），SIA达到了70.1%的Top-1准确率，远超前最先进水平（45%）。在科学计算方面，SIA实现了AlphaFold-3三角乘法更新的Triton内核优化，相比基线获得14倍加速。此外，在单细胞RNA测序数据去噪任务中，SIA的得分（MSEnorm）达到0.289，超越了前最佳结果（0.220）。
SIA支持本地运行，并提供了四个内置任务：gpqa、lawbench、longcot-chess和spaceship-titanic。用户可以选择不同的后端（如Claude或OpenHands）来适配不同的语言模型。安装过程简单，通过pip即可完成。用户还可以通过提供自定义任务目录，将自己的任务集成到SIA中。项目还提供了详细的文档，包括架构说明、配置指南和故障排除。
SIA的研究论文已在arXiv上发布（arXiv:2605.27276），题为“SIA: Self Improving AI with Harness & Weight Updates”。该框架的开源性质允许研究者和开发者自行使用、修改和贡献，推动AI自我改进技术的发展。