周末构建本地AI工作流的经验教训

像所有人一样，我最近也对智能体（Agent）产生了浓厚兴趣！我终于花时间学习了多智能体工作流：我提出了一个简单的用例，构建了第一个迭代版本，然后看着它被混乱的现实击碎。然后我学到了一些东西。这篇文章分享了三个教训：中间丢失问题、偏见复合问题，以及Whisper并非灵丹妙药。

我构建的工具勉强可用，已在GitHub上开源。它是一个多智能体视频编辑器，输入视频后通过去除所有无用部分输出缩短版本，只保留精华。别指望它能达到生产级魔法，但我认为它挺有趣的。

在最初的简单方案中，我设想：将视频通过语音转文本模型获得完整转录，然后将转录输入编辑器智能体，由其决定最重要的片段，再将完整转录和选定片段输入审查智能体，由其判断所选部分是否保留了信息。编辑器与审查智能体来回迭代，直到审查智能体同意编辑器的选择。最后用FFmpeg拼接最终视频。理论上完美，但实际上输出看起来糟透了。你可以自己看看：原视频（链接）。

这三个教训分别对应：大型语言模型在处理长文本时容易丢失中间部分的信息（中间丢失）；多个AI代理的偏见会相互叠加（偏见复合）；Whisper在处理噪声或不同口音时表现不佳（非万能）。这些经验对任何尝试构建本地AI工作流的人都有参考价值。

为了应对这些挑战，作者建议在构建多智能体系统时，注意上下文窗口的限制，避免过长的输入导致信息丢失。同时，在设计审查机制时，应考虑如何减少偏见累积，例如引入随机化或多样性。对于语音识别，可以选择更强大的模型或结合多种预处理技术。这些教训虽然来自视频编辑场景，但适用于许多AI工作流。

总之，这个周末项目虽然产出不尽人意，但提供了宝贵的实践洞察。如果你也在探索多智能体系统，不妨从这些小而具体的用例开始，逐步迭代改进。