Millfolio – 我对本地/混合AI的尝试

Millfolio是一个个人项目，旨在让用户在自己的数据上使用AI，而无需将数据交给第三方提供商。它完全在Mac上运行，采用一种新颖的隐私保护方法：不是将数据发送到模型，而是将程序发送到数据。

当用户提问时，本地模型已经在设备上读取并索引了文件——将其分块、嵌入到本地保管库索引中。这是唯一接触实际数据的部分。然后，一个前沿模型（Claude）编写一个小程序来回答问题，但它只看到保管库的脱敏模式：列名、标签名、类型、形状，从未看到任何实际值。该程序在设备上的沙盒中运行，并本地组装答案。因此，前沿模型负责规划和编码，而实际数据从不离开机器。通过网络传输的是脱敏的清单和查询程序，而不是用户的交易数据。

Millfolio的数据栈几乎完全使用Mojo编写，包括一个从头编写的推理引擎，具有自定义的GPU/Metal内核。本地模型在设备上读取、索引并回答有针对性的问题。引擎执行使小型模型在Mac mini上可用的朴素工作：int4 GEMV、张量核心注意力、持久化Metal管道缓存、提示查找推测解码。还有额外的工作以批处理模式运行本地模型，并设置不同优先级，以保持笔记本电脑在同时处理其他工作时的响应性。

作者坦诚地指出了项目的局限性：它是个人项目，仅支持Apple Silicon，主要由AI编写代码，但作者进行了大量设计和测试。它需要API密钥用于代码编写步骤，因为本地模型不够强大，无法可靠地编写查询程序——这是前沿模型的工作。因此它是本地优先，而不是完全隔离的。作者表示，如果有人能证明本地模型可以很好地编写这些程序，那将消除最后一个远程依赖。

该项目没有保修，也不承担任何责任。隐私通过设计得到保护，但没有软件是绝对安全的。用户应使用自己愿意承担一定风险的数据。

要快速了解这个想法，可以访问实时演示（Demo: demo.millfolio.app），它使用合成保管库，一键即可运行，无需安装或密钥。更多信息请访问 millfolio.app，代码在 github.com/millfolio。作者欢迎反馈，特别是关于隐私模型是否经得起推敲，以及将实际推理栈押注在Mojo上的决策。