Simon Willison 发布了新插件 datasette-arrows 的 0.1a0 版本,为 Datasette 增加了基于 Apache Arrow IPC 流的导出能力。这个版本的重要意义不仅在于多了一种导出格式,还在于它是第一个实际使用 Datasette 新增流式导出插件机制的插件。
背景是 Datasette 1.0a43 引入的一项能力:插件现在可以实现流式导出格式。此前 Datasette 核心已经支持流式导出 CSV 和 TSV,因为这两种文件格式天然支持分块写入,所以即使一张表有数百万行数据,也可以在不把全部数据加载进内存的情况下完成导出。随着 register_output_renderer() 插件钩子的扩展,开发者可以用同样的模式为其他格式实现流式导出。
Willison 表示,他总结出一条经验:发布新的插件功能时,一定要同时提供一个使用该功能的插件。因此 datasette-arrows 既是新功能,也是这项新钩子的示范实现。据他介绍,Claude Fable 5.2 建议采用 Apache Arrow 流式格式作为合适选项,并且几乎一次性完成了这个插件的构建。
使用方式很简单:执行 datasette install datasette-arrows 安装插件后,Datasette 的导出对话框就会多出一个 Arrow 选项。截图展示的是 threads 表的导出弹窗,CSV 和 TSV 旁边新增了 Arrow,显示“All 927 rows”,并标注该格式为 Apache Arrow IPC stream,适用于 DuckDB、pandas、Polars 等工具;界面提供下载按钮和复制 URL 按钮。
需要注意一个时间差:这张截图来自 Datasette 的 main 分支。当前最新发布版本还没有把 Arrow 这类流式格式与 TSV、CSV 一起归入“All rows in this table”分组,这一调整预计会在下一个 alpha 版本中推出。
从生态角度看,Arrow IPC 流格式的加入让 Datasette 的数据导出更贴近现代数据分析工具链。用户可以直接把大型数据表交给 DuckDB、pandas 或 Polars 做后续处理,而不必担心导出过程受内存限制。这也是 Datasette 插件体系在流式导出方向上的首次实战验证。