Simon Willison 氏は新しいプラグイン datasette-arrows の 0.1a0 を公開した。これは Datasette に Apache Arrow IPC ストリームベースの出力機能を加えるもので、単に新しい出力形式が増えただけでなく、Datasette が新たに用意したストリーミング出力プラグイン機構を実際に使う最初のプラグインという意味も持つ。
背景には Datasette 1.0a43 で導入された変更がある。プラグインがストリーミング出力形式を実装できるようになったのだ。Datasette 本体はすでに CSV と TSV のストリーミング出力に対応しており、これらの形式はデータをチャンク単位で書き出せるため、数百万行のテーブルでも全データをメモリに読み込むことなく出力できる。register_output_renderer() プラグインフックの拡張により、開発者は同じパターンを他の形式にも適用できるようになった。
Willison 氏は、新しいプラグイン機能を公開するときは、それを利用するプラグインも必ず一緒に用意するという経験則を得たと述べている。datasette-arrows は新機能であると同時に、この新しいフックの実例でもある。同氏によれば、Claude Fable 5.2 が Apache Arrow ストリーミング形式を適切な選択肢として提案し、このプラグインをほぼ一発で構築したという。
使い方は簡単で、datasette install datasette-arrows でプラグインをインストールすると、Datasette の出力ダイアログに Arrow オプションが追加される。スクリーンショットは threads テーブルの出力モーダルで、CSV と TSV の隣に Arrow が表示され、「All 927 rows」とともに Apache Arrow IPC stream 形式であること、DuckDB や pandas、Polars などのツール向けであることが示されている。ダウンロードボタンと URL コピーボタンも用意されている。
注意点として、このスクリーンショットは Datasette の main ブランチのものである。最新のリリース版では、Arrow のようなストリーミング形式が TSV や CSV とともに「All rows in this table」セクションにまとめられておらず、この調整は次の alpha リリースで提供される予定だ。
エコシステムの観点では、Arrow IPC ストリーム形式の追加により、Datasette のデータ出力が現代的なデータ分析ツールチェーンに一層近づく。ユーザーは大きなテーブルをそのまま DuckDB や pandas、Polars に渡して後続処理を行え、出力時のメモリ制約を気にする必要がなくなる。Datasette のプラグイン体系におけるストリーミング出力の最初の実践的な検証でもある。