DaDaDa:面向数据市场的数据定价数据集
高质量数据驱动机器学习进步,但数据产品定价因数据特有属性(如近乎零边际成本、收益不可预测)而极具挑战。传统方法中,成本法和收益法失效,市场比较法因缺乏标准化基准而难以应用。为此,研究者推出DaDaDa——首个数据产品定价数据集,包含全球9个主要数据市场的16,147个产品元数据。该数据集支持训练定价模型、建立基准,并可用于数据产品分类与检索。实验和原型系统证明了其在定价、分类、检索方面的有效性。
随着人工智能和机器学习技术的快速发展,高质量数据成为驱动模型性能提升的关键资源。数据交易市场如AWS Marketplace、Databricks和Datarade等平台应运而生,为数据提供者和消费者搭建了交易桥梁。然而,数据产品定价始终是行业面临的棘手问题。传统经济学中的定价方法包括成本法、收益法和市场比较法,但它们在数据产品面前均显得力不从心:成本法因数据复制的边际成本几乎为零而失效;收益法因数据带来的收益难以准确预测而无法适用;市场比较法则因缺乏标准化的价格基准而难以实施。针对这一困境,浙江大学Qiheng Sun等七位研究者提出了DaDaDa数据集,这是首个专门用于数据产品定价的数据集。DaDaDa收录了来自全球9个主要数据市场的16,147个数据产品的元数据,涵盖产品描述、供应商、类别、价格等多个维度。该数据集不仅可以用于训练定价模型,为新数据产品建立价格基准,还支持数据产品的分类和检索任务。研究团队通过大量实验验证了DaDaDa在定价、分类和检索任务上的有效性,并构建了一个检索原型系统。该数据集和代码已在GitHub上开源发布(https://github.com/ZJU-DIVER/DaDaDa),为数据市场的学术研究和实际应用提供了宝贵的资源。DaDaDa的发布有望推动数据定价标准化,促进数据市场的健康发展,并为机器学习社区提供更丰富的数据资源。未来,研究者计划扩展数据集覆盖更多市场和产品类型,并探索更复杂的定价模型。