数据正在成为AI训练的新资产类别
作者:Vaidik Mandloi 来源:The Token Dispatch 翻译:善欧巴,金色财经
最近,一位数据经纪人正在向一家 AI 实验室兜售一份数据集。他按 TB 报价——这已经是行业当下的标准做法,因为至今没人算得清这些数据真正值多少钱——而且他连文件都没打开过就发货了。实验室打开一看,在文件夹结构最底层躺着大约 4000 份《冰雪奇缘 2》,因为有人用迪士尼电影给整个包注水,好让它看起来更大。
我觉得那位经纪人再也不会接到这家实验室的电话了。但真正离谱的是,这并非什么见不得光的灰色买卖。过去两年里,AI 数据经纪已经长成一个像模像样的大宗商品市场,专门向头部实验室出售各类专有数据。仅一家经纪公司,年收入就做到 1.44 亿美元。
过去几周我一直在拆解这个市场究竟怎么运转、企业又是怎么看它的。我们开始吧。
市场如何从零形成
首先要弄明白的是,这个市场为什么会存在——就在几个月前,还没人能把这件事想象成一个市场。
过去十年,每一家主流 AI 实验室都用开放网络训练模型。维基百科、Reddit、数字化图书、古老的论坛帖子,凡是能抓取、能喂进机器的内容,它们都用上了。GPT-3 发布时大约消耗了 5000 亿 token 的这类材料;三年后的 GPT-5,消耗量达到数万亿。
每一代模型都比上一代更饥渴。到 2025 年前后,消耗速度已经超过了可获得的新知识存量。Epoch AI 估计,高质量公开文本将在 2026 年至 2032 年之间的某个时点被功能性耗尽。Reddit——每家主流实验室都曾免费抓取——如今对访问其存档收费约每年 6000 万美元。
今天已有数百万个网站彻底封禁了爬虫。而 2024 年的一篇论文显示,用 AI 生成的文本(也叫合成数据)训练模型——这本来是人工写作供给不足时最显而易见的替代方案——会导致输出在代际之间持续退化。研究者称之为“模型坍缩”。说得客气点就是:如果你反复喂一台机器吃它自己的话,它会忘掉怎么思考。
于是,开放网络作为可用的训练数据来源,基本上彻底关上了门,实验室只能另寻他处。
而它们发现,所需数据中剩下最丰富的来源,早已在普通企业的私有系统里堆积多年。Slack 存档、邮件往来、CRM 数据库、内部 wiki,日常工作中作为副产物产生的运营痕迹,在云端存了十年,而从没有人想过它也能卖。
这类数据常被称作“数据尾气”,因为人们是在无意识中生产它的。没人早上坐到工位上会先想一想:我马上要发的那条 Slack 消息有多少训练价值。数据是完成工作的副产物,就像尾气是开车的副产物。你在毫无察觉中把它留下,它不断累积,而组织内部从来没人想过要去计量它,更别说变现。
赫尔南多·德·索托在《资本的秘密》里描述过类似的时刻,尽管他写的是完全不同的东西。他认为,在发展中世界,家庭拥有住房、经营生意、耕种土地,却始终无法把其中任何一项转化为资本。资产是真实存在的,人们住在里面,靠它养家。但在金融体系眼里,它们并不存在。
在这些“死资产”里,财富无法参与更广泛的经济活动,因为把它们转换成可交易工具的制度机器从未被建造出来。直到 2024 年前后,每一家拥有五年 Slack 记录的公司基本上都处在同样的位置:员工在日常工作中作为副产物生产出有价值的运营数据,数据堆积在云存储里,却没有定价机制,因为交易它的市场还没搭起来。
同样有意思的是,一旦需求出现,这套基础设施建立得有多快。石油被活跃交易了一个多世纪,纽约商品交易所(NYMEX)才在 1983 年推出标准化的原油期货。而对于 AI 训练数据,市场把整条演进曲线压缩进了不到 24 个月。
现在已经有标准化的交易条款:两年独家期、买方 30 天查验期、60 天付款周期,以及向经纪人支付高达成交价 50% 的转介网络。

平均单笔交易落在 20 万至 30 万美元之间。如果把一笔典型交易的机制讲给外人听,他们多半会猜这是商业地产,或某种特殊金融工具。但他们绝不会猜到,那是某家屋顶工程承包商五年的 Slack 消息。
实验室到底在买什么
实验室在数据需求上同样疯狂,而且对具体要什么极为挑剔。
经纪人会从实验室收到详细的采购清单,明确规定某一时刻需要哪些行业的数据。我开始拆解这些清单时,发现其颗粒度本身就是很有意思的数据:他们在找芯片设计验证流程、湿实验室实验日志、临床试验记录,以及工厂车间的头戴摄像头影像。
一位经纪人说,他收到过针对屋顶工程承包商、税务事务所或货运公司各种奇特内部流程的需求。而实验室要覆盖的行业纵向领域几乎无所不包,从航空航天到保险,再到兽医。想想这意味着什么:当一家每年在训练上花掉数十亿美元的公司,给经纪人发来一份明确索要货运公司和屋顶承包商内部流程文档的购物清单时,它其实暴露了自己的产品路线图。
这种颗粒度不是为了“让模型更聪明”这种含糊的野心,而是为了构建能够真正承担特定行业日常工作的 AI 系统。它们瞄准的行业清单足够宽,其影响会波及几乎每一个白领职业。但这个市场的供给侧,几乎没人理解这些究竟意味着什么。

质量问题
提交给主要经纪商的数据里,大约一半会被立刻丢弃。那些被拒的故事同样重要,因为它们说明卖方离理解买方真正想要什么还有多远。
经纪人说过,收到过 40GB 的 WhatsApp 消息,标注为“高质量对话”,打开一看是某个人与亲友的全部聊天记录。还收到过 13 小时的门铃摄像头录像,被包装成“真实人类情绪”数据集。
看上去最好的提交,往往最荒诞也最好笑。因为这个市场至今没搞清如何衡量数据为什么值钱。于是卖方大多按 TB 定价,因为没人提出过更聪明的办法,这就直接激励大家把文件做到尽可能大,不管里面装的是什么。买方则用员工人数和经营年限做粗略代理指标,因为那是双方唯一能达成共识的度量。但没有人真正捕捉底层材料的质量,这意味着整个市场都靠模糊的尺子和测量方式在飞行。
这和 19 世纪的棉花贸易非常相似。当年在利物浦棉花交易所做生意的商人,能拿到来自美国南方各港口的电报,掌握作物产量与船期的实时情报,还了解兰开夏郡各地纺织厂的需求数字。
但真正种棉花的种植园主几乎对此一无所知。商人报什么价,他们就按什么价卖,也没有独立渠道去验证价格是否公道。这种信息不对称持续了几十年,直到期货合约和公开定价机制让种植者获得足够可见度,能够平等谈判。
数据市场正处在这条弧线的最开端。而这里的卖方处境比当年的棉农更不利——至少棉农知道棉花是用来做什么的。
AI 实验室如何评估数据
我用一位聊过的 AI 经纪人的真实案例来说明。
一位 SaaS 企业主提交了十年的内部通讯记录,横跨 Slack、WhatsApp 和 Discord。这是一家仍在运营的公司十年的运营数据。纸面上看,这正是前沿实验室愿意花数百万美元购买的那种存档。
但经纪人评估后,只给最近两年定了价。为什么?因为这家公司每隔几年就换一次通讯平台,而每次切换都打断了让运营数据具备训练价值的连续性。
实验室要看的是团队如何升级一个问题,是一群人真正协作解决某件事的完整弧线。当对话在项目进行到一半时从 Slack 跳到 WhatsApp,这条弧线就消失了。记录变得碎片化,而碎片化记录几乎没有训练价值。
之所以没有训练价值,是因为实验室付钱买的不是消息本身,而是消息中嵌入的行为模式,是经验丰富的人在情况模糊、手册帮不上忙时如何行使判断力的累积记录。
匈牙利裔英国博学家迈克尔·波兰尼在 1950 年代提出“默会知识”一词来描述这一点。他的经典例子是骑自行车:你知道怎么骑,但你写不出一份能让别人学会的说明书,因为知识存在于你的反射和肌肉记忆里,唯一的传递方式,是让另一个人花时间骑上去,直到他的身体自己弄明白。
组织里充满了这类默会知识。SaaS 公司的一位资深工程师知道,凌晨三点的哪条生产告警需要把团队叫起来,哪条可以等到早上;这种判断与监控面板上的严重级别标签毫无关系。它来自多年积累的模式识别,来自错得足够多次之后长出的直觉,任何运行手册都写不下来。
管理咨询公司花了半个世纪试图提取并编纂这类运营判断力。麦肯锡围绕这项努力建立了整条业务线。而根本挑战始终如一:你可以在一个组织里待上几个月,访谈几十个人,观察他们如何工作,最终带走的仍然只是这家组织实际所知的一小部分,因为知识太深地嵌在日常习惯里,没人能把它表述清楚到可以交接的程度。
AI 训练彻底改变了这一点。模型可以吞下一家公司五年的连续内部通讯,把它提取出来,压缩进模型权重,再在一个完全不同的语境中复现。
这就是这个市场诞生的原因。实验室发现,地球上最丰富的默会知识来源,是企业作为经营副产物生成的运营数据;而从没有人把它当作值得购买的东西,因为此前没有人拥有在这个量级上处理它的技术。
这也解释了为什么死掉的创业公司是天然的起点——道德摩擦为零。但市场没有停在那里,因为死公司的供给在定义上就是有限的,而实验室正在构建的东西,需要来自仍在工作的人们的持续、可再生的行为数据流。
于是梯度不断移动。从已不存在的公司的存档,到仍在运营的公司出售员工正在产生的通讯记录,再到某家科技巨头给自家员工的电脑装上监控软件,记录他们完成工作的细颗粒度过程。
如果下一代 AI 依赖的是专有行为数据而非公共互联网文本,那么 AI 的竞争优势会以某些甚至可能看不见的方式转移。眼下这场讨论主要由实验室、GPU 厂商、云服务商和赢得算力竞赛的公司主导。
但算力是可扩展性问题,而可扩展性问题可以用钱解决。行为数据是信任问题。如果那些记录的生产者不信任你,你再大的支票也买不到一家医院的患者交互历史,或一家律所三十年的案卷。那些坐拥最深默会知识存档的组织——制造商、金融机构、拥有数十年运营判断积累的专业服务公司——手里握着实验室既无法复制、也无法绕开的东西。而它们中的大多数对此一无所知。






