为什么AI项目90%的问题,其实都是数据问题?
最近两年,我接触了不少企业AI项目,也持续关注国内外AI产品的发展。从ChatBI、企业知识库,到RAG、Data Agent,再到各种”数字员工”,几乎所有企业都希望借助大模型,让数据真正服务于业务。
有意思的是,大多数项目在Demo阶段都表现得相当不错。
上传几份文档,模型就能回答问题;连接数据库,AI就能自动生成SQL;接入知识库,Agent就能完成简单的数据分析任务。
但是,当这些项目真正进入企业生产环境之后,情况却发生了明显变化。
有的回答不准确,有的不同时间得到不同答案,有的生成了SQL却查询不到正确的数据,还有一些项目虽然技术架构没有问题,但业务部门始终不愿意使用。
很多企业的第一反应都是:
模型能力还不够强。
于是,他们开始尝试更大的模型、更长的上下文、更复杂的Prompt,甚至部署更昂贵的GPU资源。
然而,投入越来越高,效果却并没有发生本质改善。
在参与企业数据平台建设和数据治理工作的这些年里,我越来越认同一个观点:
大多数AI项目失败,并不是因为模型,而是因为数据。
如果说大模型决定了AI能够回答问题,那么企业数据体系决定了AI回答的问题是否可信。
AI项目真正运行时,到底依赖什么?
很多企业第一次接触AI时,都会把注意力放在模型本身。
例如:
- GPT-5.5 是否比其他模型更聪明?
- DeepSeek 是否更适合中文?
- Claude 是否更适合代码?
- 模型参数越大是否效果越好?
这些讨论当然有意义。
但如果站在企业架构的角度来看,一个完整的AI项目远远不只是一个大模型。
它更像下面这样一个体系。
1 | Business User |
很多企业真正投入建设的,往往只有图中最上面的一层——大模型。
而真正决定AI是否能够稳定工作的,却是下面这一整套企业数据体系。
模型只是AI的大脑,数据体系才是AI的记忆、知识和判断依据。
一个真实案例:为什么同一个问题,AI每天回答都不一样?
我曾参与过一家制造企业的数据平台建设。
企业拥有ERP、MES、CRM、SRM等多个业务系统,数据仓库已经建设多年,同时也上线了BI平台。
后来,企业开始尝试建设ChatBI,希望业务人员能够直接通过自然语言查询经营数据。
项目初期效果很好。
例如:
去年销售额是多少?
AI几秒钟就能够生成SQL并返回结果。
但是,很快业务部门提出了新的问题:
去年利润最高的客户是谁?
AI第一次回答:
A客户。
第二次回答:
B客户。
第三次甚至变成了另外一个客户。
模型并没有发生变化。
SQL生成逻辑也没有变化。
真正的问题在哪里?
经过排查,我们发现问题出在数据层。
ERP中的利润按照订单统计。
财务系统中的利润按照开票统计。
BI平台长期采用的是财务口径。
而AI生成SQL时,却关联了ERP事实表。
SQL本身完全正确。
返回的数据也完全正确。
错误的是,它回答了另一个业务口径。
这类问题,在企业中远比模型幻觉更加常见。
AI不会制造错误,它只会放大错误
很多人担心大模型会”一本正经地胡说八道”。
这确实是AI需要解决的问题。
但对于企业来说,更大的风险往往来自另一种情况:
AI基于错误的数据,生成了看起来非常可信的答案。
举一个简单的例子。
假设企业的数据仓库中已经存在下面这样一张汇总表。
1 | SELECT |
这段SQL没有任何问题。
AI生成它也没有问题。
如果profit_amount字段本身已经因为退货逻辑处理错误而偏高,那么最终得到的所有分析结果都会是错误的。
AI不会发现这一点。
它只会更加高效地消费这些错误数据,并快速传播到更多业务场景。
过去,一个错误指标可能影响一张BI报表。
今天,一个错误指标可能影响:
- ChatBI
- 企业知识库
- Data Agent
- 智能经营分析
- 自动决策系统
AI时代,错误传播的速度比过去快得多。
企业 AI 真正缺少的,不是数据,而是统一的数据语言
如果深入分析大多数AI项目,会发现它们存在一个共同特点:
数据很多。
知识很多。
系统也很多。
真正缺少的是:
统一的数据语义。
举一个非常典型的例子。
销售部门维护了一套销售额指标。
1 | metric: |
财务部门维护的是另一套定义。
1 | metric: |
BI平台采用第三种口径。
AI知识库中的制度文件又采用第四种解释。
于是,当老板问:
今年销售额同比增长多少?
AI能够回答。
但它不知道:
到底应该相信哪一个”销售额”。
很多企业认为这是Prompt的问题。
实际上,这是Semantic Layer(语义层)缺失的问题。
模型不知道企业语言。
因为企业自己还没有形成统一的数据语言。
为什么 Data Agent 比 ChatBI 更依赖数据治理?
上一篇文章我们讨论了Data Agent。
很多人认为,Agent越智能,对底层数据的要求就越低。
事实恰恰相反。
Agent越智能。
它调用的数据越多。
分析链路越长。
依赖的知识越复杂。
对数据治理的要求反而越高。
例如,一个利润分析任务,Agent可能会连续完成下面这些动作。
1 | 理解问题 |
任何一个环节的数据存在问题,最终结果都会受到影响。
因此,Agent实际上放大了企业数据治理的重要性。
过去,数据治理主要服务于BI。
未来,数据治理更重要的使命,是服务于AI。
从数据仓库到AI,中间缺少了一层什么?
很多企业的技术架构已经非常先进。
有数据湖。
有Lakehouse。
有实时计算。
有向量数据库。
甚至已经部署了企业级大模型。
但是AI依然回答不好问题。
原因就在于,中间缺少了一层。
那就是:
企业知识表达层。
这一层包括:
- 元数据(Metadata)
- 指标体系(Metrics)
- 主数据(MDM)
- 数据血缘(Lineage)
- 业务术语(Business Glossary)
- 数据质量规则(Data Quality Rules)
- Semantic Layer(语义层)
过去,这些能力更多是为了方便数据团队管理数据。
今天,它们开始成为AI理解企业的基础。
AI并不是直接理解数据库。
AI真正理解的是企业知识。
架构师视角:未来的数据平台,不只是存储数据
很多企业正在建设AI平台,但真正需要升级的,往往不是模型,而是整个数据架构。
未来的数据平台,更像是四层能力共同协作:
| 层级 | 主要能力 | 典型产品/技术 |
|---|---|---|
| AI应用层 | ChatBI、Data Agent、智能运营 | Copilot、Agent、企业AI助手 |
| 知识表达层 | Semantic Layer、元数据、指标体系、知识库 | AtScale、Cube、dbt Semantic Layer、DataHub、Apache Atlas |
| 数据基础层 | 数据仓库、湖仓一体、实时计算 | Hive、ClickHouse、Snowflake、Databricks、Apache Doris、Apache Paimon |
| 数据源层 | ERP、MES、CRM、SRM、OA等业务系统 | SAP、Oracle ERP、金蝶、用友等 |
很多企业目前重点投入的是第一层。
真正决定AI效果的,却是第二层和第三层。
企业实践建议
结合近几年企业AI项目建设,我认为至少需要做好五件事情。
第一,建立统一的数据指标体系,避免一个指标存在多个业务口径。
第二,加强元数据管理,让AI能够理解字段、表和业务术语的真实含义。
第三,持续建设Semantic Layer,将技术语言转换为业务语言。
第四,把数据质量规则前移,在进入AI之前完成校验,而不是等AI回答错误之后再修正。
第五,把数据治理从”项目”变成”持续运营能力”,因为Agent的能力会不断演进,而数据体系也必须持续演进。
只有这样,AI才能真正建立在可信的数据基础之上。
写在最后
过去几年,AI的发展让很多企业重新思考数据平台的价值。
但我越来越认为,一个优秀的AI项目,真正比拼的并不是模型,而是企业多年积累的数据能力。
模型决定了AI能够理解多复杂的问题。
数据决定了AI回答的问题是否可信。
知识决定了AI能否真正理解企业。
因此,AI时代真正的竞争优势,不是拥有最大的模型,而是拥有最可信的数据体系。
这也是为什么我始终认为,数据仓库、数据治理、元数据管理和数据质量,并不会因为AI而边缘化,反而会成为AI时代最重要的基础设施。