企业的碳合规信息,有一大半根本不在系统里,而在人的硬盘里:能源台账是 Excel,管理制度是 PDF,检测报告是扫描件,历史报告是 Word。真正开始做合规的时候,最耗时的往往不是核算,而是”把该找的资料找出来”。

碳脉智能的企业知识库模块针对的正是这个问题:把散落的文件变成可检索、可引用的知识,并且保证每一条回答都能翻回原文那一页。这篇文章讲它的实现方式与取舍。

一、七种格式、五十兆、单个文件还是整个库

维度 能力 说明
支持格式 PDF、DOCX、XLSX、PPTX、TXT、CSV、MD 覆盖台账、制度、报告、清单等常见形态
单文件上限 50 MB 企业存储配额默认 2 GB,上传前实时校验
批量上传 支持拖拽与多文件 按知识库分类自动归位
典型内容 管理制度、能源台账、环评与排污文件、检测报告、认证证书、培训资料、历史报告 碳合规场景的高频资料类型

二、从文件到可检索向量,中间发生了什么

文档上传后进入异步流水线:

  1. 结构化解析:抽取正文与表格内容,保留页码信息;
  2. 分块:块大小 512,重叠 50,兼顾语义完整与检索精度;
  3. 向量化:生成 1536 维语义向量,写入向量库,向量负载中携带文档 ID、知识库 ID、企业 ID、文件名、页码与分块序号;
  4. 本地留档:原文分块同时保留在本地表中用于预览,向量库负责语义检索,两者分离。

为什么坚持”本地留原文分块”?因为核查场景经常需要”把原文那一页给我看”。只存向量不存原文,答案再漂亮也无法回溯。

文档删除采用四级级联:对象存储 → 向量库 → 编排侧知识库 → 本地记录,避免残留数据在某一层被单独检索出来。

三、检索与回答:四件套引用

问答的主链路是:问题向量化 → 向量检索 Top-K(默认 5)→ 上下文整理(来源、文件名、页码、相似度)→ 模型生成带引用的答案。前端以流式方式呈现,阶段标识为”分析中 → 搜索中 → 生成中”,可逐字输出并中断。

回答必须携带引用出处,四件套齐全:

  • 文件名;
  • 页码;
  • 原文摘录(命中片段高亮);
  • 相似度。

检索范围有强约束:先按企业隔离,再可按分类或指定文档范围二次收敛;排序采用向量相似度与关键词的混合方式。在碳合规场景里,”这条答案来自哪份文件的第几页”是比答案本身更重要的信息。

四、”无依据就拒答”这条底线

知识库问答的验收指标里,有两条比准确率更重要:

  • 知识库问答准确率 ≥ 88%;
  • 无依据拒答率 ≥ 95%。

换句话说,系统被要求在检索不到依据时明确说”没找到”,而不是用通用知识拼一个听起来合理的答案。这在碳合规场景是原则问题:如果一条政策问答给出了没有出处的结论,企业据此去申报,责任在谁?

平台的做法是:检索无命中时返回固定话术,提示确认文档是否已上传并完成解析,而不是继续生成;结构化抽取置信度低于 0.8 时强制人工确认,未确认的数据不写入报告正文。

同理,政策问答环节也设置了”空召回编造率 0″的验收要求——检索不到就提示调整关键词或扩大地区范围,不编造答案。

五、智能调度:先判断该不该查库

知识库提供两种问答模式:

  • 直接检索模式:明确指向企业私有资料的问题;
  • 智能体调度模式:主智能体先做意图分析,判断这个问题是否需要检索企业私有库,再决定走检索工具还是走通用对话。

后者解决的是一个实际问题:如果所有问题都去检索私有库,系统会给出”我这里没有相关资料”的回答,哪怕用户问的是通用碳知识;反过来,如果该查库的问题不查,就会给出空泛的通用答案。意图分析这一步,把两种情况分开。

六、数据隔离是企业愿意上传的前提

制度文件、台账、检测报告,都是企业的核心资产。它们之所以躺在硬盘里没人整理,很大程度上是因为”上传到外部系统”这件事本身有顾虑。

因此企业知识库在设计之初就把隔离当作前提而非功能项:

  • 对象存储路径以企业标识为一级前缀,按”企业 / 知识库 / 文档”三级隔离;
  • 检索侧按企业维度强制过滤,跨企业访问一律拦截;
  • 文件下载使用预签名链接 + 有效期 + 二次鉴权;
  • 平台数据库对业务表启用行级安全策略,应用层再叠加一层租户过滤;
  • 数据导出走独立审批记录,包含范围、格式、审批人与审批时间。

七、和碳核算怎么衔接

知识库不是孤立的问答工具,它在碳合规流水线里有明确位置:

  • 作为报告数据源之一:生成报告时可同时勾选碳核算结果、产品碳足迹结果、政策匹配结果与知识库文档,系统从各来源抽取结构化数据后统一渲染;
  • 作为核查底稿的来源:制度与台账是核查员最常追问的部分,”当时用的台账是哪一版”这类问题应当能被秒级回答;
  • 作为培训与交接材料:新人接手碳管理工作时,先在知识库里问一轮,比翻三个月文档更快。

八、几点使用建议

先做目录再上传。先按”制度 / 台账 / 报告 / 证书”分好知识库,检索时的收敛效果会明显好于一个大平层。

给重要文件加标签。标注生效日期、适用部门、版本号,能显著提升检索命中率,也便于核查时的版本澄清。

别指望它替代原始台账。知识库解决的是”找得到、读得懂”,数据本身仍应从业务系统或原始记录同步进来,两条线并行才完整。

九、写在最后

把文档变成知识,技术上并不新鲜;难的是让它在合规场景里可信——答案有出处、找不到就拒答、数据不外泄。这三件事做到位,企业才敢把资料放进来,知识库才真正开始产生价值。

说明:本文所述文档格式、分块参数、向量维度、引用机制与验收指标为碳脉智能平台产品与技术能力说明;具体指标受企业数据规模与部署环境影响,引用时请以平台当前版本为准。