项目经历
PROJECTS
面向多地区海关知识问答需求,统一 Agent 研发、配置与运行管控,减少模型、Prompt、知识库和工具重复建设,支撑日本、台湾、韩国、南非、澳洲及北美业务组接入。
随着多个国家及地区海关业务组陆续建设知识问答 Agent,各团队分别开发会造成模型、Prompt、知识库及工具接入重复建设。项目建设统一的配置化 Agent 平台,收拢 Agent 的研发、发布和运行管控,通过配置快速完成不同地区业务接入,已支撑日本、台湾、韩国、南非、澳洲及北美业务组上线。
个人职责
- 配置化架构:参与核心架构与配置规范设计,统一模型、Prompt、知识库、Skill、MCP 工具和运行参数,通过 AgentFactory 与 Registry 动态创建和管理实例。
- 运行时与路由:负责注册、更新、注销及会话执行,支撑 ReAct、RAG 和工具调用;采用“关键词粗筛 + LLM 语义精排”选择 Skill、Prompt 和工具。
- 业务接入:完成多地区 Agent 配置、知识库绑定、功能验证与上线支持,沉淀可复用的接入规范。
难点亮点
- 配置驱动与隔离:地区差异收敛为配置,业务组无需重复开发主流程;检索按 Agent 与知识库绑定范围执行,避免跨地区资料污染。
- 无停机热更新:通过新旧实例切换、引用计数和延迟释放,让新请求使用新配置,在途请求完成后再释放旧实例。
- 会话并发控制:同一会话串行、不同会话并行,兼顾上下文一致性与吞吐;MCP 统一工具发现、调用和结果回传。
个人职责
- 配置化架构设计:参与平台核心架构与配置规范设计,将模型、Prompt、知识库、Skill、MCP 工具及运行参数统一抽象为配置,支持通过 AgentFactory 与 Registry 动态创建、查询和管理 Agent。
- 运行时与调度管理:负责 Agent 实例注册、更新、注销及会话执行能力,支撑 ReAct 推理、RAG 检索、工具调用与多轮上下文管理,并通过统一链路记录关键执行过程。
- Skill 与工具路由:设计“关键词粗筛 + LLM 语义精排”的混合路由,根据用户问题动态选择专业 Skill、Prompt 与工具,在控制模型调用成本的同时提升专业场景匹配准确性。
- 多地区业务交付:对接不同海关业务组的知识问答需求,完成 Agent 配置、知识库绑定、功能验证与上线支持,沉淀复用接入规范。
难点亮点
- 配置驱动的零代码接入:将地区差异收敛到 Prompt、知识库、Skill 和参数配置,新业务组无需重复开发 Agent 主流程即可完成接入,降低多地区复制和长期维护成本。
- 知识范围与租户隔离:建立 Agent 与知识库绑定关系,检索阶段按业务域限定数据范围,避免不同地区海关资料相互污染,保证回答依据可控。
- Agent 无停机热更新:采用新旧实例切换、引用计数与延迟释放机制,新请求使用新配置,执行中的旧请求完成后再释放原实例,兼顾配置实时生效与请求连续性。
- 会话级顺序与并发控制:同一会话按顺序执行,避免上下文覆盖和消息乱序;不同会话并行处理,兼顾对话一致性与整体吞吐能力。
- MCP 标准化工具接入:统一工具发现、调用与结果回传协议,屏蔽不同工具服务的实现差异,便于 Agent 按配置扩展业务能力。
针对基础 RAG 在跨地区规则、长文档和专业术语上的召回不足,开展独立检索优化专项,在统一评测集上验证策略,将稳定能力服务化接回 Agent 平台。
Agent 平台早期采用基础 RAG 支撑海关资料问答,但面对跨地区规则、长文档和专业术语时,逐渐出现召回不准、上下文噪声及复杂问题理解不足。项目将 RAG 作为独立专项,在统一评测集上完成检索链路的系统优化,并将验证稳定的能力服务化接回 Agent 平台。
个人职责
- 基线与指标:整理问答样本和相关文档标注,固定数据集与参数,建立检索、生成和端到端指标,确保策略可复现、可比较。
- 链路研发:负责解析切分、向量与关键词召回、融合、重排和上下文组装,围绕命中率、排序质量与答案忠实度逐项验证。
- 策略评估:设计 Query 改写、HyDE、Multi-Query 实验,评估 Self-RAG、CRAG、Adaptive / Agentic RAG,按效果、时延和复杂度选择集成方案。
难点亮点
- 结构化切分:对比固定长度、递归、语义与结构化切分,保留章节、表格和条款关系,平衡语义完整性与召回粒度。
- 混合检索与双重排:Dense + Sparse 兼顾语义与编码、术语精确匹配,以 RRF 融合,再结合轻量重排与 Cross-Encoder 精排前置有效证据。
- 自适应取舍:简单问题走低成本链路,复杂或证据不足的问题进入扩展、纠错或多轮检索;实验策略经同集验证后再进入集成候选。
个人职责
- 评测体系与 Baseline:整理典型海关问答样本与相关文档标注,建立检索、生成和端到端指标,固定数据集与参数,保证各轮策略能够在统一口径下比较。
- 检索链路优化:负责文档解析与切分、向量召回、关键词召回、结果融合、重排及上下文组装等核心链路,围绕命中率、排序质量和答案忠实度逐项验证。
- Query 理解与复杂问题处理:针对海关术语、地区差异和复合问题,设计意图识别、Query 改写、HyDE 与 Multi-Query 等实验方案,提升用户问题与资料表达不一致时的召回能力。
- 高级策略评估与集成:在统一评测框架中验证 Self-RAG、CRAG、Adaptive RAG 与 Agentic RAG 等方案,根据效果、延迟和工程复杂度选择适用能力,并通过检索服务接口接入 Agent 平台。
难点亮点
- 结构化感知切分:针对海关规则文档章节长、表格与条款关联紧密的问题,对比固定长度、递归、语义及结构化切分,兼顾语义完整性与召回粒度,减少关键条件被切断。
- Dense + Sparse 混合检索:结合向量检索的语义召回与关键词检索对业务编码、地区名称和专业术语的精确匹配能力,并通过 RRF 等方式融合结果,降低单一路径漏召回。
- 双重排提升精度:在初步召回后结合轻量语义重排与 Cross-Encoder 精排,过滤语义相近但业务条件不匹配的资料,将高相关证据稳定前置。
- 自适应策略路由:对简单事实问题使用低成本快速链路,对复杂或证据不足的问题进入 Query 扩展、纠错或多轮检索,在效果、时延和成本之间动态取舍。
- 策略验证与线上口径分离:将 Naive、Advanced、Self-RAG、CRAG、Adaptive 与 Agentic 等能力作为专项评估方案,只有在统一评测集上验证稳定的策略才进入集成候选。
项目经历 / 续
SELECTED PROJECTS
针对多 Agent、多版本迭代中人工抽测难以比较效果的问题,统一采集执行 Trace,完成自动评分、问题归因、优化任务生成与同集回归,形成持续优化闭环。
随着 Agent 数量和版本持续增加,人工抽测难以横向比较模型、Prompt、RAG 与 Skill 调整效果。项目建设统一评测与优化平台,标准化采集各 Agent 的执行 Trace,完成自动评分、问题归因、优化任务生成与同集回归,形成“评测 - 诊断 - 优化 - 复测”闭环。
个人职责
- 评测架构:参与 Prompt、RAG、Skill、Agent 四类评测设计,通过统一 Evaluator 接口与 Registry 管理评测器,支持批量执行和版本对比。
- Trace 接入:设计标准数据结构,记录问题、回答、检索证据、Skill 路由、工具调用和中间状态,低侵入接入不同 Agent。
- 优化回归:将低分样本转为包含证据、建议、影响范围和验证方式的优化任务,以固定评测集验证优化前后效果。
难点亮点
- 稳定评分:基于 G-Eval 概率加权思路,归一化候选评分 token 的概率,结合固定温度与评分规则,减少单次打分波动。
- 声明级诊断:拆分回答中的独立声明,逐条核验检索证据,输出支持、无依据或矛盾判断,将幻觉定位至具体语句。
- 分层归因:联合 HitRate、WCP、上下文噪声和 Faithfulness,区分知识缺失、召回不足、排序问题与生成偏差,匹配对应优化动作。
个人职责
- 评测架构与指标体系:参与 Prompt、RAG、Skill、Agent 四类评测能力设计,建立可量化、可复现的评测口径,并通过统一 Evaluator 接口与 Registry 管理评测器。
- 统一 Trace 接入:设计标准 Trace 数据结构,记录问题、回答、检索结果、Skill 路由、工具调用与中间状态,使平台能够低侵入接入不同 Agent 应用。
- 诊断与优化闭环:结合检索、生成和行为指标识别低分样本,将问题转化为包含证据、建议、影响范围和验证方式的优化任务,并使用固定评测集完成优化前后回归。
难点亮点
- LLM-as-Judge 稳定评分:基于 G-Eval 概率加权思想,对候选评分 token 的概率进行归一化,在固定温度和评分规则下减少直接单次打分的离散波动。
- Faithfulness 声明级诊断:将回答拆分为独立声明,逐条与检索证据核验并输出 supported、unsupported、contradicted 等判断,使幻觉能够定位到具体语句和证据。
- RAG 问题分层归因:联合分析 HitRate、WCP、上下文噪声与 Faithfulness,区分知识缺失、召回不足、排序不佳、上下文干扰和生成偏差,为不同问题匹配对应优化动作。
- 可插拔评测流水线:将评测能力组件化,新增指标只需实现统一接口并注册,无需改动主流程;评测任务支持批量执行、结果汇总和历史版本对比。
- 量化优化效果:在统一评测样本和评分口径下,优化后 RAG 综合评分提升 26 个百分点,Faithfulness 评分提升 35 个百分点。
面向售前推广、售后服务等业务,统一邮件、短信、飞书渠道及接入接口,集中处理消息中转、优先级、定时投递、流控与供应商容灾。
面向售前推广、售后服务等业务的统一消息推送平台,集中封装邮件、短信、飞书等渠道,为各业务系统提供标准接入能力,并统一处理消息中转、优先级、定时投递、流量控制和供应商容灾,避免重复建设。
个人职责
- 从 0 到 1 建设:参与需求梳理、整体架构、数据库与接口设计,划分接收、中转、调度和发送职责。
- 多渠道交付:基于策略模式集成邮件、短信、飞书,承担核心编码、自测、联调与发布,一个多月完成交付,单测覆盖率达 90%。
难点亮点
- 插件式中转:抽象消息中转接口,支持消息队列与 MySQL 按部署条件切换,解耦请求接收和实际发送。
- 隔离与定时:按渠道、优先级拆分队列,结合 Redis 实现定时投递,避免局部积压拖慢整体链路。
- 容灾与性能:持续异常时自动切换备用供应商;通过缓存、表结构与发送链路优化,将吞吐由 1,000 QPS 提升至 3,000 QPS。
个人职责
- 从 0 到 1 架构设计:参与需求梳理、整体架构、数据库建模和接口设计,明确消息接收、中转、调度与渠道发送的职责边界。
- 多渠道能力接入:完成邮件、短信、飞书等渠道集成,基于策略模式统一发送接口并封装渠道差异,支持后续渠道快速扩展。
- 核心研发与交付:承担主要功能编码、自测、联调与发布,在一个多月内完成交付,功能代码的单元测试覆盖率达到 90%,平台稳定运行超过半年且未发生运营事故。
难点亮点
- 插件式中转层:抽象统一消息中转接口,支持消息队列与 MySQL 等实现按部署条件切换,隔离请求接收与实际发送,降低底层变更对业务接入方的影响。
- 优先级与定时投递:按渠道和优先级拆分消息队列,结合 Redis 实现精确定时,避免单一渠道或低优先级消息积压拖慢整体链路。
- 多厂商容灾:同类渠道接入多个第三方服务商,持续异常时自动切换备用供应商,例如在阿里云与腾讯云短信服务之间切换,降低单点故障影响。
- 吞吐性能优化:通过缓存、表结构和同步链路优化,压测吞吐量由优化前的 1,000 QPS 提升至优化后的 3,000 QPS,满足公司内部多场景消息推送需求。
交付结果售前、售后模块接入,平台稳定运行超过半年,未发生运营事故。
为创维电视桌面软件及小维智能语音提供后台服务,覆盖语音检索、智能问答、设备控制和大模型对话等场景,线上设备规模约 2,000 万台、DAU 超 600 万,并通过数据看板与语音效果分析支撑运营和产品迭代。
个人职责
- 核心通信接口:负责 AI 大脑 WebSocket 接口研发,完成设备接入、双向协议适配、语音交互编排和业务指令下发。
- 模型路由与会话处理:负责大模型场景分流及异步会话处理,衔接语音识别、模型生成和设备端流式响应。
- 数据分析能力:负责运营看板、业务报表与分析接口研发,完成多版本数据汇总、运营指标查询及 DDS 报表接入。
难点亮点
- 语音链路编排:基于 WebSocket 串联 ASR、NLU、业务指令与 TTS,统一处理音频上传、识别回传和语音分片下发,适配语音、文本及独立播报场景。
- 协议适配与业务分流:封装设备与 AI 大脑的双向协议适配层,根据场景路由普通语义与大模型请求,并支持自定义指令和“可见即可说”等交互。
- 异步会话管理:使用线程池异步执行模型任务,协调识别、生成与播报完成时机,实现流式响应和连接生命周期管理。
- 配置化报表:通过指标标签、SQL 与表头配置统一接入 DDS 报表,减少不同业务报表的重复开发。
面向连锁体育场馆的一体化 SaaS 平台,覆盖全国多数省份及 30+ 运营中心,提供场地预订、票务核销、会员课程、营销优惠券和聚合支付等能力,并按用户端、运营后台、管理后台、任务调度和工作流拆分服务。
个人职责
- 优惠券秒杀:从 0 到 1 负责活动校验、库存扣减、防重复领取和异步发券等核心链路。
- 订单与退款:负责资源预占、支付回调、超时关单、退款分摊及库存回补,保障库存和资金状态一致。
- 交付与运维:参与服务拆分、版本发布及日常维护,通过 ELK 排查跨服务线上问题,重点治理订单未关闭和资源未释放等异常。
难点亮点
- 高并发秒杀:将热点库存前置到 Redis 并原子扣减,使用“活动 + 券 + 用户”缓存键防止重复领取,再通过 RabbitMQ 异步发券落库,降低数据库热点竞争。
- 订单超时一致性:基于 RabbitMQ 延迟消息触发关单,消费时再次校验支付、完工与过期状态;资源回补结合乐观锁和延迟重试,避免重复释放或长期占用。
- 退款资金安全:根据支付流水计算剩余可退金额并按原支付方式分摊,本地异常回滚事务,对已完成的一卡通退款执行冲正,降低跨系统部分成功产生的资金差错。
- 多租户数据隔离:基于自定义注解、AOP、ThreadLocal 与 AbstractRoutingDataSource,按运营中心或租户动态路由中心库、场馆库、报表库和业务库,使业务逻辑与数据源选择解耦。