文章
已发布的全部文章。
架构能力模型与自测表
从技术深度、系统思维、交付能力和技术领导力四个维度建立基线,用证据制定下一阶段学习计划。
从开发者到架构师:职责、边界与常见误区
区分开发者、技术负责人和架构师的工作,理解架构师如何用约束、证据和协作推动系统长期演进。
Java 架构师完整学习路线与博客目录
从 Java 基础到架构决策、生产治理和技术领导力的渐进式博客目录,并给出版本基线、实践标准与知识覆盖检查。
读懂 τ-bench:怎样评测一个真正完成业务任务的 Agent
从固定版本的任务、模拟器、环境重放和奖励计算理解 τ-bench,并实现一个独立的微型业务评测环境。
读懂 Promptfoo:怎样把案例、模型和断言组织成回归实验
沿固定版本的执行与断言链理解 Promptfoo,使用离线 Provider 演示回归矩阵并解释真实模型接入边界。
读懂 Ragas:一个评测指标怎样变成可执行的评分过程
沿着固定版本的 Faithfulness 调用链理解事实拆分、证据判断、分数聚合和 NaN,再接入中文售后案例。
多模态 Agent 怎样评测:文档、图片与实时语音
从凭证识别到实时语音,解释感知、推理、证据定位、生成质量和交互时序的分层评测。
生产中的评测系统怎样设计:从离线回归到线上反馈
构建数据集、执行器、评分器与实验记录的闭环,解释发布门禁、在线抽样、Shadow、A/B 与平台选择。
怎样知道 Judge 值得信任:人工标注、偏差与校准
用人工对照与成本矩阵校准模型裁判,区分评分、通过阈值和概率,控制偏差及版本漂移。
LLM-as-Judge 怎样工作:把主观要求变成可复核的评分
解释模型裁判的评分机制、标准设计、输入输出契约和错误边界,让语义评分能够人工复核。