用 LLM-wiki 编译 Harness Engineering：3 种开源方案横评

用 LLM-wiki 编译 Harness Engineering3 种开源方案横评用同一批素材喂给 3 种 LLM-wiki 实现看谁编译出的知识库最靠谱——附完整上手教程。一、背景两个新概念的碰撞2026 年初AI 工程领域同时冒出两个有意思的概念Harness Engineering— Mitchell Hashimoto 在 2 月提出核心公式是Agent Model Harness。Harness 指包裹 AI Agent 的完整控制系统guides前馈控制、sensors反馈控制、数据上下文管线、编排逻辑。Martin Fowler 的网站随后发表了系统性长文OpenAI 也披露了内部实践案例。LLM-wiki— Andrej Karpathy 在 4 月提出核心类比是编译 vs 解释。传统 RAG 像解释执行每次查询从零检索LLM-wiki 像编译执行LLM 提前把素材编译成结构化 wiki查询时在编译制品上推理。RAG: query → search chunks → answer → forget LLM-wiki: sources → compile → wiki → query → save → richer wiki这两个概念天然适合放在一起用 LLM-wiki 来编译 Harness Engineering 的碎片知识。更有趣的是——构建 wiki 的过程本身就是 Harness Engineering。CLAUDE.md 是 Guidelint 脚本是 Sensor素材管线是 Data Context Layer。这个自指性我们在最后讨论。二、实验设计素材从公开资料中选取 8 篇高质量素材覆盖学术论文、权威博客、资源汇总、企业实践#来源类型核心贡献1Martin Fowler 长文博客Guides Sensors 分类体系2arXiv 论文学术Natural-Language Agent Harness 形式化3awesome-harness-engineeringGitHub设计原语全景地图4Red Hat Developer企业实践两阶段结构化工作流5SmartScope博客Harness ⊇ Context ⊇ Prompt 三层嵌套6Louis Bouchard博客历史脉络与三概念辨析7Parallel.ai长文五阶段生命周期、组件分类8Atlan指南AgentModelHarness、数据质量三个方案选取类型差异最大的 3 种 LLM-wiki 开源实现方案类型仓库一句话特点ATypeScript CLIatomicmemory/llm-wiki-compiler两阶段编译管线跨源概念合并BShell 技能包sdyckjq-lab/llm-wiki-skill多平台适配EXTRACTED/INFERRED 置信度标签C纯模板tonbistudio/llm-wiki一个 CLAUDE.md 就是全部零代码实验流程同一批 8 篇素材markdown │ ├──→ 方案 ACLI 编译器──→ wiki_B/ 49 概念页 ├──→ 方案 B技能包────→ wiki_C/ 19 页entitytopicsource └──→ 方案 C纯模板────→ wiki_D/ 29 页conceptentitysummary │ ▼ 统一评估30 核心概念覆盖率 交叉引用密度 可审计性三、方案 C纯模板——5 分钟上手适合想零成本试试 LLM-wiki 的人。方案 C 是最简单的起点——全部代码就是一个CLAUDE.md文件告诉 LLM 如何组织知识库。动手教程第 1 步克隆模板gitclone https://github.com/tonbistudio/llm-wiki.git my-wikicdmy-wiki你会得到这个结构my-wiki/ ├── CLAUDE.md ← 核心LLM 的工作指令 ├── raw/ ← 放原始素材不可变 └── wiki/ ← LLM 生成的知识库 ├── concepts/ ├── entities/ ├── summaries/ ├── syntheses/ ├── index.md └── log.md第 2 步放入素材cpyour-articles/*.md raw/把你想整理的文章、笔记、论文放进raw/。支持 markdown、txt 等纯文本格式。第 3 步让 LLM 开始编译在 Claude Code或任何支持 CLAUDE.md 的 Agent中打开这个目录然后说帮我 ingest raw/ 下所有素材LLM 会按 CLAUDE.md 里定义的工作流逐篇处理读取原始素材创建wiki/summaries/摘要页提取概念 →wiki/concepts/提取实体 →wiki/entities/添加[[wikilinks]]交叉引用更新index.md和log.md第 4 步用 Obsidian 浏览直接用 Obsidian 打开wiki/文件夹——所有[[wikilinks]]都能点击跳转Graph View 可以看到知识网络。我们的实验结果指标数值生成页面35 个 .md概念页16实体页5Mitchell Hashimoto、Martin Fowler、OpenAI、Anthropic、LangChain摘要页8交叉引用184 个 wikilinks概念覆盖率93%30 项中覆盖 28 项优缺点优点零依赖、零配置、5 分钟出结果、所见即所得缺点没有自动化全靠 LLM 自觉、来源标注粗糙只到页面级、质量完全取决于 LLM四、方案 B技能包——置信度标签是杀手特性适合用 Claude Code 做知识管理、需要区分原文说的和AI 推断的。方案 B 是一个完整的技能系统有初始化脚本、缓存去重、格式验证、多平台适配。它的独特亮点是EXTRACTED / INFERRED / AMBIGUOUS / UNVERIFIED四级置信度标签。动手教程第 1 步克隆并安装gitclone https://github.com/sdyckjq-lab/llm-wiki-skill.gitcdllm-wiki-skillbashinstall.sh--platformclaude安装器会把技能文件复制到~/.claude/skills/llm-wiki之后 Claude Code 每次启动都能感知这个技能。第 2 步初始化知识库在 Claude Code 里说帮我初始化一个知识库主题是 Harness Engineering语言用 English或者直接跑脚本bashscripts/init-wiki.sh ~/Documents/harness-wikiHarness EngineeringEnglish生成的目录结构harness-wiki/ ├── raw/ │ ├── articles/ ← 网页文章 │ ├── tweets/ ← X/Twitter │ ├── pdfs/ ← PDF │ └── notes/ ← 笔记 ├── wiki/ │ ├── entities/ ← 实体页 │ ├── topics/ ← 主题页跨素材聚合 │ ├── sources/ ← 素材摘要 │ └── synthesis/ ← 综合分析 ├── purpose.md ← 研究方向LLM 每次 ingest 都参考 ├── index.md ├── log.md └── .wiki-cache.json ← SHA256 去重缓存第 3 步填写研究方向编辑purpose.md——这是方案 B 的灵魂。LLM 在每次 ingest 和 query 时都会先读取它## Core Goal Build a knowledge base on Harness Engineering — the discipline of designing control systems around AI agents. ## Key Questions 1. What are the core components of an agent harness? 2. How do different harness designs impact reliability? 3. What is the relationship between prompt/context/harness engineering?第 4 步消化素材cpyour-articles/*.md raw/articles/然后对 Claude Code 说帮我消化 raw/articles/ 下所有素材方案 B 的 ingest 是两步式的Step 1结构化分析 素材 → JSONentities, topics, connections, confidence Step 2页面生成 JSON 现有 wiki → source 摘要页 entity 页 topic 页第 5 步查看置信度标签生成的页面会带置信度注释!-- confidence: EXTRACTED -- **Core formula**: Agent Model Harness (Mitchell Hashimoto, Feb 2026). !-- confidence: INFERRED -- **Role shift**: Programmers role shifting toward designing habitats where agents can do useful work.EXTRACTED原文里字面能找到INFERRED从多处原文推断出来AMBIGUOUS原文说法不清楚UNVERIFIED来自 LLM 背景知识原文没有证据第 6 步健康检查帮我做个知识库健康检查脚本会自动检查孤立页面、断链、index 一致性。AI 会补充检查矛盾信息、交叉引用缺失。我们的实验结果指标数值生成页面20 个 .mdEntity 页8Topic 页3Harness Design Patterns / Agent Reliability / Harness vs Prompt vs ContextSource 摘要页8交叉引用176 个 wikilinks概念覆盖率83%优缺点优点四级置信度标签独家、Topic 页做跨素材聚合、SHA256 缓存避免重复处理、purpose.md引导研究方向缺点页面总数较少粒度粗、部分概念没有独立页面、依赖 LLM 交互五、方案 ACLI 编译器——3 条命令碾压全场适合有 API Key、追求最高质量 wiki 产出的人。方案 A 是唯一全自动的方案——不需要 LLM 交互不需要手动操作三条命令出结果。动手教程第 1 步安装npminstall-gllm-wiki-compiler或者本地安装gitclone https://github.com/atomicmemory/llm-wiki-compiler.gitcdllm-wiki-compilernpminstallnpmrun build第 2 步配置 API KeyexportANTHROPIC_API_KEYsk-ant-...# 或者如果你已经配置了 Claude Code它会自动读取 ~/.claude/settings.json支持 Anthropic默认、OpenAI、Ollama 等多种 provider。第 3 步导入素材mkdirmy-wikicdmy-wiki# 方式一从 URL 导入llmwiki ingest https://martinfowler.com/articles/harness-engineering.html# 方式二从本地文件导入cpyour-articles/*.md sources/第 4 步编译llmwiki compile这一条命令启动两阶段编译管线Phase 1概念提取 逐篇读取 sources/ ──→ 每篇提取 6-8 个概念 Phase 2页面生成 合并同名概念 ──→ 生成 wiki/concepts/*.md ──→ 解析 [[wikilinks]] ──→ 生成 index.md终端输出llmwiki compile ─────────────────── 01-martin-fowler-harness.md [new] 03-arxiv-agent-harness.md [new] ... * Extracting: 01-martin-fowler-harness.md * Found 7 concepts: Harness Engineering, Guides, Sensors, ... * Extracting: 03-arxiv-agent-harness.md * Found 7 concepts: NLAH, IHR, ... ... Resolving interlinks... Resolved links in 40 page(s) * Generating index... Index updated with 49 pages. Compilation complete ──────────────────────── ✓ 8 compiled, 0 skipped, 0 deleted第 5 步查询llmwiki queryWhat are guides and sensors in harness engineering?想把查询结果保存回 wiki知识复合增长llmwiki queryCompare NLAH with traditional code harnesses--save第 6 步增量更新新加了素材再跑一次compileSHA256 哈希检测会跳过未变化的文件cpnew-article.md sources/ llmwiki compile# ✓ 1 compiled, 7 skipped, 0 deleted第 7 步可选MCP Server让 Claude Code 直接驱动 wikillmwiki serve--root./my-wiki我们的实验结果指标数值生成页面51 个.md概念页49交叉引用629 个wikilinks引用密度12.3链接/页概念覆盖率100%编译耗时~2 分钟来看一段生成的页面**Harness Engineering** is a framework for designing reliable AI agent systems through environmental controls and mechanical validation rather than prompting alone.^[01-martin-fowler-harness.md, 06-smartscope-harness.md] The discipline addresses problems prompts cannot prevent by implementing mechanical systems—such as linters, CI/CD pipelines, hooks, and quality gates—that operate outside the language model itself.^[06-smartscope-harness.md]注意^[filename.md]——每一段都标注了出自哪篇素材。优缺点优点全自动3 条命令、概念最全49 页、交叉引用最密629、段落级来源标注、增量编译缺点需要 API Key消耗 token、没有置信度标签、粒度可能过细六、可视化对比编译产出对比Wiki 页面数量方案 A (CLI)方案 B (技能包)方案 C (纯模板)5550454035302520151050页面数Wikilink 交叉引用数量方案 A (CLI)方案 B (技能包)方案 C (纯模板)700650600550500450400350300250200150100500交叉引用数概念覆盖率30 核心概念概念覆盖率方案 A (CLI)方案 B (技能包)方案 C (纯模板)1009080706050403020100覆盖率 %三方案能力雷达图编译质量 ★★★★★ A ★★★☆☆ C ★★☆☆☆ B │ 上手成本 ──────┼────── 可审计性 C ★★★★★ │ A ★★★★☆段落级来源 B ★★★★☆ │ B ★★★★★置信度标签 A ★★★☆☆ │ C ★★☆☆☆ │ 自动化程度 A ★★★★★全自动 CLI B ★★★☆☆脚本辅助 C ★☆☆☆☆纯手动全维度对比表维度方案 A (CLI)方案 B (技能包)方案 C (纯模板)页面数512035交叉引用629176184引用密度12.3/页8.8/页5.3/页概念覆盖率100%83%93%来源追溯段落级^[file]页面级 注释页面级置信度标签无四级标签三级标签前置依赖Node.js API KeyShell无上手时间~3 分钟~5 分钟~1 分钟自动化全自动脚本辅助手动增量更新SHA256 自动SHA256 脚本手动独特特性跨源概念合并purpose.md 引导 topic 聚合零依赖七、关键发现发现 1两阶段编译是杀手级设计方案 A 先从 ALL 素材中提取概念再统一生成页面。这带来两个巨大优势消除顺序依赖不管素材按什么顺序处理结果都一样自动合并5 篇素材都提到 “Harness Engineering”最终只生成一页综合所有来源方案 B/C 逐篇处理先处理的素材会影响后续的概念组织。发现 2粒度是 Trade-off不是越细越好方案 A49 个概念页 → 百科全书式查找方便但信息分散 方案 C21 个概念页 → 平衡点阅读舒适 方案 B11 个实体页 → 综合度高但缺少细节如果你要做参考手册——选 A。如果你要做读书笔记——C 或 B 更合适。发现 3审计有两个独立维度来源追溯“这句话出自哪篇素材” → 方案 A 无敌段落级^[file]可信度判断“这个信息有多可靠” → 方案 B 无敌EXTRACTED/INFERRED/AMBIGUOUS/UNVERIFIED理想的系统应该两者兼备——目前没有一个方案做到。发现 4构建 wiki 本身就是 Harness Engineering这是最有趣的发现。每个 LLM-wiki 工具的组件都能映射到 Harness Engineering 的概念Wiki 工具组件Harness 概念哪个方案做得最好CLAUDE.md / SKILL.mdGuides前馈控制B最详细的 SKILL.mdlint 脚本 / validate-step1.shSensors反馈控制B脚本验证 AI 检查SHA256 缓存Memory StateA全自动增量素材提取管线Data Context LayerB多平台适配器两阶段编译Planning DecompositionAcompile 管线人工审核节点Human-in-the-LoopBreview 系统方案 A 胜出不是因为用了更好的模型而是因为它的harness 设计得最好——两阶段管线 跨源合并 自动链接解析。这恰好印证了 Harness Engineering 的核心论点Agent Model Harness。同一个模型Claude不同的 harness结果天差地别。八、选择指南你有 API Key 吗 ├── 有 → 追求最高质量 │ ├── 是 → 方案 Allm-wiki-compiler │ └── 否 → 方案 Bllm-wiki-skill └── 没有 → ├── 用 Claude Code → 方案 B零 API 费用 └── 想最快上手 → 方案 C零依赖一句话总结方案 A编译质量最高3 条命令出结果需要 API Key方案 B可审计性最强置信度标签是独家特色适合严肃研究方案 C门槛最低一个 CLAUDE.md 就是全部适合快速体验如果只能选一个——选 A。如果你关心AI 说的到底靠不靠谱——选 B。本文的实验数据、评估清单和全部 wiki 产出都在 GitHub 仓库中开源。