CyrilXBT|2026年11月04日 04:45
每个人都在追逐下一个模型。
真正的优势往往平淡无奇。
围绕你实际的工作方式构建一个框架。
你的代理已经记录了每个会话。
每个提示。
每次工具调用。
每个错误。
每个令牌。
几乎没人会阅读这些记录。
这一个提示就能将这些日志转化为仪表盘,并准确地告诉你需要修复什么。
将其粘贴到 Claude Code 或 Codex 中
提示开始
请根据我过去 7 天的 AI 编码会话,为我构建一个可观测性仪表盘(类似 Langfuse)。
来源(只读,切勿修改):
Claude Code:~/.claude/projects/**/*.jsonl
Codex:~/.codex/sessions/**/*.jsonl 和 ~/.codex/history.jsonl
隐私:切勿打印密钥、API 密钥或完整提示。任何代码片段都应少于 10 个单词,并移除键、路径、URL 和长 ID。
步骤 1:数据统计
编写一个仅使用标准库的 Python 脚本。针对每个工具,计算以下内容:
• 按工具名称统计的每日会话数、提示数和工具调用次数
• 按工具和错误类型分组的失败工具调用次数
• 每日使用的模型数以及每个模型的令牌数(输入、输出、缓存读取、缓存写入)
• p50 和 p95 时的工具调用延迟和会话时长
• 按令牌数、会话时长和重试次数(错误后重复调用)统计的最大会话数
• 按任务类型分类的提示数:构建、调试、部署、研究、写作、UI、审核、其他
• 按项目文件夹分组的会话数,并标记子代理运行情况
如果日志中缺少某些内容,请填写“未记录”。切勿随意编造数字。
将所有数据保存到 harvest-summary.json 文件中。
步骤 2:仪表盘
创建一个独立的 dashboard.html 文件,采用深色主题并包含动画图表:
• 顶部栏:工具调用次数、提示次数、错误率、令牌数、P95 延迟
• 会话表:工具、项目、开始时间、持续时间、提示次数、工具调用次数、错误次数、令牌数、模型。可搜索、排序、筛选,并带有隐藏子代理运行的切换开关
• 点击任意会话即可查看每次回合和工具调用的时间线,标记为成功或错误,并显示持续时间
• 按项目划分的会话图表、按模型划分的令牌数随时间变化的图表,以及包含错误率的模型表
• 按工具划分的延迟,以及按工具和错误类型分组的错误浏览器
• 每个会话的健康评分,清晰地标记为“启发式”
如果文件过大,则仅包含令牌数排名前 200 的会话。
步骤 3:修复
仅使用这些数据,编写 HARNESS.md 文件,并附上对我的 CLAUDE.md 或 AGENTS.md 的建议修改:
• 模型路由:根据哪些模型有效、哪些模型失败,确定哪些模型应该处理哪些任务类型。
• 工具:保留(使用频繁,很少失败)、修复(经常失败)、删除(几乎不使用)。
• 技能:为我重复 3 次以上的每个任务添加一个技能,并包含触发语句和步骤。
• 防护措施:我最常见的 3 种故障模式以及防止每种模式发生的检查。
• 预算:我最大的 5 个令牌消耗以及减少每个消耗的更改。
请提供每个建议的来源会话。
步骤 4:先进行审核
请以差异的形式向我展示我的 5 个主要数据和建议的配置更改。在我批准之前,请勿进行任何更改。
提示结束
每周运行一次。
仅更改数据证明有效的部分。
这就是为什么你的人工智能每周都在进步,而其他人还在等待下一个模型出现。
分享至:
脈絡
熱門快訊
APP下載
X
Telegram
複製鏈接