CyrilXBT
CyrilXBT|2026年11月04日 04:45
每个人都在追逐下一个模型。 真正的优势往往平淡无奇。 围绕你实际的工作方式构建一个框架。 你的代理已经记录了每个会话。 每个提示。 每次工具调用。 每个错误。 每个令牌。 几乎没人会阅读这些记录。 这一个提示就能将这些日志转化为仪表盘,并准确地告诉你需要修复什么。 将其粘贴到 Claude Code 或 Codex 中 提示开始 请根据我过去 7 天的 AI 编码会话,为我构建一个可观测性仪表盘(类似 Langfuse)。 来源(只读,切勿修改): Claude Code:~/.claude/projects/**/*.jsonl Codex:~/.codex/sessions/**/*.jsonl 和 ~/.codex/history.jsonl 隐私:切勿打印密钥、API 密钥或完整提示。任何代码片段都应少于 10 个单词,并移除键、路径、URL 和长 ID。 步骤 1:数据统计 编写一个仅使用标准库的 Python 脚本。针对每个工具,计算以下内容: • 按工具名称统计的每日会话数、提示数和工具调用次数 • 按工具和错误类型分组的失败工具调用次数 • 每日使用的模型数以及每个模型的令牌数(输入、输出、缓存读取、缓存写入) • p50 和 p95 时的工具调用延迟和会话时长 • 按令牌数、会话时长和重试次数(错误后重复调用)统计的最大会话数 • 按任务类型分类的提示数:构建、调试、部署、研究、写作、UI、审核、其他 • 按项目文件夹分组的会话数,并标记子代理运行情况 如果日志中缺少某些内容,请填写“未记录”。切勿随意编造数字。 将所有数据保存到 harvest-summary.json 文件中。 步骤 2:仪表盘 创建一个独立的 dashboard.html 文件,采用深色主题并包含动画图表: • 顶部栏:工具调用次数、提示次数、错误率、令牌数、P95 延迟 • 会话表:工具、项目、开始时间、持续时间、提示次数、工具调用次数、错误次数、令牌数、模型。可搜索、排序、筛选,并带有隐藏子代理运行的切换开关 • 点击任意会话即可查看每次回合和工具调用的时间线,标记为成功或错误,并显示持续时间 • 按项目划分的会话图表、按模型划分的令牌数随时间变化的图表,以及包含错误率的模型表 • 按工具划分的延迟,以及按工具和错误类型分组的错误浏览器 • 每个会话的健康评分,清晰地标记为“启发式” 如果文件过大,则仅包含令牌数排名前 200 的会话。 步骤 3:修复 仅使用这些数据,编写 HARNESS.md 文件,并附上对我的 CLAUDE.md 或 AGENTS.md 的建议修改: • 模型路由:根据哪些模型有效、哪些模型失败,确定哪些模型应该处理哪些任务类型。 • 工具:保留(使用频繁,很少失败)、修复(经常失败)、删除(几乎不使用)。 • 技能:为我重复 3 次以上的每个任务添加一个技能,并包含触发语句和步骤。 • 防护措施:我最常见的 3 种故障模式以及防止每种模式发生的检查。 • 预算:我最大的 5 个令牌消耗以及减少每个消耗的更改。 请提供每个建议的来源会话。 步骤 4:先进行审核 请以差异的形式向我展示我的 5 个主要数据和建议的配置更改。在我批准之前,请勿进行任何更改。 提示结束 每周运行一次。 仅更改数据证明有效的部分。 这就是为什么你的人工智能每周都在进步,而其他人还在等待下一个模型出现。
+4
曾提及
分享至:

脉络

热门快讯

APP下载

X

Telegram

Facebook

Reddit

复制链接

热门阅读