中国最应该做 Personal Agent 的,是 Looki

CN
11分钟前

179404095068972.jpg

作者|Yoky
微信|yokyliu617

Personal Agent 火了,但纯软件的 Personal Agent 很快暴露出一个问题:它知道的还不够 personal。

它可以读邮件、查日历、操作浏览器,知道用户在数字世界里做过什么;但用户离开屏幕后见了谁、去了哪里、正在讨论什么,它往往一无所知。越想让 Agent 理解一个具体的人,这部分缺失就越显眼。

于是,Personal Agent 开始从软件里往外走。行业里的思路也逐渐趋同:找一个可以长期跟着人的硬件主体,把它变成 PA 的外界输入源,或者更直白一点:给 Agent 装上眼睛、耳朵和感知器官。

我们顺着这条线看了一圈,突然反应过来:这不就是 Looki 吗?

在 Personal Agent 成为热门概念之前,Looki 已经做了一台挂在胸前的第一视角设备。它最早用 Vlog、漫画和生活回顾让用户理解产品,但这些功能背后真正持续建设的,是怎样获取一个人的现实数据,再把视觉、声音和长期经历变成 Agent 可以使用的 Context。

多数公司从软件出发,开始给 PA 寻找身体;Looki 则从身体出发,慢慢向记忆、洞察和 Agent 层生长。这条反向生长的路径背后,藏着 Looki 创始人孙洋对个人 AI 的另一种判断。

1

Personal Agent 必须和人看到同一个世界

纯软件 Personal Agent 的边界,其实在用户离开屏幕的一刻就出现了。它能读邮件、查日历、操作浏览器,却不知道用户此刻和谁坐在一起、正在讨论什么,也不知道一句话是在会议室里随口提起,还是已经变成了真正的决定。

孙洋把这种缺失称为“同源感知”:人和 AI 看见、听见同一个现场,面对同一组 Ground Truth,再各自形成判断。手机更像“手的延展”,适合叫车、点外卖和完成操作;Personal Agent 如果要成为“大脑的延展”,首先得和人经历同一件事。

这也是硬件存在的理由。孙洋提到过一次looki的“aha moment”:他出差落地上海浦东机场,正准备去购买磁悬浮列车票。就在他走向售票机的时候,Looki 突然提醒他,凭当天的登机牌购票可以享受优惠。它把“刚刚乘坐航班抵达浦东机场”的行程信息,与“正在走向磁悬浮售票机、准备购票”的眼前场景拼在了一起,在恰到好处的时机,提供了一条他可能并不知道、却刚好用得上的建议。

但硬件采回来的是连续画面,PA 需要的却是稳定的状态和变化信号。Looki 把 Loom 时序感知模型放在感知链路的最前面,让它先回答几个高频问题:现在是什么场景,事件是否仍在继续,眼前的变化值不值得进一步理解。它是硬件感知与上层 Memory、Agent 之间的“第一层智能”,也让设备采集什么、系统何时调用更强模型,开始成为一个软硬件共同优化的问题。

179404095713133.jpg

这些问题,随便一个大模型都能回答。真正不同的是,纯软件 PA 要等用户先意识到需求、掏出手机、组织 Prompt;持续在场的硬件可以先看到需求正在形成,举一个例子:几个人走进商场里的餐厅,手机 GPS 只知道他们到了商场,第一视角视觉和现场对话却能分辨他们是来堂食、取外卖,还是只在门口等人。硬件没有让模型更聪明,却让它第一次知道应该在什么时候聪明。

所以,给 PA 做硬件,并不是再造一个更小的手机。执行这件事,中国的 App 已经做得足够好;硬件真正稀缺的价值,是把尚未数字化的现实变成数据源。孙洋的说法很直接:“Personal Agent 最重要的不是 Agent,而是 Personal。”要理解一个具体的人,“近的会打败远的”——PC 比手机远,手机又比可穿戴设备远。

但“离人近”并不等于把任意一块硬件塞到用户身边。昨天我们整理 PA 的硬件形态时,大致能看到三条路线:独立主机可以稳定供电、长期运行模型,却留在家里或桌上;磁吸在手机背后的设备借到了手机的携带率,也能补充专用麦克风和常显界面,但它随时可能在非工作日被拆下;真正能随着人的移动持续采集现实信息的,仍然是可穿戴设备。

可穿戴内部也有分工。戒指能拿到生理信号,耳机和项链容易采到声音,但同源感知不能只有听觉。视觉要接近人的第一视角,位置几乎只剩眼镜和胸前设备。Looki 团队早期花了半年研究眼镜,最后发现重量、续航和实时视觉感知,当时只能兼顾其中两项,于是选择了重约 31.8 克的胸前设备。眼镜更接近双眼,却挑重量、镜片和穿戴习惯;胸前设备的视野没那么精准,却更容易覆盖不戴眼镜的人。最后限制产品形态的,不是想象力,而是光学、功耗和人体工学。

这使得佩戴本身成了第一道算法。设备只有被戴在身上,后面的模型才有数据可算。孙洋给硬件团队的要求是:先忘掉所有 AI 功能,做一件即使没电,用户也不愿意摘下来的东西。它要足够轻、足够像日常穿戴,镜头和麦克风还要尽量降低对周围人的压迫感。

这条路线也不是 Personal Agent 火了之后的重新包装。Looki 在 2024 年的两块产品白板上,已经写下“主动式 AI”“Context 感知”“History Memory”和“AI in Physical World”;记忆、认知、情绪一路指向决策执行,Agent 后面当时还标着“待成熟”。第一代产品仍带着明显的相机逻辑,用 Vlog、漫画等功能帮助用户理解产品;下一代的取舍会更激进——减掉为传统拍摄服务的冗余,让设备从“给人拍”的相机,变成主要“给 AI 看”的感知器官。

到这里,硬件的必要性才完整:它不负责替用户把所有事情做完,而是以足够低的摩擦一直在场,让 PA 和用户看到同一个世界。没有这层入口,所谓 Personal 更多只是软件对已有账号数据的再加工;有了它,Agent 才有机会从“认识数字化的你”,走向“认识正在生活的你”。

1

Always On 之后,真正的难题才开始

可穿戴解决了数据从哪里来,Always On 却立刻带来第二个问题:数据太多了。一天的画面、声音和环境变化,不会自动变成记忆,只会先变成一场夹杂着大量重复、空白和隐私的数据洪水。

孙洋在现场画了一条处理链:设备先产生原始的视觉和声音 Footage,数据经过隐私防火墙、去噪和场景识别,再被切成 Event 和 Moment、打上标签;这些结果用于建立索引、更新 Memory,最后才从“记录”中抽取洞察,决定是否触发一个 Action。用他的话说,完整链条是“记录—索引—洞察—行动”。

这张图最重要的地方,是它没有把摄像头直接接到大模型上。Looki 把这一层自研能力称为 Loom 时序感知模型:第一视角图像先由视觉编码器提取特征,再由轻量 Transformer 聚合连续窗口,输出场景类别、置信度和序列表征。高置信、场景稳定的输入由小模型完成“轻思考”;出现切换、变化信号或不确定情况时,系统才把任务路由给视觉语言模型。即便只有音频,把全天数据全量丢给通用模型,成本也很难成立。

179404096037313.jpg

时序建模首先要解决第一视角画面的抖动:人一低头、一转身,画面变了,场景却未必改变。Loom 会对连续预测做 Viterbi 时序平滑,结合各窗口的概率和场景转移约束,找出更合理的标签路径。在一个包含 91 个窗口的用户日样例中,标签跳变从 33 次降至 13 次,连续场景段从 34 段收敛到 14 段,跳变减少约 61%。这里衡量的是稳定性,不是准确率提升;但稳定的场景状态,直接决定后面的事件组织和 Agent 调度会不会被误触发。

系统还把 Scene、Activity 和 Event 分开。餐厅是场景,吃饭是活动,一次朋友聚会才是带有时间边界的事件;同一场景里可以同时使用手机、用餐和社交,一件事也可能跨越多个场景。这个拆分避免了把“标签变化”简单等同于“新事件发生”,也让不同粒度的信息可以分别进入 Memory 和下游任务。

179404096411710.jpg

稳定也不等于没有变化。同一个办公室里,从独自工作转入一场交流,Scene 标签可能始终不变,但新的信息已经出现。Loom 因此还会比较相邻窗口的特征相似度和场景概率分布,把“标签没变、观测却明显变化”的窗口留下来。视觉变化是否构成事件,交给后续模型判断;时序模型负责先别把这个信号弄丢。

下一层是 Memory。软件 Agent 处理的邮件、网页和日历,本身就有标题、时间和结构;第一视角视觉与声音却是连续、混乱、没有天然边界的非结构化数据。因此,Looki 不能直接照搬现成的 RAG 或记忆方案,而要先从生活中识别人、关系、生活状态和事件,再判断哪些内容值得进入长期记忆。

这里也不是“存得越多越好”。人眼一直在看,但真正进入大脑的只是一小部分;PA 同样需要一套遗忘机制。前置模型先滤掉大部分无用信号,留下 Event 和 Moment,记忆系统再持续更新对用户的理解。用户目前在产品里看到、能够编辑的,只是其中一个子集。

到洞察和行动阶段,系统会同时读两份信息:一份是刚刚发生的原始感知,代表“现在时”;另一份是积累下来的整体记忆,代表“过去式”。只看当下,一张图也许只是有人在车里吃汉堡;结合声音、人物关系和过往路线,它才可能被判断为家庭时光,或者成为一条值得主动推送的信息。

最后,下游的小模型还要决定:现在应该推一条消息、一张漫画、一段视频,还是干脆什么都不做。主动服务最难的不是生成内容,而是预测意图。走进餐厅的人究竟想堂食还是取外卖?如果判断错了,所谓贴心只会变成打扰。

这套系统还有一条反向链路。一次洞察如果漏掉了重点,团队要继续往前归因:是从 Memory 到洞察的 Thinking 出了问题,还是更早的场景识别根本没有记住关键数据?如果缺的是某类记忆,就回到前置模型补识别能力。模型判断还可以反过来影响设备的采集配置:硬件获得观测,Loom 提供场景与变化线索,软件组织事件并调度服务,结果再反馈到后续采集。软硬件因此不是两条流水线,而是同一个持续优化的闭环。

所以,Always On 并不是让摄像头一直亮着那么简单。硬件解决连续采集,前置模型负责遗忘,Memory 负责把碎片组织成一个人的历史,Agent 再决定何时行动。Looki 过去看起来在做 Vlog、漫画和生活回顾,底下真正搭的,其实是这套从原始生活数据到 Context 的基础设施。

1

当硬件开始服务不同的 Agent

把这条链拆开后,软件与硬件的分工也就清楚了。最底下的可穿戴设备负责看和听;中间的感知、事件与记忆层把连续信号整理成 Context;最上面的通用 Agent 和各种服务,负责研究、办公、消费与执行。

硬件之外,中间还会长出一层边缘计算。孙洋设想的完整架构是“端—边—云”:身上的轻量设备负责持续感知,家中的 Always On 节点承担高频降噪、隐私脱敏和初步的多模态融合,云端再负责更复杂的推理。这样既能减少原始数据直接上云,也把最频繁的计算从昂贵的大模型调用中拆出来。

Looki 并不是完全不做软件Agent。它做自己的场景模型、Memory 和部分下游 Agent,也会判断何时推漫画、消息或洞察;但它不准备把所有能力都包进一个无所不能的通用 PA。孙洋认为,叫车、点外卖、回邮件这些高频任务,大厂已有 App、数据和服务生态,创业公司没有必要重新做一遍。

更合适的位置,是把硬件获得的 Event、Memory 和实时感知开放出去,让 Claude、Codex 或其他 PA 在需要时调用。Looki 已经开放 Skills、Plugin、API 和 MCP,也与 WorkBuddy 打通了 Context;Loom 在自家软硬件上打磨成熟后,也计划进一步开源。孙洋用一句话概括这种关系:“不存在谁接给谁,未来是 agent-to-agent 的 talk。”用户选择哪个 PA,是上层问题;硬件负责不缺席,中间层负责持续认识这个人。

这也意味着,未来的 PA 未必只有一具完整身体。戒指提供生理信号,胸前设备提供第一视角,手机负责交互和执行,家里的主机负责算力与长期记忆——不同硬件可以拼成一具分布式身体。Looki 想占住的,是其中最靠近现实世界的那一段:把人正在经历的生活,转换成任意 Agent 都能理解的数据。

这个位置的壁垒不只是卖出多少台硬件,而是有没有足够真实的第一视角数据去发现问题、建立评测体系。按孙洋在采访中给出的口径,Looki 已累计约 20 万小时第一视角多模态数据;但普通用户未经授权的数据不会被用于训练,真正进入后训练的是加入“超级伙伴计划”、签署授权协议的数据。硬件带来真实场景,授权数据改善场景、记忆和意图模型,模型再提高产品价值,这才是它真正想跑起来的飞轮。

下一代产品会把这套分工做得更彻底。孙洋透露,新硬件将采用更低功耗的平台,目标是声音持续在线、视觉以大约每秒一帧的方式采样,同时做得更小、更轻,弱化“摄像机”的存在感。它不再追求拍出一段给人看的高规格视频,而是用足够稳定的信号,让 AI 不错过上下文。

免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到[email protected],本平台相关工作人员将会进行核查。

双十一,最低5折,100%抽中AiCoin 好礼
双十一活动6.8折
广告
分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接