过去两年间,大量手机制造商已将大模型整合进其设备中。
“手机是距离Personal Agent最近的一块智能终端”这一观点在当下已成为行业普遍认知:手机普及率近乎100%,始终伴随用户,连接通讯、支付、出行、影像及各类生活服务,占据大多数人90%的使用时长,自然积累着一个人最完整的上下文信息。
然而,多数情况下,内置大模型的手机仍仅能提供更聪明的“手机助手”:能回答问题、总结文档、修饰图片,却难以真正替用户完成一项复杂任务。
如今,Agent的出现正在改变这一局面。
Agent使手机具备了任务规划、工具调用及长程执行能力——用户无需再逐一指示手机如何操作,只需给出目标,剩余问题由模型负责理解、分解,并调用系统功能、应用及服务来完成。
这也使得AI手机的竞争焦点开始转移——决定用户体验的,不再仅仅是模型是否足够智能,而是模型之外的一整套系统:上下文如何组织、记忆如何调用、工具与技能如何编排、图形界面如何操作,以及任务失败后如何恢复等。
阿里在今年云栖大会上发布的手机智能业务Qwen Intelligence正是这样一套系统。
阿里并不亲自涉足手机制造,Qwen Intelligence也不仅仅是模型或Agent,而是一套面向手机厂商的AI手机全栈解决方案。它基于千问大模型,为终端厂商提供从底层模型、Agent平台到场景方案的一整套“智能层”。覆盖用户意图理解、复杂任务规划、工具调用、跨应用执行、多模态创作、记忆及主动服务等能力,目标是助力手机从“能理解用户”进一步迈向“能替用户把事情办妥”。
Qwen Intelligence此次发布了三个Agent方案:Mobile Planner Agent、Mobile Use Agent和Creative Agent,分别对应“规划、操作和创作”。其中,Mobile Planner Agent负责理解复杂需求、分解任务及编排工具;Mobile Use Agent负责实际操作手机,采用“API优先、GUI兜底”的混合模式;Creative Agent则面向图片和多模态内容生成,由规划模型理解需求并自动组织创作流程。
而每一个Agent背后,均由针对手机专门优化过的千问大模型,以及与之协同适配的Harness进行调度。
对手机厂商而言,这套方案采用模块化交付方式:模型底座、Harness、端云协同、运维与安全能力均可按需接入,厂商也可继续加入自己的工具、技能及系统能力。在AI手机产业链中,阿里希望扮演的并非手机OS的替代者,而是OS与基础模型之间的一层Agent基础设施。
云栖大会期间,智能涌现与阿里巴巴ATH事业群副总裁、Token Foundry Qwen手机智能负责人许主洪探讨了这套AI手机解决方案,以及他眼中的下一代Agent手机。
以下为智能涌现与许主洪的对话,略经编辑。
01. Agent手机是不可阻挡的趋势
智能涌现: 为何会开辟Qwen Intelligence这一业务,看到了怎样的机遇?
许主洪: 手机Agent这一方向自去年起行业便开始关注,今年真正升温,至今几乎每家手机厂商及大模型公司都在进行相关布局。手机行业正面临自2007年iPhone发布以来最大的技术变革,我们看到了未来巨大的市场机会。
手机Agent在渗透力、使用深度及商业化收入方面,未来均有望实现十倍甚至百倍的增长,但当前行业仍处于早期阶段,需要各方共同投入。而阿里在这方面能提供的核心价值,便是我们的模型及AI全栈能力。因此,我们决定孵化Qwen Intelligence业务线,希望为行业构建通用智能平台,从而加速整个AI手机的发展,让体验尽快成熟。
智能涌现: 现有智能设备种类繁多,为何选择手机作为业务载体?手机有何独特优势?
许主洪: 手机已是中国规模最大的个人智能终端,普及率近乎100%,占据大多数人90%的使用时长,用户90%的上下文也都沉淀在手机上。若未来每位用户都拥有个人AI助理,该助理的大部分交互大概率也会发生在手机上。因此,我相信Agent手机是Personal Intelligence进入真实世界的首要入口,也是迈向个人ASI的必经之路。
智能涌现: 那么有何特殊难点?
许主洪: 手机上的任务更为碎片化,意图理解的挑战也更大——在手机场景下,意图常是模糊的,用户的查询通常也很短,一般不超过20个字。
手机还配备多种传感器,可接收不同模态,包括声音、影像、位置等感知信号,这些是PC所不具备的。这些信号能为手机带来更丰富的上下文,也使手机Agent有机会提供更多主动服务。但这同时对模型和Agent的核心能力提出了更高要求,例如多模态理解交互、更优的推理决策等,这些都是我们在手机场景下需要解决的问题。
此外,手机场景还面临更严格的工程约束,如时延、功耗、成本等,均比PC严格得多。隐私安全问题在手机场景下也需以更严苛的标准对待。
智能涌现: “手机助手”这一形态一直存在,如Siri,但过去这类助手并未成为用户使用手机的实际入口。那么,今天是哪些变量发生了变化,使手机能成为这样的入口?
许主洪: 最核心的变量是整体智能的提升。
手机Agent的能力边界需从完成简单指令任务,扩展到支持更模糊的意图、更多工具调用、跨应用操作,乃至跨小时跨天的复杂任务。未来随着模型能力进一步提升,我们离质变的临界点已不远。
实际上,随着Agent能力提升,用户也在不断被教育,整体用户心智正快速成熟。例如过去两年,Coding Agent已广泛应用;年初OpenClaw的爆火,也预示着下一阶段Agent的爆发点很可能发生在手机上。
02. 模型和Agent,如何在手机里真正理解用户
智能涌现: 请详细介绍一下Qwen Intelligence,它是什么样的业务?
许主洪: 这是我们专为手机场景深度优化的模型与Agent解决方案。
我们的定位很明确,即做toB解决方案提供商,而非自行制造手机。我们希望通过输出解决方案赋能手机厂商,共同打造下一代Agent手机。
因此,我们在行业早期便站出来,围绕千问大模型打造解决方案,牵引行业整体智能提升。我们希望推动Agent手机加速发展,让个人智能真正进入真实世界。
智能涌现: 这实际是“模型+平台+Agent方案”三部分组成的解决方案,为何如此设计?这三部分分别解决什么问题?
许主洪: 这三部分中,最底层是千问大模型,是专为手机场景深度优化的智能底座。传统通用模型直接迁移至手机场景是不够的,模型需针对手机场景进行深度优化——它比通用模型能力更强、性价比更高。
中间一层是平台层,支持模块化接入。我们并非简单提供黑盒API,而是提供可定制化平台——例如Harness及客户业务规则均可定制。此外,我们还提供一站式运维平台,提升整体运营及迭代效率,帮助客户降低研发与接入成本,同时满足差异化竞争需求。
最上层是Agent方案。我们提供高价值垂直场景解决方案,也愿意支持厂商打磨精品Agent,以更好满足真实场景下的用户需求。
最后,我想强调安全与隐私方面,这是解决方案落地过程中手机厂商和用户非常关注的问题。因此,我们以最高安全标准设计产品解决方案,全方位保护确保用户隐私得到最大保障。无论模型研发、Agent设计还是整体平台开发,我们始终严守安全边界。
智能涌现: 为何说手机直接接入通用大模型体验不够好?为何要针对手机做定制化模型?
许主洪: 手机场景有非常特殊的挑战。
如前所述,手机用户需求碎片化,意图模糊,准确理解用户需求需模型从分享的上下文中挖掘信息。这些上下文可能来自手机不同的传感器、不同的应用,这与PC很不同。
在动作空间方面,差异化也很大。手机有各种系统工具,是高度复杂的Agent环境——如何调用不同应用、不同工具、不同API,挑战巨大。
最后,手机对时延、功耗、成本也很敏感。
这些特点对模型的端云协同、闭环执行及操作安全提出了很高的工程约束要求。这些挑战无法通过其他手段解决,必须针对模型进行深度优化——需将手机特有场景需求,如端侧感知、工具理解、推理实验需求、思考速度、记忆使用等,都优化进模型中。
智能涌现: 具体做了怎样的优化?
许主洪: 在真实业务场景中,不仅评测模型本身的准确率,还要评测端到端任务的完成率。我们的手机模型正是针对手机真实场景进行优化,力求达到SOTA。
目前,我们端到端任务成功率超过90%。在mobile类评测上,我们也超越了业界最前沿通用模型的能力。
智能涌现: 你提到“端云协同”,具体哪些任务适合放在端侧,哪些适合云端处理?
许主洪: 长期来看,随着手机芯片算力不断提升,端云协同是必然趋势。我们也相信Agent Phone要获得良好用户体验,背后架构必须采用端云协同——端侧负责低时延、强隐私的需求,同时兼顾成本;云侧主要处理复杂请求,如基于开放知识的复杂回答及长程任务规划拆解。
短期来看,端侧算力相对有限。受限于手机端侧严格的工程约束,端侧模型更侧重负责简单任务,如简单指令的意图理解执行。但随着端侧算力增强及模型智能提升,以前在云侧完成的部分任务将逐步移至端侧闭环。整体端云协同的时间成本未来也将有较大改善。
智能涌现: 要让Agent完成复杂任务,不仅依赖模型,Harness也至关重要。在解决方案中,模型和Harness分别解决什么问题?
许主洪: 完成真实复杂任务确实需要模型与Harness深度适配。
模型是Agent的智能底座,需在开放目标中实现全局理解。当前模型在接收到明确、完整目标时,分解步骤已做得不错。但在真实场景中,用户很少给出完整目标。
例如,用户说“今天帮我安排去北京出差”——这背后涉及不同需求与步骤,如订机票、订酒店、改行程、通知同事等。模型需根据多方面信息,包括消息、偏好、历史对话等,推断简单一句话背后的隐含需求。更困难的是,用户中途可能改变想法,如Agent准备订机票时用户说“算了,我这次坐高铁”,那么模型需在这些局部调整中保持对最终目标的理解判断——用户是修改原计划一部分,还是重新提出新任务请求。这对模型要求很高。
Harness是让整体任务推进的关键模块。它需维护跨应用、跨会话的任务状态,如Agent当前进展、中间结果、还差什么等。更关键的是,当任务执行过程发生异常时,如何处理——继续执行、重试、回退或向用户确认。这些都是Harness需要处理的。
此外,要让Agent手机更懂用户,Agent还需维护主动服务能力,并用精细的多层记忆体系做好个性化服务。这需要用户长短期身份识别及更丰富的上下文处理,才能做到精准且不打扰用户的主动服务。
因此,我们需要提供深度优化的整体解决方案,包括模型智能底座和适配模型能力协同进化的Harness。这套Harness也支持用户自定义能力。当模型升级时,Harness随之适配优化。例如,模型新增对某种工具调用的支持,Harness在智能编排上也需纳入该新工具。
模型和Harness的协同优化提高整体Agent性能,并随不断积累用户经验和记忆,持续提升对用户个性化需求的理解。
智能涌现: 模型和Harness的协同优化如何实现?在训练环节就做协同训练吗?
许主洪: 以训练为主。我们在模型后训练中加入Agent环境,让模型通过Agent强化学习,学习环境的各种适配信息。
智能涌现: 所以关键是来自真实场景的任务轨迹数据?
许主洪: 轨迹数据是其中一部分,另一块是在真实环境中获取执行反馈——如何时出现异常、什么条件下需调用不同工具或技能等。
很多时候,这些无法在仿真环境中模拟。因此,我们除了在仿真环境训练,也需在真机场景中做好模型与Agent Harness的协同。
智能涌现: 是否所有帮用户完成复杂任务的Agent都需要这种协同训练?
许主洪: 我认为是必须的。复杂任务需Agent跨多个应用、多个会话,甚至跨多种场景。这时无论对模型规划能力还是Agent稳定执行,都提高了要求。若模型和Harness未协同,很难办好此事。
智能涌现: 具体到Agent,为何这次发布Planner、Use和Creative三个Agent?
许主洪: 我们针对手机场景用户的核心痛点与需求进行思考。我们认为,当前Agent手机最缺乏的是能规划的大脑,这是最关键一环;此外,还需一双能执行任务的手,这对应我们提出的两个核心Agent:Mobile Planner Agent和Mobile Use Agent。
另外,考虑到手机场景中影像类需求非常高频,我们也推出创作Agent来承接用户表达、创作的核心诉求。
智能涌现: 这三个Agent具体能完成什么?
许主洪: 首先是手机大脑Mobile Planner Agent,它是核心规划中枢,主要解决智能规划问题。
从简单任务到复杂长程任务,该Agent需负责用户意图理解、复杂任务分解、工具编排调用。其核心能力是精准理解长程规划并能动态调整。例如用户说“帮我安排周末去上海出差”,它需分解成订机票、订酒店、设日历、规划路线等子任务。用户需求变化时,也能动态调整。
第二个Mobile Use Agent,主打手机操作,解决智能执行问题。我们的思路是不单纯依赖GUI操作,而采取混合执行模式——API优先,GUI兜底。当有API高效路径可用时,优先调用API;若走不通,再考虑GUI操作。GUI操作主要用于常规场景,整体策略严守安全边界,确保用户隐私。
最后是Mobile Creative Agent,它是影像创作Agent。手机用户对影像需求很大,但要求也高,如希望一句话完成作品。因此我们对这个Agent做了极致优化,包括轻量生成编辑模型,实现效果领先、速度最快、性价比最高。
这三个Agent虽分开模块设计,但可互相协同——手机大脑负责思考,操作负责执行,影像是承接创意,复杂任务的落地。
智能涌现: 影像创作Agent已是热门赛道,市场上有不少toC、toB产品,为何选择在拥挤赛道中再做Agent?优势在哪?
许主洪: 我们做的是专门针对手机场景的创作Agent,能针对手机场景深度优化。我们做了很多工作,如针对手机场景设计轻量化生成、编辑模型。
千问模型在通用创作能力上达行业第一梯队,但在手机专属场景中,我们做到了行业领先。整体上,我们让影像创作在手机上有更好体验——效果更好、速度更快、成本更低。例如,首图生成只需3秒,相比市场最佳竞品提速2倍,性价比提升2到3倍。
未来我们还将推出更多影像Agent,覆盖拍摄前、拍摄中、拍摄后全流程。解决用户影像创作需求还有很多工作可做。
智能涌现: 你认为在什么情况下,手机可被视为真正进入Agent手机阶段?目前哪些能力已具备,哪些还有很长路要走?
许主洪: 一个重要标准是,是否每个人都能将手机Agent能力在日常生活中用起来。今天显然未达到。
但正如iPhone从第一代到真正全面使用经历了三四代迭代,Agent手机这个大方向已非常明确,但仍需大量投入。当模型继续变强、有更多工具可用、手机芯片能力进一步提升时,我们一定会看到更多用户体验提升。未来两三年,我们将看到手机Agent的巨大爆发。
03. 不下场做手机,只做AI技术解决方案
智能涌现: 你们采用API优先GUI兜底的交互方式,这是否意味着App开放能力成为关键点?
许主洪: 目前手机应用生态不够统一——有些App有API,更多App仍需依赖GUI操作。用户真实任务往往需跨多个应用协同完成。因此,我们认为API+GUI操作的混合模式将较长时间存在。但我们相信开放是大趋势,主流应用将逐渐走向API开放。
GUI操作是通用调度能力,能解决长尾应用覆盖问题。因此整体策略是“API优先,GUI兜底”——有接口时,通过多种方式如MCP、CLI、deeplink等直接调用应用,缩短执行路径,提升效率;无接口时,通过视觉理解、视觉操作等能力覆盖长尾应用。前面提到的Mobile Use Agent会根据任务目标及实施状态动态选择组合这两种方式。
智能涌现: 关于GUI操作,行业一直有权限与隐私争议,你们如何解决?
许主洪: 在安全隐私方面我们高度重视。我们提出多种策略对Agent安全边界进行控制与保护。
第一层,对违法、违规的高风险请求直接拒绝,Agent动作执行直接终止。
第二层,关键步骤如需用户确认,由用户接管,如涉及转账、数据删除、隐私授权等敏感操作,主动叫停,等待用户指示。
第三层,严格遵守应用自身规则。例如有些应用明确禁止Agent自动操作,如自动评论、自动发消息等,我们都遵守。
最后一层是安全护栏。因模型目前无法百分百完美,我们在执行动作前还会经过安全护栏,避免Agent在模型理解错误或信息不足时进行有风险操作。
智能涌现: 阿里自身拥有庞大App生态,如何最大限度用好阿里生态?
许主洪: 在行业早期,阿里应用生态是Qwen Intelligence与用户之间的一道抓手,我们也支持手机厂商通过应用生态提高渗透率。未来,我们会与厂商一起在垂直场景中打磨精品Agent,满足用户真实需求,让用户将AI助手在真实场景中用起来。
但长期来看,在手机Agent赛道,最重要的仍是整体智能提升。我们需围绕阿里大模型能力,用最好模型打造更聪明更懂用户的手机Agent,然后在真实场景中落地这些模型与Agent能力。
智能涌现: 未来当Qwen Intelligence每天处理大量用户请求时,如何平衡自有生态利益与用户利益?例如用户提出意图后,Agent会优先调用阿里生态内App,还是以标准选取用户利益最优App?
许主洪: 我们的核心是提供智能底座与平台能力,不做手机,即不控制流量入口,也不直接决定App调用优先级。
目前行业处于早期阶段,谈流量分配为时尚早。现阶段最重要的是聚焦如何将Agent做好、市场做大、用户体验做好、场景更丰富。若真需面临这种选择,答案很明确:我们一定会以用户价值、用户体验为第一评价标准。
智能涌现: 聊聊与荣耀的合作吧,即将发布的荣耀Magic9系列是首批正式搭载QI的手机,合作模式如何?
许主洪: 阿里与荣耀过往已有多次合作,这次是AI手机上的战略合作。
具体而言,阿里提供针对手机深度优化的行业模型及Agent解决方案,荣耀负责整体手机设计与生产,双方深度共建,合作较深。
我们希望未来Qwen Intelligence能为整个行业所用,构建真正的行业基础设施,让手机厂商都来使用我们的解决方案开发下一代Agent手机。
智能涌现: 合作“比较深”深到什么程度?为何不更进一步,与手机OS更深度结合,这样用户体验不是更丝滑吗?