【评论赢京东卡】重塑交互想象！全场景触控与语音方案大征集

APP内置YOYOClaw专精模型，一句话调用APP功能，侧边悬浮球快捷交互

一、当前痛点

现在YOYO大多是系统级AI，对第三方APP内部的菜单、功能、独有数据了解有限。
我们使用各类APP时，经常需要多层点击、翻找菜单才能完成操作：比如查订单、发起分享、筛选内容、开启APP特定功能，操作路径繁琐；
普通语音助手很难读懂这个APP独有的页面逻辑，只能做通用问答，没办法精准理解APP内部专属功能和本地内容。

二、优化方案：APP集成轻量化YOYOClaw专精模型

荣耀联合主流APP厂商，在APP内部嵌入轻量化YOYOClaw专精子模型。
这个模型只专注当前APP内部的知识、功能与业务逻辑，不做全场景通用对话。

- 可以回答和这个APP相关的问题；
​
- 支持一句话直接调用APP内功能，不用手动逐层点菜单。

交互方式：侧边悬浮球快捷入口

打开对应APP后，屏幕侧边自动弹出YOYO悬浮球；
长按悬浮球即可直接语音和YOYOClaw对话。

举例：打开购物APP，长按悬浮球说“帮我看看最近待收货的订单”，直接跳转订单页面；
打开笔记APP，说“新建一条笔记，标题写今日计划”，直接唤起新建笔记；
视频APP里说“开启倍速播放1.5倍”，直接调用APP播放设置。

核心工作逻辑

1. APP内置轻量化YOYOClaw专精模型，学习该APP的菜单、功能、业务术语；
​
2. 用户语音指令，交给这个APP本地专精子模型识别；
​
3. 模型解析意图，直接调用APP原生接口执行对应操作；
​
4. 系统YOYOClaw负责统一调度，区分「系统级问答」和「当前APP内部操作」。

三、配套规则，兼顾隐私与体验

1. 悬浮球自动适配：只在合作APP打开时显示；退出APP，悬浮球自动消失，不会一直挡屏幕。悬浮球支持拖动，也可以在设置里一键关闭。
​
2. 权限可控：需要用户主动授权，AI才能读取APP内容、调用功能；没有授权时，无法访问APP内个人数据。
​
3. 区分本地/云端：简单指令优先在APP内轻量化模型本地推理，响应更快；复杂查询再上云，减少等待时间。
​
4. 故障兜底：如果模型识别不出指令，自动提示，不会随意触发误操作。

四、预期收益

1. 大幅降低APP操作成本，一句话直达功能，省去多层点击找菜单，尤其适合复杂APP。
​
2. APP内置专精模型，只懂本APP业务，识别意图更精准，比通用大模型好用很多。
​
3. 悬浮球轻量化入口，不常驻占用屏幕，随APP自动出现/隐藏，交互自然。
​
4. 依托YOYOClaw调度体系，和系统YOYO能力打通，保持统一交互习惯。

建议开发范德华力可反复拆装光学膜，贴附后屏幕自动识别并适配触控，实现一体化等厚屏幕方案

正文

痛点现状

目前市面上可拆卸手机保护膜大多采用磁吸方案，需要在边框内置磁铁，会占用机身内部空间、干扰无线充电与天线，还容易吸附金属碎屑。普通钢化膜厚度固定，贴上之后触控手感、屏幕厚度会明显变化；并且传统可拆卸膜无法被手机识别，屏幕触控参数不会随之调整，容易出现断触、触控不准。

我参考保鲜膜的贴合原理，提出无磁吸可反复拆装光学膜方案，不靠磁铁，依靠分子范德华力（微真空静吸附）贴合屏幕。贴膜可以作为屏幕的可替换组成部分，贴附后整机厚度保持一致，屏幕自动感知贴膜并动态优化触控参数。

方案构想

1. 贴合方式：范德华力微吸附，取消磁吸
贴膜依靠分子间吸附力贴合屏幕，不需要胶水、不需要内置磁铁。拆装方便，可反复取下、贴回，不会损伤屏幕，也不存在磁吸带来的电磁干扰、占用机身空间等问题。优先在直屏机型试点，后续评估曲面屏适配。
​
2. 等厚一体化设计
屏幕本体可以做的更薄。当这张光学膜吸附到屏幕表面后，屏幕+贴膜组合的总厚度，刚好等同于传统完整屏幕厚度。贴膜不再是额外叠加的“配件”，而是屏幕可更换的表层保护组件，手感平整无台阶。
​
3. 贴膜识别 + 触控参数自动适配
在屏幕底层增加识别机制，当光学膜吸附贴合到位后，屏幕可以感知贴膜已经安装，自动切换对应的触控算法：

- 贴膜装上：适配膜层带来的触控信号衰减，优化触控采样参数，消除断触、触控偏移；
​
- 贴膜取下：自动切回裸屏触控参数，裸屏本身色彩、触控能力不会降级，不存在摘膜后画质变差的问题。

预期收益

1. 去掉磁吸结构，不占用手机内部空间，不会干扰无线充电、天线；
​
2. 屏幕本体做薄，贴完膜厚度不变，手感一体化，没有普通贴膜凸起台阶；
​
3. 自动识别膜的有无，动态调节触控，贴膜和裸屏都拥有精准的触控体验；
​
4. 免胶可反复拆装，更换简单，减少频繁贴膜的成本。

人机交互创意方案

结合办公、移动出行、居家等多场景，围绕触控与语音交互，打造高效自然的人机交互方案，适配用户多元化使用需求。

在触控交互层面，针对不同使用场景提供自适应触控策略。办公场景下，支持多指自定义手势，可快速完成文档缩放、窗口分屏、截图批注；大屏与小屏设备之间支持跨屏触控联动，手机轻触即可将文件拖拽至电脑，实现无缝流转。同时加入智能识别功能，区分误触与主动操作，手持移动时降低误触概率。手写触控支持笔迹智能优化，随手记录的潦草笔记自动规整、提取文字，提升记录效率。

语音交互方面，打造轻量化、低门槛的语音助手。支持场景化静默唤醒，办公开会时自动降低语音响应音量，避免打扰他人；嘈杂环境下AI降噪，精准识别指令。支持连续对话，无需反复唤醒，可连贯完成多任务，例如“打开文档，翻到第三页，标记重点并生成摘要”。同时兼顾离线语音能力，无网络环境下依旧支持基础指令操作。

针对多设备协同场景，实现跨端交互统一。语音指令可在手机、电脑、平板之间流转，一处下达指令，多设备联动响应。还可根据用户习惯学习交互偏好，自动调整触控灵敏度、语音响应语速。针对特殊人群，提供语音转文字、触控放大等无障碍交互选项。

整套方案弱化设备边界，兼顾触控精准度与语音自然度，让用户在办公、通勤、居家等场景，都能以更便捷、高效的方式完成操作，实现无感流畅的人机交互体验。

建议优化：基于手指滑动速度+按压力度，双维度动态调节屏幕刷新率与控件动画帧率

一、现有痛点（精简版）

当前LTPO动态刷新率仅依靠「页面是否滚动」单一判断，策略较为固定：

1. 轻微慢滑也直接拉满120Hz，造成大量无效耗电。
​
2. 快速重滑时帧率提升略有滞后，极致手感不够极致。
​
3. 无法区分用户“随便翻翻”和“快速翻阅”的操作意图，体验和功耗无法兼顾。

二、优化核心构想（具体化、可落地）

建议新增 触控速度 + 触控压力双维度智能调度机制。
系统不再只看画面有没有动，而是直接读取手指操作数据，同步控制两项参数：
① 屏幕硬件刷新率 ② 页面卡片/列表的动画渲染帧率

具体分级策略（非常明确、可直接写进代码）

1. 低速+轻按（休闲浏览）
手指滑动速度低、按压力度小 → 判定为慢速翻看

- 屏幕自动降至中低刷新率
​
- 控件动画降低渲染帧率
​
- 效果：流畅度肉眼无感知下降，大幅节省屏幕功耗

2. 中速+常规力度（日常正常滑动）
保持系统默认标准高刷帧率

- 体验与现版完全一致
​
- 无耗电、无负优化

3. 高速+重按（快速翻页、极速滑动）
手指滑动越快、按压越重 → 系统正比例提升帧率档位

- 瞬间拉满屏幕120Hz高刷
​
- 卡片动画、列表渲染同步开满帧率
​
- 预判用户高速操作意图，滑动跟手性、顺滑度大幅提升

三、关键优化亮点

1. 业界少见的「压力感知帧率调度」
不止看滑动快慢，还识别用户按压轻重：重滑=要流畅，轻滑=可省电，更贴合真实人体操作习惯。
​
2. 屏幕刷新率 + APP动画帧率 双同步调节
不只改屏幕帧率，连控件动画本身的渲染帧数一起动态调节，快慢场景适配更细腻。
​
3. 提前预判、不滞后
传统机制是「画面动了再升帧」
新机制是「手指一动立刻预判」，响应更快、零拖影。

“人机交互”不一定要一味追求更多功能，而是应该重点解决一个问题：怎样让人与设备之间的沟通变得更自然、更有温度，同时减少用户为了完成一件事情而进行的重复操作。现在很多设备已经拥有非常丰富的功能，但真正使用时还是存在学习成本高、入口分散、操作步骤多、设备之间割裂等问题。因此，我更希望未来的人机交互能够从“功能导向”转向“体验导向”，让设备主动理解人的状态和需求。

1、从“按一下”变成“表达一下”

现在很多操作仍然需要用户找到对应按钮，再一步步完成。未来可以进一步降低这种操作门槛。比如用户看到一张照片，只需要说“把里面的人单独抠出来”“把背景换成旅行风格”，系统就能直接执行；看到一段文字，可以直接说“帮我总结重点”；看到一张账单，可以说“帮我算一下这次消费”。这种交互方式的核心不是增加功能，而是让用户不需要记住功能入口，只需要表达自己的目的。

2、让“看”和“说”真正结合起来

视觉+语音可能是未来非常值得发展的交互方向。比如用户打开一个复杂网页，不需要描述具体位置，只需要指着屏幕说“这个是什么意思”，设备就能知道用户指的是哪个区域。购物时可以对着商品问“这个适合什么场景”，学习时可以圈出公式说“给我讲一下”，办公时可以指着表格说“把这一列的数据做个总结”。这种“所见即问、所指即答”的体验，比单纯的语音助手更加自然。

3、增加“连续任务”能力

现在很多AI功能只能解决一个问题，但现实生活中的需求往往是一连串的。比如准备一次出差，用户真正需要的不是单独查询天气，而是查询天气、整理行程、准备资料、设置提醒等多个动作。未来可以把这些操作变成一个完整任务，用户只需要提出目标，设备负责拆分步骤并执行。过程中如果遇到需要用户决定的地方，再主动询问，而不是让用户自己一步步操作。

4、让手机、平板、电脑之间真正形成一个整体

多设备时代最重要的不是设备越来越多，而是设备之间越来越“无感”。比如手机拍了一张照片，坐到电脑前继续编辑时不需要重新传输；在平板上看到一篇资料，换到电脑后可以直接继续处理；手机接到电话时，电脑可以根据场景提供接听入口。更进一步，可以让不同设备承担不同角色：手机负责随身采集，平板负责阅读和创作，PC负责复杂处理，耳机负责声音反馈，手表负责快速提醒。用户感受到的应该是一个完整的系统，而不是几个独立设备。

5、根据场景改变交互方式

同一个功能在不同环境下，最合适的交互方式并不一样。办公室适合键盘、鼠标和大屏；走路时适合语音；运动时适合手表和耳机；开车时更应该减少视觉操作；做饭时则可以通过语音完成播放、暂停和下一步操作。因此未来可以让设备根据环境自动调整交互方式，而不是让用户主动切换模式。比如检测到用户正在开会，就自动减少无关信息；检测到正在运动，就把重要数据以更加简洁的方式呈现。

6、AI主动服务，但一定要“懂分寸”

我比较期待的不是一个天天主动弹消息的AI，而是一个真正知道什么时候应该出现的AI。例如每天早上出门前，根据天气和日程给出简短提醒；发现用户即将迟到时，再主动提示交通情况；会议结束后询问是否需要整理会议纪要。主动服务的关键不是“主动得越多越好”，而是要判断什么事情真正值得提醒。否则所谓的智能反而会变成新的信息负担。

7、加入更加自然的情绪化交互

未来设备可以适当增加一些有温度的反馈，但不能过度拟人化。比如用户连续工作很长时间，可以温和提醒休息；深夜长时间使用设备，可以提示注意时间；完成一项复杂任务后，可以给予简洁的正向反馈。重点不是让机器假装成为人，而是让交互过程不再冰冷。尤其是在长期使用的情况下，这种细节会直接影响用户对产品的感受。

8、让复杂功能“藏起来”，把简单体验留给用户

很多产品的问题是功能太多以后，界面越来越复杂。我的想法是把复杂能力交给AI，把简单结果交给用户。比如用户不需要知道照片增强具体经过哪些算法，只需要选择“自然一点”“清晰一点”“亮一点”；办公时也不需要学习复杂的数据分析工具，只需要提出“找出这张表里异常的数据”。后台可以非常复杂，但前台应该尽可能简单。

9、建立更灵活的个性化交互

不同用户的使用习惯完全不同，所以未来可以允许用户定义自己的交互方式。例如有人喜欢语音，有人喜欢快捷手势，有人喜欢传统菜单；有人希望AI主动提醒，有人则希望设备尽量安静。系统可以根据长期使用习惯提供个性化建议，同时允许用户自己调整。这样同一套系统可以逐渐形成不同人的专属交互方式，而不是所有人都使用完全一样的操作逻辑。

10、隐私应该成为人机交互的重要组成部分

AI越懂用户，就意味着接触的信息越多，所以未来的人机交互除了方便，还必须让用户清楚地知道“设备知道什么、为什么知道、正在做什么”。涉及照片、文件、联系人、位置等敏感信息时，应该给用户明确的权限控制。尤其是AI代替用户执行操作时，要把执行范围和结果说清楚，重要操作必须经过确认。真正好的智能体验应该是“既方便，又让人放心”。

11、从“工具”走向“协作伙伴”

我认为这是未来人机交互最大的变化。过去我们使用电脑，是告诉电脑“我要做什么”；未来则应该逐渐变成“我告诉AI最终目标，设备帮助我完成”。例如写方案时，用户负责提出想法，AI帮助整理结构；旅行时，用户提出目的地和偏好，系统帮助安排路线；学习时，用户告诉系统不会什么，系统自动调整讲解方式。机器负责提高效率，人依然负责最终判断。

12、最终让技术存在感越来越低

我觉得未来最好的交互，不一定是炫酷的操作，而是让用户几乎感觉不到自己在“操作设备”。就像现在我们使用手机打字、拍照已经非常自然一样，未来的语音、视觉、手势、AI协同也应该变成一种下意识的行为。用户不需要研究说明书，也不需要记住几十种快捷操作，只要用自己最习惯的方式表达需求，设备就能够理解。

总体来说，我更期待的人机交互是“少一点操作，多一点理解；少一点学习，多一点自然；少一点打扰，多一点主动协助”。未来可以围绕自然语言、视觉识别、跨设备协同、场景感知、个性化服务和隐私保护几个方向持续探索。只有当设备真正开始理解人的意图，而不是单纯等待人去点击按钮时，人机交互才算真正进入下一个阶段。这样的产品用起来也会更加自然，不是让用户去适应机器，而是让机器逐渐适应人的习惯。

人机交互未来可以更多关注人与设备相处时的自然感。现在很多产品虽然功能越来越丰富，但用户真正使用时，仍然需要主动寻找入口、学习操作方式，有时候为了完成一个很简单的事情，需要经过好几步操作。未来可以考虑把交互设计得更加贴近日常习惯，让设备逐渐理解用户的行为，而不是要求用户不断适应设备。
一方面，可以加强“轻交互”的设计。例如用户只是想快速查看一项信息，就不一定非要打开完整应用；通过锁屏、桌面卡片、耳机、手表等入口，就能快速获取结果。对于一些低频但重要的功能，也可以通过自然语言、快捷手势等方式直接调用，减少层层菜单带来的操作成本。
另一方面，可以关注“交互节奏”。设备并不是任何时候都需要积极响应，有时候安静本身也是一种体验。比如用户正在看视频、玩游戏或者参加会议时，普通通知可以自动降低存在感；当用户处于空闲状态时，再集中展示重要信息。这样能够减少无意义的打扰，让智能设备真正做到主动但不过度。
另外，还可以增加一些更细腻的反馈方式。比如完成文件传输、任务处理、设备连接等操作后，不一定都需要弹出大面积提示，可以通过轻微动画、声音、震动或者状态变化让用户知道事情已经完成。不同场景采用不同反馈形式，会比统一的弹窗模式更加自然。
还有一个值得关注的方向是“容错式交互”。人在使用设备时难免会说错、点错或者表达不完整，系统不应该立刻要求重新操作，而是可以结合上下文进行理解。例如用户说“把刚才那个发给他”，系统可以先判断“刚才那个”和“他”分别可能指什么，并在存在歧义时给出选择。这样的交互会让人与设备之间的沟通更加接近真实交流。
我觉得未来的人机交互不一定要追求越来越复杂，而是应该做到越来越自然。让用户少记操作、少找入口、少被打扰，同时又能在需要的时候快速获得帮助。最终形成一种“设备在身边，但不会一直刷存在感”的体验，这可能也是智能设备从好用走向真正好用的一个重要方向。

1. 眼动+手势跨设备联动。
结合眼动识别和简单手势，眼睛看哪台设备，手势就控制哪台设备，不用手动切换设备连接。例如：在办公室，手机、平板同时摆在桌上。我眼睛看向平板，对手机做一个简单抓取手势，手机里的文档就直接传到平板打开。看向手机，比滑动手势，平板画面就切换。不用点屏幕，不用喊语音，减少来回点设备的麻烦。
2. 系统自动识别当下环境，自动选合适交互方式。嘈杂环境优先手势，安静环境用语音，开车时自动屏蔽误触。例如：户外骑行，周围风声大，语音识别容易出错，系统自动切换手势交互。抬手比一下，手机照片自动流转到AR眼镜查看，导航地图画面流转到眼镜。开汽车过程中比较安静，自动切换成语音控制车机，不用手动点击更改交互模式。
3.靠近自动配对，轻触开启多设备协同。两台设备靠近就自动识别，不用手动去设置连接。系统自动识别摆放位置，自动组建扩展屏幕，不需要手动再去配对。
例如：开会的时候，把平板放到笔记本旁边，系统识别到平板就在右侧，直接变成笔记本的第二屏幕，直接拖拽PPT素材到平板上展示，不用点开App、不用扫码配对，坐下就能直接用。比如，笔记本上找到的复习考公资料，直接流转到 pad 上。
4.手势快速切换多设备窗口，支持临时窗口流转。简单手势就能把窗口在手机、平板、PC之间挪走，不用完整投屏，只迁移当前这个窗口。
例如：在电脑上写材料，临时要出门，双手做一个“托举”手势，当前文档窗口直接转移到手机上。路上继续看，回座位上，再一个手势，窗口又回到电脑屏幕，不用保存、不用重新打开文件。

如今手机、平板、PC、车机、AR/VR等设备正在形成更加多元的使用生态，办公、娱乐、健康、出行等场景也越来越复杂。相比单纯追求设备参数升级，如何让人与设备之间的沟通更加自然、高效、便捷，正在成为值得关注的方向。此次活动鼓励用户从真实需求出发提出创意，具有较强的开放性和实践价值。

1. 从“会操作”到“懂需求”，交互方式需要更加主动。
传统触控和语音交互已经成为日常使用的重要方式，但面对复杂场景时，用户往往需要频繁点击、切换应用和重复输入。未来的人机交互可以进一步理解用户意图，在合适的时间主动提供帮助。例如用户在工作中同时处理手机、电脑和会议内容时，设备能够根据任务状态进行信息联动，让用户少一些重复操作，多一些专注于真正重要的事情。

2. 多设备协同，可以让“设备孤岛”变成“体验闭环”。
手机、平板、电脑、车机等设备并不是彼此独立的终端，而可以成为一个完整的交互体系。比如用户在电脑上处理文档时，可以直接调用手机拍摄的素材；外出时，手机与车机自动衔接导航、音乐和通话；回到家后，又能够无缝切换到平板继续观看内容。这样的创意并不只是增加功能，而是让设备之间真正形成协作关系。

3. 交互创新应该从真实场景出发，而不是为了“炫技”。
办公、健康、游戏、骑行等不同场景，对交互的需求完全不同。办公更强调效率，运动更强调安全与便捷，娱乐则更加关注沉浸感。因此，未来的人机交互可以针对不同场景设计更加精准的方式，例如通过语音、手势、视觉识别、动作感知等多种方式组合，让用户在不方便触碰屏幕时，也能自然完成操作。

4. “少一步操作”，也可能成为很有价值的创新。
真正优秀的交互未必是复杂的新技术，而可能是帮助用户减少一个步骤、缩短一点等待时间、降低一点学习成本。比如自动识别使用环境、智能调整界面、根据上下文推荐功能等，都是从细节改善体验。好的创新应该让用户感觉“原来还可以这样”，甚至在使用过程中几乎意识不到技术的存在。

5. 用户参与共创，让交互创新拥有更多可能。
此次活动最大的价值之一，是把用户从“产品使用者”变成“体验提出者”和“创意参与者”。真实用户最了解日常生活中的痛点，也更容易发现产品设计中那些被忽略的小需求。通过开放征集，让更多来自不同职业、不同场景的想法汇聚起来，有机会碰撞出更贴近实际生活的解决方案。

总体来看，人机交互的未来并不是简单增加一种操作方式，而是让人与设备之间的沟通变得更加自然，让不同设备之间的协作更加顺畅，让技术真正融入生活。此次“星火共创营”提供了一个从用户需求出发的创意入口，也让每一个日常使用设备的人都有机会成为创新的一部分。好的交互，不应该让人适应机器，而应该让机器越来越懂人；好的创意，也不一定要多么复杂，只要能让生活少一点繁琐、多一点顺畅，就是值得被看见的创新。

作为一个使用多年荣耀粉丝的用户，我的评论如下
在多设备互联的时代，手机、平板、PC、车机、AR眼镜越来越多地融入我们日常办公与生活，但目前各设备之间的触控、语音交互相互独立，切换设备时操作繁琐，跨端协同的体验还有很大提升空间。结合本次星火共创营人机交互课题，我提出一套多设备感知联动的自然交互方案，解决多设备场景下交互割裂、操作重复的痛点。

当前痛点十分明显：当我们在工位用平板编辑文档，临时起身开车，需要手动保存文件、在车机重新打开；AR眼镜查看资料时，需要反复在不同设备上手动切换输入方式；语音助手只响应单台设备指令，多个设备同时在线时会出现“多设备抢应答”的情况。我的创意核心是，让系统感知用户位置、视线、手部动作，自动判断用户当前操作设备，实现跨设备无缝接力交互。

第一，基于用户位置与视线的设备自动接管。当用户靠近某台设备，设备识别到用户视线落在屏幕上，自动进入待命状态。比如在办公室用荣耀平板写方案，起身走向电脑，平板的任务界面自动流转到PC，无需手动拖拽传输；上车之后，PC上未完成的会议纪要，一键流转至车机，只需要简单语音继续编辑。当佩戴AR眼镜查看资料，抬手在空中轻点，即可完成翻页，手势交互同步联动手机，把图片、文件快速投射到AR画面。整套交互不需要手动配对，设备之间自动感知用户状态，判断谁是当前主操作终端。

第二，统一的跨设备语音交互逻辑，解决多设备同时应答问题。多个荣耀设备在线时，系统通过声源方向、距离判断，只由离用户最近、用户正在注视的设备响应指令，不会出现手机、平板、车机一起应声的混乱。同时支持上下文记忆，跨设备延续对话。例如在平板上语音查询会议日程，上车之后对着车机可以直接继续提问“把这个会议资料发给参会人”，不需要重复说明背景。还可以区分私密指令和公开指令，私密语音内容仅在手机端处理，不会在车机、公共平板外放，保护隐私。

第三，轻量化手势+触控组合交互，适配折叠屏、AR、VR多形态设备。折叠大屏可以识别隔空微手势，远距离浏览报表时，抬手滑动即可翻页；AR眼镜场景下，支持空中点选、拖拽，将手机里的文档、图片拖拽到虚拟大屏。同时兼顾传统触控，手势可以作为辅助，用户可以自由选择操作方式。对于办公场景，支持隔空手势截图、圈选文字，不用触碰屏幕，手上拿笔或者文件时也能便捷操作。

第四，场景自适应交互模式。系统根据使用场景自动调整交互方式。开会时，自动降低语音助手灵敏度，优先识别静默手势；开车时，完全简化为语音+少量隔空手势，屏蔽触控操作；居家办公时，手势、语音、触屏全部开放。同时可以自定义交互强度，用户可以关闭隔空手势，只保留语音，适配不同使用习惯。

多设备协同的本质，是让设备跟着人的需求走，而不是人去适应设备。这套人机交互方案打破不同硬件之间的交互壁垒，不管是办公、出行，还是AR/VR虚拟场景，让操作更自然流畅，减少繁琐的点击与设置，真正做到随心操控，提升多设备使用的便捷度。

作为一个使用荣耀的牛马，我觉得工作上的事情让我产生很多想法
作为一名日常需要多设备办公的职场人，每天要在手机、平板、电脑之间来回切换处理文档、会议、资料，传统触控与语音交互在复杂办公场景中存在不少短板。结合本次人机交互共创活动，我针对办公场景，提出一套AI感知办公场景的多模态人机交互方案，将触控、语音、视线、手势结合，提升办公效率。

日常办公痛点很多：开会时，双手拿着笔记本，不方便触碰屏幕记笔记；长时间打字、点触屏幕，操作繁琐；会议里需要快速标记文档、截取画面，常规操作步骤多；语音输入容易把环境噪音收录进去，多人会议时语音识别容易出错；跨设备复制粘贴文件，需要来回传输。

我的创意，是融合视线识别、隔空手势、触控、AI降噪语音的多模态交互，适配桌面办公、线上会议、移动办公等细分场景。

首先是线上会议场景的交互优化。开会时，双手不方便触碰设备，开启轻量隔空手势。视线锁定文档，抬手比圈选手势，就可以圈出重点内容，自动生成标注；简单手势可以实现静音、截图、录制会议、切换PPT。同时搭载会议专属AI语音交互，区分参会人声和环境杂音，自动过滤键盘敲击、窗外噪音。可以语音下达指令：“记录这条重点”“把刚才这段话整理成纪要”，AI实时识别发言人，区分不同人的发言，自动生成分段会议纪要，不用手动打字。不方便出声的时候，视线点击屏幕，就可以选中文字，配合手势完成批注。

其次是跨设备文档协同交互。当平板和PC协同办公，我们可以在平板上手写批注，内容实时同步到电脑文档；也可以用语音直接在任意设备上修改文字，“把第二段字体加粗”“删除这句话”，指令直接作用于跨端同步文档。支持语音拖拽文件，直接将手机文件发送到PC，无需手动传输。触控可以作为兜底，手势、语音作为快捷操作，三种方式自由切换，用户可以按照自己习惯选择交互方式。

针对移动办公，比如外出路上用手机处理文件，语音交互优化断句、专业词汇识别。对于行业术语、专业名词，AI可以学习用户常用词汇，提升识别准确率。同时支持离线语音指令，没有网络也能完成文档标记、新建备忘录。考虑到隐私，本地敏感文件的语音处理在设备本地完成，不上传云端，保护办公资料安全。

同时增加交互轻量化自定义。用户可以自定义手势和语音指令，比如自定义“一键投屏”手势，抬手就可以把文档投屏到大屏；也可以关闭隔空手势，只保留触控和语音，满足不同用户的喜好。系统会学习用户的操作习惯，常用的指令会简化识别逻辑，越用越顺手。

好的人机交互，应当减少操作步骤，把人的精力留给工作本身。这套多模态交互方案，解决办公场景里双手受限、操作繁琐、跨设备麻烦的痛点，让办公不再被设备操作拖累，提升职场人的工作效率。