昇腾AI赋能安卓智能助手 基于昇腾Ascend与AtomGit AI联合举办的「昇腾 Model Agent 模型适配大赛第二季」其核心目标是开发能够理解用户自然语言指令并自动在安卓应用如小红书、抖音中执行任务或生成内容的AI Agent。其技术实现主要遵循端云协同的架构。###核心架构与工作流程整个系统的工作流程可以概括为云端理解与规划 - 端侧轻量化执行。具体步骤如下表所示阶段执行位置核心功能关键技术/组件1. 指令理解与任务规划云端服务器解析用户自然语言指令如“在小红书发布一条关于杭州西湖的笔记”将其分解为可执行的原子操作序列。云端大语言模型LLM利用昇腾NPU进行加速推理。2. 指令生成与下发云端 - 安卓端将规划好的原子操作序列转化为安卓系统可识别的自动化指令如UI操作坐标、文本输入。任务规划器指令编码器。3. 端侧轻量模型推理安卓设备端运行轻量化模型用于实时理解当前App界面状态辅助精准执行云端下发的指令。端侧轻量化模型使用昇腾NNRTNeural Network Runtime进行高效推理。4. 自动化执行与内容生成安卓设备端通过自动化框架如AccessibilityService执行指令操作目标App小红书/抖音完成内容发布、搜索等任务。安卓自动化框架虚拟身份注入受控搜索服务。关键技术解析1. 应用直达与虚拟身份系统需要预先配置目标应用如小红书、抖音的包名和主页Activity实现“直达”操作。同时为执行自动化操作需在设备上注入一个“虚拟身份”该身份拥有必要的权限但与实际用户账号隔离以确保安全和合规。2. 受控搜索对于“搜索”这类需要访问外部信息的操作系统并非让Agent直接访问公网而是通过一个白名单后端服务进行。Agent将搜索请求发送至该服务服务返回结构化结果再由Agent填入App的搜索框。这实现了搜索能力的可控、可审计。3. 端云协同推理云端负责复杂的意图理解和任务分解利用大模型能力强和昇腾NPU算力高的优势。端侧负责实时环境感知和指令执行利用轻量化模型和昇腾NNRT实现低延迟、高能效的推理。代码示例端侧指令执行框架以下是一个高度简化的示例展示安卓端如何接收云端指令并模拟UI操作。实际实现会复杂得多并涉及与轻量化模型的交互。// 示例一个简单的指令执行服务基于AccessibilityService public class ModelAgentService extends AccessibilityService { private static final String TAG ModelAgentService; Override public void onAccessibilityEvent(AccessibilityEvent event) { // 监听界面变化用于辅助决策当前状态 } Override public void onInterrupt() {} // 执行从云端下发的原子操作指令 public void executeAction(ActionCommand command) { AccessibilityNodeInfo rootNode getRootInActiveWindow(); if (rootNode null) return; switch (command.getType()) { case CLICK: // 根据资源ID、文本或坐标查找并点击节点 ListAccessibilityNodeInfo targetNodes rootNode.findAccessibilityNodeInfosByViewId(command.getTargetId()); if (!targetNodes.isEmpty()) { targetNodes.get(0).performAction(AccessibilityNodeInfo.ACTION_CLICK); } break; case INPUT_TEXT: // 向焦点节点或指定节点输入文本 AccessibilityNodeInfo inputNode ... // 查找输入框节点 Bundle args new Bundle(); args.putCharSequence(AccessibilityNodeInfo.ACTION_ARGUMENT_SET_TEXT_CHARSEQUENCE, command.getText()); inputNode.performAction(AccessibilityNodeInfo.ACTION_SET_TEXT, args); break; case SCROLL: // 执行滚动操作 rootNode.performAction(AccessibilityNodeInfo.ACTION_SCROLL_FORWARD); break; case LAUNCH_APP: // 启动目标应用如小红书或抖音 Intent launchIntent getPackageManager().getLaunchIntentForPackage(command.getAppPackageName()); if (launchIntent ! null) { launchIntent.addFlags(Intent.FLAG_ACTIVITY_NEW_TASK); startActivity(launchIntent); } break; } } } // 云端下发的指令数据模型示例 class ActionCommand { enum ActionType { CLICK, INPUT_TEXT, SCROLL, LAUNCH_APP } private ActionType type; private String targetId; // 例如”com.xiaohongshu:id/post_btn“ private String text; // 要输入的文本内容 private String appPackageName; // 如”com.xiaohongshu“ // getters and setters... }内容生成场景应用结合上述技术针对小红书、抖音的内容生成场景一个典型的工作流如下用户指令“用我的抖音账号发布一个关于‘昇腾AI芯片’的短视频并带上#科技话题。”云端解析与规划LLM将指令分解为[启动抖音] - [点击‘’号] - [选择相册中指定视频] - [输入描述文案‘...’] - [添加话题‘#科技’] - [点击发布]。指令下发与端侧执行云端将操作序列下发至安卓端的Model Agent。Agent依次执行每个步骤期间可能调用端侧轻量模型确认界面元素最终完成视频发布。总结该技术方案通过端云协同将大模型的复杂推理能力与端侧的实时操作能力结合实现了自然语言到安卓App特别是小红书、抖音等媒体平台自动化内容生成与操作的无缝衔接。参考来源昇腾Model-Agent安卓应用直达技术解析

相关新闻

最新新闻

游戏抽奖系统设计:从概率原理到高并发实现的Spring Boot实践

游戏抽奖系统设计:从概率原理到高并发实现的Spring Boot实践

最近在游戏开发社区和玩家论坛里,一个看似简单的需求被反复提及:如何设计一个既能让玩家感到兴奋,又能有效控制游戏内经济平衡的“十连抽”系统?特别是当这个系统与“殿堂之路”这类高价值、长线运营的活动捆绑时,问题…

2026/8/22 8:39:25
OSGB三维模型轻量化实战:从ContextCapture到glTF的优化方案

OSGB三维模型轻量化实战:从ContextCapture到glTF的优化方案

1. 从“卡死”到“丝滑”:三维模型轻量化的现实困境 最近在对接一个智慧工厂的项目,客户发来一个包含上百栋建筑、管线、设备的超大型三维场景,原始数据是倾斜摄影生成的OSGB格式。当我尝试在常规的桌面端软件里打开它时,不出意外…

2026/8/22 8:39:25
中缀转后缀表达式:栈的应用与逆波兰式算法详解

中缀转后缀表达式:栈的应用与逆波兰式算法详解

1. 从“人脑”到“电脑”:为什么需要逆波兰式?如果你写过计算器程序,或者处理过需要解析数学公式的场景,大概率会遇到一个头疼的问题:如何让计算机理解我们人类习惯的(3 4) * 5这种表达式?我们觉得这种写法…

2026/8/22 8:39:25
光模块与电口模块核心区别解析:原理、应用与选型指南

光模块与电口模块核心区别解析:原理、应用与选型指南

1. 项目概述:从“光”与“电”的十字路口说起在数据中心、企业网络乃至家庭宽带升级的浪潮中,我们经常听到“光模块”这个词,它几乎是高速网络传输的代名词。然而,当工程师在机房里指着交换机上那个带着RJ45水晶头接口、看起来像个…

2026/8/22 8:39:25
JFrog Artifactory 企业级制品仓库:Docker Compose 部署与配置实战指南

JFrog Artifactory 企业级制品仓库:Docker Compose 部署与配置实战指南

1. 项目概述:为什么我们需要一个专业的制品仓库? 在软件开发的日常里,我们每天都在和各种各样的“制品”打交道:前端团队打包好的 dist.zip ,后端团队编译生成的 myapp.jar ,运维团队编写的 Dockerfi…

2026/8/22 8:39:25
免费全格式文件转换工具全攻略:从在线到命令行,覆盖文档、图片、音视频

免费全格式文件转换工具全攻略:从在线到命令行,覆盖文档、图片、音视频

最近在整理项目文档和媒体素材时,经常遇到格式不兼容的困扰:PDF需要转Word编辑,视频需要压缩上传,图片需要统一格式……网上工具虽多,但要么收费,要么限制次数,要么捆绑广告,体验一言…

2026/8/22 8:34:25