顺义哪有做网站厂家免费刷赞网站推广qq免费

顺义哪有做网站厂家,免费刷赞网站推广qq免费,企业如何全面开展品牌工程建设,wordpress文字默认颜色#x1f4f1; 前言#xff1a;Appium 已死#xff1f;视觉 Agent 当立#xff01; 前段时间#xff0c;字节发布的“豆包手机”和荣耀的“任意门”火了#xff0c;核心卖点都是 “AI 懂你的屏幕#xff0c;能帮你操作手机”。 作为开发者#xff0c;你可能会问#xf… 前言Appium 已死视觉 Agent 当立前段时间字节发布的“豆包手机”和荣耀的“任意门”火了核心卖点都是“AI 懂你的屏幕能帮你操作手机”。作为开发者你可能会问“这不就是自动化脚本吗”错大错特错传统的脚本Appium/Airtest是“盲人摸象”它们依赖底层的 XML 控件 ID。一旦 APP 改版ID 变了脚本直接报废。而AppAgent是“睁眼看世界”。它利用GPT-4o或Qwen-VL这种视觉大模型直接**“看”手机截屏像人类一样通过“视觉感知”**来决定点哪里。今天我就带大家用开源的AppAgent框架手搓一个简易版“豆包手机”实现**“由 AI 自动刷抖音看到喜欢的猫咪视频就自动点赞”**的黑科技 核心原理AI 是怎么“玩手机”的AppAgent 的工作流程非常符合人类的直觉分为三个阶段感知See - 思考Think - 行动Act。1. 视觉感知 (Visual Perception)AI 截取当前手机屏幕。为了让大模型能准确描述位置AppAgent 会在屏幕上覆盖一层**“透明的数字标号”**或者直接划分网格。比如“点赞按钮”上可能覆盖了数字[25]。2. 决策推理 (Reasoning)我们将截图和标号发给 GPT-4o并附上 Prompt“你现在的任务是刷视频。如果视频里有猫就点击点赞按钮标号 25否则执行上滑操作。”3. 执行动作 (Action)大模型返回决策Tap(25)或Swipe(Up)。AppAgent 将其翻译成adb shell input tap x y命令发送给安卓手机。架构流程图无括号版1. 实时截屏2. 覆盖数字标记3. 输入视觉模型4. 思考并输出指令5. 映射为坐标6. 执行操作Android 手机屏幕截图带标号的图片GPT-4o / Qwen-VL指令: 点击标号 5ADB 命令️ 实战环节环境搭建1. 硬件准备一台 Android 手机开启 USB 调试。电脑Windows/Mac 均可装好 Python 和 ADB。2. 克隆 AppAgent 仓库AppAgent 是腾讯开源的项目我们直接站在巨人的肩膀上。gitclone https://github.com/mnotgod96/AppAgentcdAppAgent pipinstall-r requirements.txt3. 配置模型 (config.yaml)你需要一个能看懂图片的“大脑”。推荐使用GPT-4o最强或Qwen-VL-Max国产性价比。OPENAI_API_KEY:sk-xxxxOPENAI_API_MODEL:gpt-4o⚔️ 黑科技演示训练 AI 玩 抖音AppAgent 有个非常牛逼的**“探索阶段 (Exploration Phase)”。它不需要你手写规则你可以让 AI 自己去 APP 里乱点一通它会自己总结**出“哦原来点这里是评论点那里是转发。”Step 1: 探索模式 (Learn)运行脚本选择“探索模式”。python learn.py --app tiktok --mode explorationAI 会自动打开抖音尝试点击各个图标并记录下每个图标的功能文档。点击“爱心” - 发现数字变了 - 记录这是点赞。上滑屏幕 - 视频变了 - 记录这是切换视频。Step 2: 部署模式 (Act)教会了徒弟现在让它自己干活。我们编写一个简单的任务 PromptUser Prompt:“不断地上滑刷视频。仔细观察视频内容如果视频中出现了‘猫’或者‘狗’就给我点个赞然后继续刷。如果是广告直接快速划走。”运行代码python run_agent.py --app tiktok --taskAuto swipe and like cats见证奇迹的时刻你会看到手机屏幕自己在动屏幕出现美女跳舞 - AI 判断“无猫” - 执行Swipe Up。屏幕出现一只布偶猫 - AI 识别成功 - 执行Tap(Like_Icon)- 执行Swipe Up。屏幕出现广告 - AI 识别文本“广告” - 执行Swipe Up。 核心代码剖析 (简化版)为了让大家理解这玩意儿是怎么跑起来的我把核心的 Python 逻辑抽取出来fromapp_agentimportAppAgentfromandroid_envimportAndroidDevice# 1. 连接手机deviceAndroidDevice(serialemulator-5554)# 2. 初始化视觉 AgentagentAppAgent(modelgpt-4o,devicedevice)# 3. 任务循环task刷视频看到猫就点赞whileTrue:# 抓屏 视觉识别ui_elementsdevice.capture_and_label()# AI 思考actionagent.think(screenshotui_elements,instructiontask)# action 返回: {action_type: click, element_id: 5}# 执行ifaction[action_type]click:device.click(action[element_id])elifaction[action_type]swipe:device.swipe(up)print(f AI 执行了:{action}) 总结与展望看到这里你可能觉得这就是个“高级按键精灵”。但在我看来AppAgent 代表了操作系统交互的未来。想象一下老人模式老人对着手机说“给孙子发个红包”AI 自动操作微信完成转账。跨 App 协作说一句“帮我把刚才大众点评的餐厅地址发给李总并预约明晚的滴滴”AI 自动在三个 App 之间跳转操作。这就是“豆包手机”想做的事也是**On-Device AI端侧智能**的终极形态。别再死磕 XML 和 XPath 了给你的爬虫和脚本装上一双“眼睛”吧