开发者Henry Yuan展示了一项开源成果：利用一块成本约7美元的ESP32-S3开发板，AI代理可在未越狱、无需开发者账号的普通iPhone上执行点击、滑动及打字等操作。
据媒体报道，该项目将ESP32开发板伪装成标准的USB鼠标和键盘，对iOS系统而言，它仅是一个常规外设。Yuan在X平台发布的演示视频显示，仅需一台Linux机器，即可驱动AI代理控制iPhone，无需Mac或越狱。该帖子在开发者社区迅速传播，GitHub仓库在一周内收获数千星标。
技术原理：视觉感知与HID执行分离
该系统巧妙地将视觉感知与动作执行解耦。iPhone通过AirPlay镜像屏幕，连接的计算设备（或新版中直接在手机上运行的软件）捕获画面帧，输入给视觉语言模型（VLM）。模型分析界面内容后，决定下一步操作指令，并传输至ESP32开发板。
ESP32作为微型微控制器，将指令转换为HID（人机接口设备）输入。当开启Apple的AssistiveTouch功能时，屏幕上会出现光标，鼠标移动映射为手指滑动，点击映射为轻触。系统不依赖无障碍树或特定应用API，而是基于像素级视觉反馈运行，因此适用于任何界面，包括游戏。
在性能方面，使用阿里巴巴Qwen模型的本地设置可实现数秒一次的操作频率。虽然速度较慢，但所有数据处理均在本地网络完成，无需调用云端服务，保障了隐私与低延迟。
迭代进展与局限性
初始版本需配合电脑使用，但后续更新已实现去中心化：ESP32可直接接收AirPlay流，配套iPhone应用负责解码截图、运行模型推理及命令逻辑。动态岛还可实时显示代理状态。不过，初始固件刷写仍可能需要配备Xcode的Mac环境。
该方案存在物理限制：由于iOS安全机制，密码输入、Apple Pay等敏感界面不会出现在AirPlay镜像中；锁屏也会中断镜像。此外，AirPlay带来的带宽消耗和约每秒五帧的刷新率限制了响应速度。但对于多数非实时任务，这些限制在可接受范围内。
行业意义：打破自动化壁垒
在AI代理备受瞩目的当下，大多数演示仍局限于模拟器或网页端。真实手机环境因屏幕差异、应用更新及安全沙箱而复杂重重。现有的自动化工具如iphone-use仍需Mac和开发者证书，商业工具TapKit等则依赖语音或中介设备。Yuan的方案以极低的硬件门槛，将手机视为“黑盒”，通过模拟用户视角实现通用控制，使银行App、即时通讯软件甚至游戏均成为潜在操作对象。
与此同时，STEPX、OPPO和高通等厂商正推进端侧AI硬件集成。Yuan的硬件破解虽简陋，却被视为移动计算未来的早期信号，证明了在现有硬件上测试代理行为的可行性。
尽管存在被滥用于未经授权自动化的风险，但物理访问需求和AssistiveTouch的手动开启构成了实质性的安全摩擦。Apple尚未对此置评，继续推进其Apple Intelligence的合规部署。而Yuan的项目遵循MIT许可证，鼓励开发者在真实设备上探索AI代理的边界，从设置闹钟到绘制笑脸，展示了代理在不确定的界面环境中适应与纠错的能力。
未来，该项目计划支持横屏应用、非ASCII文本（如中文）输入，并优化模型调用效率，实现单步多动作执行。