尽管LLMs如ChatGPT在撰写电子邮件等任务上能够提供帮助，它们在理解和与GUIs交互方面存在挑战，这限制了它们在提高自动化水平方面的潜力。数字世界中的自主代理是许多现代人梦寐以求的理想助手。这些代理能够根据用户输入的任务描述自动完成如在线预订票务、进行网络搜索、管理文件和创建PowerPoint演示文稿等任务。然而，目前基于纯语言的代理在真实场景中的潜力相当有限，因为大多数应用程序通过GUI

CogAgent: A Visual Language Model for GUI Agents 摘要 人们通过图形用户界面（Graphical User Interfaces, GUIs）在数字设备上花费大量时间，例如，计算机或智能手机屏幕。ChatGPT 等大型语言模型（Large Language Models, LLMs） 可以帮助人们完成撰写电子邮件等任务，但难以理解 GUI 并与之