大语言模型GUI智能体：人机交互新时代_张朝运2025_9787121514074

随着大语言模型(LLM)技术的突破，人工智能正从“语言专家”演变为具备行动能力的智能体。大语言模型驱动的图形用户界面(GUI)智能体革新了传统GUI的自动化方式，不再依赖脚本或规则，而是通过自然语言理解、屏幕解析和自主决策，高效、灵活地执行任务。本书系统介绍这一新兴领域的发展背景、核心技术与应用场景，涵盖GUI智能体的架构设计、数据采集，以及大行动模型(LAM)的构建、关键评估指标和应用，帮助读者掌握GUI智能体的完整方法论，并深入探讨GUI智能体当前面临的挑战与未来的发展趋势。全书配有丰富的图示与实践案例，涵盖多种真实场景下的GUI智能体自动化方案，帮助读者轻松上手。针对研究人员与开发者，本书提供了示例代码与实践指南，从系统搭建到核心算法调参，都配有注释。对于希望提高企业自动化能力的工程师，也可借鉴书中切实可行的落地经验。针对复杂的跨平台操作或大规模界面测试，本书给出了行之有效的思路与实现路径，使GUI智能体自动化不再是遥不可及的概念。

张朝运微软首席研究员，专注于大语言模型驱动的GUI智能体与人机交互前沿技术。作为Windows系统少有GUI智能体――UFO的核心开发者，带领团队实现了多模态交互与高效自动化，相关项目在GitHub获得超过7000星，受到国内外主流科技媒体广泛报道。博士毕业于英国爱丁堡大学信息学院，获深度学习与智能移动网络方向博士学位，其间荣获爱丁堡全球研究奖学金等多项荣誉。在国际很好会议与期刊发表高水平论文40余篇，谷歌学术引用超5000次。作为主要发明人，拥有多项中、美发明专利。长期致力于大语言模型智能体、智能运维等领域的创新研究，推动GUI智能体技术在桌面操作系统、行业生产力工具等场景的应用落地。秦思微软首席研究经理，IEEE高级会员。博士毕业于美国维拉诺瓦大学，在国际会议与期刊上发表论文50余篇，并拥有10多项授权专利。曾多次获得国际学术奖，包括IEEE国际微波与毫米波技术会议“很好学生论文奖”、IEEE信号处理学会“青年作者很好论文奖”，以及欧洲信号处理协会“很好论文奖”等。现专注于智能运维和大语言模型技术研究，相关技术已成功应用于多个微软产品，曾获“微软亚洲研究院年度很好技术转化奖”及“微软亚太研发团队奖”，微软机器学习、人工智能与数据科学大会“杰出贡献奖”。李立群微软首席研究员，专注于研发基于大语言模型的智能体应用，同时是TaskWeaver智能体开源框架的主要贡献者之一。于2012年获得中国科学院软件研究所博士学位，2006年获得清华大学计算机科学与技术学士学位，曾于2009年访问密歇根州立大学。研究兴趣包括物联网、移动、大数据、机器学习和云计算等领域，在Mobisys、Mobicom、NSDI、ATC、ICSE、ESEC/FSE、ICDCS、RTSS、TPDS和TOSN等很好会议和期刊上发表40余篇论文。2022年在ESEC/FSE会议上获得SIGSOFT Distinguished Paper奖项。何世林现就职于字节跳动，曾任微软亚洲研究院高级研究员，博士毕业于香港中文大学计算机科学与工程系。主要研究方向包括大模型、智能体及软件智能化等。已发表40余篇国际很好会议和期刊文章，学术引用4000余次，曾获得FSE杰出论文奖和ISSRE 最有影响力论文奖。任FSE、ISSTA等国际很好会议的程序委员会委员。TaskWeaver、UFO、LogPAI等开源项目的核心开发人员。GitHub总星数过万。

第1部分：基础理论与背景
第1章大语言模型驱动下的人机交互革命2
1.1人机交互演进简史3
1.1.1从CLI到GUI：易用性与效率的折中3
1.1.2GUI的优势与局限4
1.2大语言模型的发展与影响5
1.2.1大语言模型的关键特征5
1.2.2大语言模型驱动智能体的诞生7
1.3大语言模型驱动的GUI智能体的兴起8
1.3.1GUI智能体的定义和意义8
1.3.2关键技术和形成动因9
1.3.3研究现状和初步应用概览11
1.4与API-Only智能体的比较与互补12
1.4.1API-Only智能体：成熟度与早期优势12
1.4.2GUI智能体：多模态下的交互变革13
1.4.3关键差异与适用场景13
1.4.4融合趋势：混合式智能体的未来14
1.5本章小结15
第2章GUI自动化的发展之路16
2.1早期GUI自动化17
2.1.1传统GUI自动化方法概览17
2.1.2典型工具与软件19
2.2GUI自动化的智能之路.20
2.2.1机器学习在GUI自动化中的作用20
2.2.2计算机视觉在GUI自动化中的作用21
2.2.3自然语言处理在GUI自动化中的作用22
2.2.4强化学习在GUI自动化中的独特优势22
2.3本章小结23
第3章大语言模型与通用智能体24
3.1大语言模型基础25
3.1.1预训练25
3.1.2微调25
3.1.3后训练26
3.1.4视觉与文本的融合26
……

丛 书 名：

• 作  者：张朝运 等 著 著
• 出 版 社：电子工业出版社
• 出版日期：2025-11-01

• 版    次：1
• 页    数：
• 字    数：296800

• 印刷时间：
• 开    本：16开
• 纸    张：199

• 印    次：1
• I S B N：
• 包    装：平装