近日，上海交通大学密西根学院副教授朱怡飞团队发表的题为《LLMSched：Uncertainty-Aware Workload Scheduling for Compound LLM Applications》的研究论文被2025年IEEE 国际分布式计算系统大会（IEEE International Conference on Distributed Computing Systems）接收。该论文为团队暨IEEE/ACM IWQoS 2024发表的论文《Towards Efficient Compound Large Language Model System Serving in the Wild》（最佳海报奖）后，在复合大语言模型系统领域做出的又一重要突破。论文作者为学院22级博士研究生朱博韬，上海交通大学约翰·霍普克罗夫特计算机科学中心陈晨教授，江行智能科技有限公司樊小毅博士和密西根学院副教授朱怡飞博士。
近年来，以OpenAI ChatGPT和Google Gemini为代表的大语言模型（LLM）在自然语言处理任务中展现出卓越性能。然而，单一模型在垂直领域应用中仍存在局限性。为此，业界正转向构建复合型大语言模型系统，通过整合外部模型、工具、API及其他LLM，形成协同处理能力，以满足专业化场景需求。因此，复合LLM应用应运而生。复合型LLM应用是指一种大语言模型与其他外部工具、API或其他大语言模型协作从而共同完成复杂智能服务的应用。相比于单一的LLM调用，复合型LLM应用能够通过模块化架构实现功能增强，显著提升在垂直领域的专业性和可靠性。
该论文提出 LLMSched，一个为服务复合型 LLM 应用不确定性感知调度框架。框架的结构如图所示。针对复合型 LLM 应用固有的结构与时长不确定性，论文首先设计了一种基于有向无环图（DAG）的建模方法，用以描述具有不确定性的复合型 LLM 应用；论文继而采用贝叶斯网络对应用进行全方位建模，识别能够降低不确定性的关键阶段，并通过基于信息熵的量化机制评估其不确定性削减效果。论文通过融合不确定性削减策略与作业完成时间（JCT）优化方案，论文进一步提出高效调度算法以缩短平均作业完成时间。实验表明，LLMSched 可将平均 JCT 降低 14%~79%，显著优于现有方案。
该工作为 LLM 服务优化开辟了新方向，尤其对多模块协作的 Agent 系统、LLM 推理集群资源调度具有重要参考价值。其不确定性量化框架可扩展至其他动态任务场景，推动智能调度理论与实际系统的深度融合。该项研究在国家自然科学基金项目资助下完成。
背景介绍：
IEEE 国际分布式计算系统大会（IEEE International Conference on Distributed Computing Systems）是IEEE主办的计算机系统领域历史最悠久的国际著名学术会议。自1979年创办以来，ICDCS就一直作为分享分布式计算系统相关前沿工作的学术平台，备受海内外学者的关注，在国内外享有较高的声誉和广泛的影响力。现为中国计算机学会推荐B类会议。今年是大会举办的第45届，吸引了包括ACM Fellow、IEEE Fellow等诸多业界和学术界专家学者参会和分享最新的进展，大会共收到投稿529篇，总共录用104篇。会程共4天，包括5个主题演讲以及32个专题讨论会。
学院作者简介：
朱博韬是上海交通大学2022级信息与通信工程专业在读博士生。他目前的研究方向包括云计算、边缘计算与机器学习系统等。
朱怡飞为上海交通大学密西根学院副教授、上海交通大学电子系双聘助理教授、博士生导师。上海市高层次引进人才（海外）。2020年获得加拿大Simon Fraser University计算机科学博士学位，2015年获得香港科技大学硕士学位，2012年获得西安交通大学学士学位。朱怡飞博士研究领域为计算机网络与系统，目前专注于边缘计算、多媒体网络与系统，分布式机器学习系统等方向。他在 ACM SIGCOMM,IEEE INFOCOM,ACM Multimedia等多个国际一流期刊及会议发表高水平论文60余篇，其中中国计算机学会推荐A类论文24篇。相关研究工作获得加拿大Telus-Juniper软件定义网络比赛一等奖，2个IEEE会议最佳论文奖。此外，朱怡飞博士还担任IEEE Internet of Things Journal编辑、ACM Multimedia领域主席、IEEE Network客座编辑，以及多个国际会议技术程序委员会成员。中国计算机学会互联网专委会、分布式计算专委会执行委员。研究成果受科技部重点研发青年科学家项目、中国自然科学基金委、华为等政府和企业项目支持。
