多智能体系统中的同步问题综述

王 晓,夏建伟,付世华,冯俊娥,2

(1. 聊城大学 数学科学学院,山东 聊城 252059;2.山东大学 数学学院,山东 济南 250100)

随着现代信息技术的快速发展,网络化控制系统成为当今学术界的一个研究热点[1]。本世纪初在美国举行的控制学科新世纪发展方向论坛指出,网络化控制系统是控制学科在21世纪的重点发展方向之一。作为一类重要的网络化控制系统,多智能体系统是由多个智能体组成的集合,它的本质是将大而复杂的系统转化成小的,彼此互相通信和协调的、易于管理的系统[2]。相比单个智能体系统,多智能体系统,尤其是分布式多智能体系统,具有很多明显的优点[3,4]。例如:具有更好的容错性和鲁棒性;效率高灵活性强,能够更有效地解决大型、复杂的现实问题等。因此,多智能体系统在过去的几十年中引起了国内外许多学者的研究兴趣,并在军事、航空航天、交通、现代化农业及生物系统等领域都有广泛的应用,比如多机器人协作、飞行器编队,水下勘探、生物群体行为等[5-7]。对多智能体系统的研究,不仅可以加深对生物分组现象的内在规律的认识,而且可以为工程领域应用提供强有力的理论指导。

对于多智能体系统,同步问题旨在通过传递本地信息(即智能体邻居的信息)来达成共同的利益目标,是合作控制中的一个基本和有趣的问题。它是指随着时间的推移,多智能体系统中所有智能体之间通过信息交流相互耦合协调,使得所有智能体在某些设定的物理量上最终趋于相同的值。通常,多智能体系统可分为无领导多智能体系统和领导者—跟随者多智能体系统。对于无领导的多智能体系统,最终同步状态通常取决于初始状态。对于领导者—跟随者多智能体系统,最终的同步状态是领导者的状态,领导者的状态可能是虚拟的、代表期望的参考信号。

近年来,多智能体系统的同步问题因其在机器人、电力网络等不同领域的应用而备受关注。同步问题是多智能体系统研究的核心问题,也是多智能体系统协同控制问题的研究基础。它可以应用在服务机器人、危险环境探测、军事监视侦察、灾难现场搜救、航天器编队飞行等领域。随着通讯技术、分布式感应器以及微处理技术的迅猛发展,同步问题也被广泛应用于蜂拥控制、群集等问题的研究中[8,9]。对同步问题进行更深入系统地研究,不仅可以帮助人类去解释自然界中的一些奇妙的生物分组现象,如鸟类的编队飞行,鱼群的集结现象等,而且还能为许多控制工程的分布式问题提供运行机制,如无人机编队控制,移动传感器网络信息融合等[10]。因此,对多智能体一致性问题的研究在理论上和工程上都有着重要意义。

多智能体系统是一类复杂信息物理网络系统,可以通过通信网络在智能体之间进行远程控制。考虑一个由顶点集V={1,…,N},边集E⊆V×V和加权邻接矩阵A=(aij)N×N组成的有向图G=(V,E,A)。i∈V表示V的第i个顶点,(i,j)∈E表示从顶点j到顶点i的一条有向边,aij≥0是邻接元素,表示边(i,j)的权重,它满足aij≥0⟺(i,j)∈E,Ni={j∈V:(i,j)∈E}表示i的邻居的集。

多智能体系统由许多通过网络连接的子系统组成,在相互连接的子系统之间传递状态或输出信息。对于线性多智能体系统,第i个智能体具有以下动力学形式

式中xi(t)∈Rn是第i个智能体在t时刻的状态,ui∈Rp表示第i个智能体在t时刻的控制输入,A∈Rn×n是状态矩阵,B∈Rn×p是输入矩阵。

对于有N个节点的非线性多智能体系统,其智能体的动力学形式可以表示为

式中xi(t)∈Rn,ui∈Rp,f:R×RnRn是单个智能体内在动力学方程。

对于无领导的多智能体系统,其动力学形式通常可由上两式表示。对于线性多智能体领导者跟随者模型,领导者的演化方程可表示为

x0(t)∈Rn表示状态,A∈Rn×n。跟随者的动力学形式可表示为

非线性多智能体领导者的动力学方程可表示为

推广到有限域中,设p为一个素数且Fp={0,1,…,p-1}, 对于具有一个领导者和N个跟随者的多智能体系统,领导者的动态可表示为x0(t+1)=A0x0(t),式中

则第i个跟随者的动态可表示为

多智能体系统不同类型的同步问题的研究引起了学者们的关注,例如状态同步,输出同步,集群同步,反同步,广义同步等。其中,对状态同步和输出同步的研究尤为广泛。

2.1 状态同步

同步的目标是通过分散的控制协议,确保多智能体网络之间在公共状态(状态同步)或输出轨迹(输出同步)上达到一致。由于网络中的所有智能体都是相同的,因此我们追求智能体之间的状态同步。也就是说,我们要求任意两个多智能体的状态xi(t)和xj(t)满足

对于状态同步,主要考虑两种通信网络,一种是全状态耦合,另一种是部分状态耦合。文献[11]研究了非齐次线性多智能体系统的部分状态同步问题,提出了一种依赖于局部信息的解决多智能体系统同步的方法;文献[12]研究了具有部分状态耦合的同构多智能体系统的状态同步问题,并提出了一种适用于多智能体通信网络的静态或自适应非线性动态协议;文献[13]研究了存在输入延迟(包括均匀输入延迟或非均匀输入延迟)时,具有部分状态耦合的同构离散时间多智能体系统在静态协议下的状态同步问题;文献[14]研究了具有全状态耦合的离散时间多智能体系统的状态同步,提出了一种用于全状态耦合的多智能体系统的线性静态协议,以使智能体之间实现同步。

2.2 输出同步

多智能体系统的输出同步是指在一个多智能体系统中,所有智能体的输出信号保持同步。多智能体系统的输出动力学形式可表示为yi(t)=Cyi(t)。

在多智能体系统中,输出同步可以帮助智能体协同完成任务,提高整个系统的性能。追求智能体之间的输出同步,也就是要求所有子系统输出yi(t)接近公共轨迹ys(t),即

输出同步在许多实际问题中都具有重要的应用,如卫星控制、智能交通系统、集群机器人等[15,16]。近年来,国内外学者对多智能体系统输出同步问题进行了广泛的研究。文献[17]研究了在任意切换通信拓扑下,多智能体系统的输出同步问题,设计了一种具有嵌入式参考系统的控制器;文献[18]提出了一种数据驱动的动态反馈协议,研究了在时变有向图切换网络中,非线性异构多智能体系统的最优输出同步问题;文献[19]研究了在线性耦合情况下,网络无源系统智能体之间的输出同步问题;文献[20]研究了切换网络中,非线性异构多智能体系统的输出同步问题。

除状态同步和输出同步外,多智能体系统其它类型的同步问题也得到了研究。文献[21]研究了领导者-跟随者多智能体系统的广义多同步问题;文献[22]提出了多智能体系统反同步的自适应算法;文献[23]中讨论了具有有向拓扑结构的多智能体系统集群同步问题;文献[24]研究了异构非线性多智能体系统的自适应控制下的集群同步问题。

在许多情况下,多智能体系统可能受诸如扰动等各种复杂因素影响,因此多智能体本身可能无法实现同步。即使多智能体系统可以通过其固有的结构来达到同步状态,但最终的同步状态可能不是预期的,因此需要额外的控制来调整同步状态,即设计同步控制器将多智能体系统驱动到期望的同步状态。

同步控制器可以通过采用不同的算法来进行状态调整。例如,基于比例积分微分控制器、自适应控制器等。这些算法可以根据智能体之间的交互动态调整控制参数,从而适应环境变化和其它智能体的行为。同步协议模型的基本思想是每个智能体与其它智能体交换信息,并调整其状态,使其与其它智能体保持一致。这种模型假设智能体之间存在固定的拓扑结构,即每个智能体只能与其它一些智能体进行通信。智能体之间交换的信息包括当前状态和控制指令等。同步协议模型的数学表示可以使用公式xi(t+1)=f(xi(t),ui(t),wi(t)),式中xi(t)表示智能体i在时刻t的状态,ui(t)表示智能体i在时刻t的控制指令,wi(t)表示智能体i在时刻t的外部干扰。函数f表示状态更新规则,描述了智能体在当前状态、控制指令和外部干扰的影响下,如何更新其状态。再如比例积分微分控制器,其控制器的公式为

式中ei(t)表示智能体i在时刻t的误差,Kp、Ki、Kd分别表示比例、积分、微分控制参数。通过比例控制项、积分控制项和微分控制项对误差进行加权,比例积分微分控制器可以产生适当的控制指令,以实现智能体的状态调整。

目前,已经广泛研究了许多经典控制方案来解决多智能体的同步问题。例如,状态反馈控制、事件触发控制和牵制控制等。

3.1 自适应控制

在反馈控制和最优控制中,都假定被控对象是确定系统,然而在众多的工程实践中被控对象数学模型都是不确定系统。当被控对象是不确定系统时,常规控制器不可能得到很好的控制品质。为此,需要设计一种特殊的控制系统,它能够自动地补偿在模型阶次、参数和输入信号方面非预知的变化,这就是自适应控制。而自适应同步控制就是利用自适应控制技术来自动调整系统的某些参数,使系统达到同步的目的。自适应控制的研究对象是对于具有一定程度不确定性的系统,这里所谓的“不确定性”是指被控对象及其环境的数学模型不是完全确定的,其中包含一些未知因素和随机因素。

自适应同步控制器是一个广泛应用于多智能体系统中的控制算法,具体来说,多智能体自适应同步控制通常采用以下形式。假设有N个智能体,第i个智能体的动态方程为

式中N是智能体的数量,aij表示智能体i和j之间的耦合强度。自适应控制的公式一般为

式中vi表示第i个智能体的速度,aij和bij分别表示第i个智能体对第j个智能体的位置和速度耦合系数,εi表示自适应控制项。

多智能体自适应同步控制的核心是耦合强度和控制器参数的自适应调节。具体来说,可以使用自适应规律对耦合强度和控制器参数进行在线更新和调节,以实现多智能体的同步控制。文献[25]研究了存在多个时变通信延迟的情况下,线性多智能体系统的自适应同步问题;文献[26]采用分布式脉冲控制方法,研究多智能体系统自适应同步问题;文献[27]提出了具备通信链故障恢复能力的多智能体系统自适应同步;文献[28]研究了具有切换拓扑结构的异构多智能体系统自适应同步,且控制器不需要网络任何的全局信息。

基于自适应控制的基础,分布式自适应控制的引入能够更好地适应大规模、复杂系统的控制需求。通过引入分布式自适应控制,可以将系统的控制能力分散到不同的节点上,从而实现更加高效、灵活的控制。文献[29]提出了一种最优分布式控制的方法来解决连续时间异构多智能体的自适应同步问题;文献[30]采用Lyapunov函数,研究了具有切换拓扑且受到干扰的非线性多智能体系统同步的分布式自适应控制问题。

3.2 事件触发同步

多智能体的同步问题可以转化为代数形式的集稳定问题,但在处理集合稳定问题时,大多数控制器都是状态反馈控制或输出反馈控制,这会在控制器执行过程中造成不必要的资源浪费。因此,为了降低控制成本,避免不必要的数据传输,考虑了事件触发控制。

事件触发控制是一种控制策略,它不同于传统的周期性采样控制,而是基于事件触发机制,只在需要时采样和更新控制器。这种控制策略可以提高系统的采样率和控制性能,并降低系统的计算难度和通信开销。事件触发控制涉及到的事件触发规则和控制器设计都比较复杂,需要充分考虑系统的动态性、稳定性和实现难度等因素。事件触发控制指令计算公式一般为u(t)=-K×e(t),式中u(t)表示系统在时刻t的控制指令,K表示控制器的参数,e(t)表示系统的误差。控制器的参数K可以使用传统的比例积分微分控制器参数调节方法进行设计。在事件触发控制中,控制器的更新时刻由系统的状态和误差来触发。例如,当系统的状态或误差发生一定的变化时,就可以触发控制器的更新。常见的事件触发规则包括阈值型、自适应型、模型预测型等。以下是基于阈值型事件触发规则的事件触发控制公式,控制器更新时刻为tk+1=inf{t>tk:|e(t)|>h},式中tk表示上一次控制器更新的时刻,tk+1表示下一次控制器更新的时刻,e(t)表示系统的误差,h表示设定的阈值。当误差超过设定的阈值时,就触发控制器的更新。

通常,事件触发策略涉及通信和控制,其中通信是间歇性执行的,控制信号是根据触发功能的规定偶尔更新的。文献[31]研究了具有固定拓扑的非线性多智能体系统的同步问题,提出了一个状态相关的事件触发协议来解决多智能体系统的同步问题;文献[32]提出了一种控制体系,通过事件触发的控制器和通信协议来实现异构多智能体系统的输出同步;文献[33]在同步周期数据采样框架下,研究了非线性多智能体系统的事件触发同步问题,提出了状态和时间相关的事件触发协议;文献[34]研究了基于事件的非线性多智能体的同步控制问题,提出了一种分布式模型的方法,来保证所有智能体收敛到可调整的同步区域。

一致性问题是一种特定类型的同步问题。利用事件触发控制来研究多智能体系统一致性问题也较为广泛。文献[35]针对线性多智能体系统的一致性问题,提出了分布式事件触发控制策略,以降低智能体之间的信息传输频率和减少每个智能体控制输入的数量;文献[36]研究了线性多智能体系统在无向图上的一致性问题,通过使用智能体之间的相对信息,提出了一种用于一致性控制的自适应事件触发协议;文献[37]研究了二阶多智能体系统的事件触发一致性控制问题,提出了一种事件触发控制策略,以在有向拓扑下实现多智能体系统的一致性。

3.3 牵制控制

对于规模比较大的复杂网络,通过控制所有的节点使其达到同步是非常困难的,而且也非常耗费资源。为了节约控制成本,人们提出了牵制控制策略,即通过控制网络中部分节点从而使网络同步。多智能体牵制控制中,智能体之间相互牵制,以防止它们偏离预定的轨迹或状态。牵制控制可以是一种集中式或分散式的控制方法,这取决于是否存在一个中央决策者或控制器来协调系统中的所有智能体。

多智能体牵制同步控制的具体公式会根据具体的系统和任务而有所不同。对于一个具有N个智能体的多智能体系统,假设智能体控制器都受到其它智能体状态的线性组合的影响,则控制器可以表示为

式中ui(t)表示第i个智能体在时刻t的牵制控制输入,lij表示第i个智能体和第j个智能体之间的耦合强度,dij(t)表示第i个智能体和第j个智能体之间的距离误差。

多智能体牵制控制同步模型考虑了智能体之间的相互作用,并利用这些信息来调整每个智能体的控制输入,从而实现系统的同步和控制。文献[38]研究了具有二阶非线性领导者跟随者多智能体系统一致性问题,提出了一种牵制控制算法并给出了一些保证其全局渐近稳定的充分条件;文献[39]研究了具有干扰影响的二阶多智能体系统的同步问题,通过牵制一个耦合强度较小的节点,设计了能有效保证系统达到同步状态的控制算法;文献[40]研究了具有执行器故障的异构二阶非线性多智能体聚类同步问题,提出了两种自适应容错牵制控制策略,以实现在有限时间内的同步。多智能体牵制控制同步已经被广泛应用于各种领域,如群体机器人、智能交通系统、网络控制等[41]。

3.4 输出反馈控制

输出反馈控制的意义在于以输出作为反馈量来构成反馈律,实现对系统的闭环控制,从而达到期望的系统性能指标。输出反馈控制公式可表示为

式中lij为第i个智能体和第j个智能体之间的耦合强度,C是一个满秩矩阵,vi(t)是输出反馈控制器的补偿项,用于消除外界干扰和系统扰动。在多智能体输出反馈控制中,系统的输出被视为控制器的输入,而每个智能体的输出被视为系统的输入。通过分析系统的输出和每个智能体的输出,控制器可以确定每个智能体需要采取的行动,并向其提供反馈信息以进行调整。

多智能体输出反馈控制在许多领域都有广泛的应用,包括机器人控制、自动驾驶汽车和智能电网等[42]。文献[43]研究了一类具有主从结构的二阶非线性多智能体系统同步问题,基于有限时间控制和收敛观测器技术,提出了一种有限时间输出反馈控制器;文献[44]研究了同构线性多智能体系统同步的输出反馈控制,提出了一种具有保证成本的多智能体动态输出反馈鲁棒镇定控制算法。

多智能体输出反馈控制只能对系统输出进行控制,而无法对系统状态进行调节。因此,为了实现更加精确和稳定的控制,研究状态反馈控制也具有重要意义。状态反馈控制通过测量系统状态变量并将其反馈到控制器中,实现对系统状态的调节和控制,从而提高系统的动态响应和稳定性能。文献[45]通过设计状态反馈控制器,研究了非线性多智能体系统的有限时间同步问题;文献[46]利用状态反馈控制研究了多智能体系统在遭受攻击时的分布式一致性问题。

除上述控制方案外,还有很多其它类型的控制方法也被广泛应用于解决多智能体系统同步问题,包括采样数据控制、脉冲控制等等[47,48]。每种控制方法都有其适用的场景和优缺点,在实际应用中需要根据具体情况进行选择。同时,随着多智能体系统的不断发展,新的控制方法也在不断涌现,这为我们解决多智能体同步问题提供了更多的选择和可能性。

本文对多智能体同步问题进行了阐述,首先介绍了多智能体系统模型的概念及相关背景,然后简述了多智能体系统的同步问题,总结了多智能体同步控制器的一些研究成果。基于计算机网络分析和控制理论,在实数域上解决多智能体同步问题的各种模型、算法和方法已经被给出,但实值多智能体系统的同步往往需要无限的内存和通信资源,这在现实中需要非常昂贵的成本。此外,实值同步算法往往无法在有限时间内收敛,不适用于具有时间约束的容量和内存约束网络。因此,在有限域上研究容量和内存受限的网络,以及受时间约束的应用问题具有重要意义。在有限域上研究多智能体系统的主要优点是可以节省通信资源,并使多智能体系统在有限时间内收敛。关于有限域网络已有一些有趣的结果,如一致性和同步[49,50]。多智能体系统中的智能体通常具有复杂的非线性动力学模型,这使得同步控制算法的设计和分析变得更加困难和复杂,需要采用更加先进的数学和控制理论工具来解决问题。总之,多智能体同步领域面临的挑战和难题是多方面的,需要在理论和实践方面持续探索和创新。

猜你喜欢 耦合控制器状态 非Lipschitz条件下超前带跳倒向耦合随机微分方程的Wong-Zakai逼近数学物理学报(2022年2期)2022-04-26状态联想小学生作文(低年级适用)(2019年5期)2019-07-26生命的另一种状态读友·少年文学(清雅版)(2018年12期)2018-04-04热图家庭百事通(2016年3期)2016-03-14坚持是成功前的状态山东青年(2016年3期)2016-02-28基于“壳-固”耦合方法模拟焊接装配大型铸锻件(2015年5期)2015-12-16模糊PID控制器设计及MATLAB仿真筑路机械与施工机械化(2014年4期)2014-03-01MOXA RTU控制器ioPAC 5542系列自动化博览(2014年9期)2014-02-28倍福 CX8091嵌入式控制器自动化博览(2014年4期)2014-02-28求解奇异摄动Volterra积分微分方程的LDG-CFEM耦合方法湖南理工学院学报（自然科学版）(2014年1期)2014-02-28