唐求 吴娟 滕召胜 马俊
摘要:針对传统模糊神经网络(FNN)评价模型在国家质量基础设施(NQI)综合服务信息平台的服务质量评价中存在收敛速度慢、易陷入局部最优解等问题,提出一种基于优化主成分分析法(OPCA)与改进遗传算法(IGA)的模糊神经网络智能评价方法.为提高FNN的网络收敛速度,利用OPCA根据评价指标间的相关性,删除冗余指标因素,减少网络输入量,实现对网络输入的降维处理;
将IGA与FNN相结合,利用自适应的交叉与变异概率对FNN隶属函数的系数进行全局搜索,克服FNN在智能评价时容易陷入局部极值问题.基于我国实际的NQI综合服务信息平台服务质量调研数据开展试验分析,结果表明,OPCA-IGAFNN评价模型具有高效、准确的评价效果.
关键词:国家质量基础设施综合服务信息平台;
评价方法;
模糊神经网络;
优化主成分分析;
改进遗传算法
中图分类号:TP391文献标志码:A
Service Quality Evaluation for NQI Comprehensive Service Platform Based on OPCA-IGAFNN
TANG qiu,WU Juan,TENG Zhaosheng,MA Jun
(College of Electrical and Information Engineering,Hunan University,Changsha 410082,China)
Abstract:Aiming at the problems of the traditional Fuzzy Neural Network (FNN)evaluation model in the service quality evaluation of the National Quality Infrastructure (NQI)comprehensive service information platform,such as slow convergence speed and likely falling into the local optimal solution,a fuzzy neural network intelligent evaluation method based on Optimized Principal Component Analysis (OPCA)and Improved Genetic Algorithm (IGA)was proposed. In order to improve the network convergence speed of FNN,OPCA was used to delete redundant index factors reduce the amount of network input,and realize the dimensionality reduction of network input,according to the correlation between evaluation indexes. Then,IGA is combined with FNN,and the coefficients of the membership function of FNN are searched globally by using adaptive crossover and mutation probability,so as to overcome the problem that FNN is easy to fall into local extremum in intelligent evaluation effectively. Based on the actual service quality survey data of the NQI platform in China,the experimental analysis shows that the OPCA-IGAFNN evaluation model has a more efficient and accurate evaluation effect.
Key words:national quality infrastructure comprehensive service information platform;
evaluation method;
fuzzy neural networks;
optimized principal component analysis;
improved genetic algorithm
我国将计量、标准、认证认可和检验检测四要素统称为国家质量基础设施(National Quality Infrastructure,NQI),在产业转型升级、技术创新、提高产业生产效率等方面,都有着积极的推动作用[1-2].NQI综合服务信息平台(以下简称“NQI平台”)利用计算机网络技术、信息技术以及标准化理论将这四要素整合于一体以便实现国家资源优化配置[3].为更好地管理NQI平台从而提升平台的服务质量,使平台发挥最大能效,对NQI平台的服务质量进行准确、合理评价显得尤为重要.
NQI平台服务质量的评价是一个科学的研究过程,评价的关键是建立科学的评价模型.早期的评价模型中,指标的选取数量以及各指标的权重系数都是人为确定的,决策者的专业水平对评价结果的准确率产生较大影响,导致评价的有效性和科学性不够[4].因此,结合数学分析[5]对NQI平台服务质量进行多因素的综合评价具有广泛的应用前景.
常用的数学分析模型有层次分析模型、模糊综合评价、模糊神经网络(Fuzzy Neural Network,FNN)等.文献[6]利用层次分析构建不同的指标因子层次结构,建立适用于弹性城市评价的指标体系,具有较高的实用性.然而,这种层次分析模型将定性分析与定量分析相结合[7],在确定权重时,往往因专家或评价者的价值观和偏见而产生差异,使得评价结果有很强的主观性.文献[8]利用熵权模糊综合评价模型对水润滑尾轴承性能进行评估,建立了较为准确的水润滑尾轴承评估体系.但模糊综合评价模型在评价过程中确定指标权重这一过程,仍是由人为给定或专家提供[9],导致评价结果并不客观.
模糊神經网络模型是模糊数学理论与人工神经网络相融合的产物,具备建模方便、预测精度高、评价客观等优点,已被广泛应用于各类综合评价问题中[11].文献[12]利用FNN构建第三方电商结汇平台评价体系,可帮助商家针对性地选择合适的结汇平台.但在实际应用中,传统FNN模型仍旧存在不足,在综合评价时评价模型容易陷入局部最优解且模型收敛速度较慢[13].
由于NQI平台的服务质量在评估过程中存在高维度非线性优化问题,传统的评价算法无法满足其需求.因此,针对传统FNN的缺陷,提出基于优化主成分分析法(Optimized Principal Component Analysis,OPCA)与改进遗传算法(Improved Genetic Algorithm,IGA)的FNN智能评价方法,由OPCA实现网络输入的降维,再利用IGA增强FNN的泛化能力,提高对NQI平台服务质量的整体评估性能.
1NQI平台服务质量评价指标构建
1.1NQI平台
NQI平台涉及工程机械、生物医药、电子电器、材料等多个行业,为产业转型升级提供全流程的NQI资源服务.通过在线整合计量服务资源、标准服务资源、检验检测服务资源和认证认可服务资源,实现计量服务、标准服务、检验检测服务和认证认可服务等功能.NQI平台服务示意图如图1所示.
由图1可知,需求方(企业、政府、相关研究单位等)在NQI平台发布计量、标准、检验检测等服务需求,通过平台的关键技术进行服务需求与服务机构的高效匹配,方便快捷实现供需双方间的沟通,并对服务内容、服务效果等快速形成有效共识.服务机构也可向平台发布服务资源信息,为平台提供关键技术支撑以及仪器设备共享,从而更好地解决需求方的服务需求.服务需求解决后,需求方可向平台提供服务满意度反馈,为平台的高质量发展提供指导性建议.
1.2NQI平台评价指标选择
为推动NQI平台的高质量发展,建立合适的评价模型必不可少,首要步骤便是构建评价指标体系,对平台服务质量进行量化.对于NQI平台这一复杂的非线性系统,用单个指标很难体现系统的主要特征,应对平台的功能属性进行分析,从计量、标准、合格评定等方面进行技术创新,多视角、全方位评价技术提供方和企业用户方.因此,评价指标的设计应从NQI平台的功能与特点出发,兼顾企业用户对NQI平台的需求以及专家的指导性建议,从而建立健全的评价指标体系,以提高评价结果的可信性与准确度.
依据评价指标体系构建原则和NQI平台的功能与特点,梳理用户对NQI平台的使用需求,结合专家建议并参考国内外已有的服务平台评价指标体系,确立由计量发展水平和服务能力、标准发展水平和服务能力、合格评定发展水平和服务能力、便利性和专业规范性5个一级指标和21个二级指标的NQI平台服务质量评价指标体系,具体如表1所示.
1.3NQI平台评价指标量化处理
基于表1所确立的NQI平台服务质量评价指标,为了建立后续的NQI平台服务质量评价体系,需要对这些列出的NQI平台评价指标进行规范的量化操作,包括评价指标赋值与指标归一化处理.
指标赋值是进行指标量化评价的前提.借鉴相关公共平台服务质量评价的国家标准与相关科研成果必,咨询领域内有经验的专家,将所建立的每个指标按其特点分为5个等级进行评分,评分越高性能越强.以计量发展水平和服务能力(A1)为例,相应评价指标的量化结果如表2所示,其中的等级划分是依据用户以及专家的实际体验确定的.以仪器设备的多样性为例“较少”表明该指标处于第一个等级,其评分最低,表明用户对该指标的满意度最差.
对各个指标完成量化后,需要规范各评价指标的属性值,也就是将这些值归一化到[0,1]内,参阅文献[15],利用效益型指标规范方法实现对NQI平台服务指标属性的归一化处理.依据不同的指标属性值将最终评价等级分为非常满意(V1)、满意(V2)、不满意(V3)、非常不满意(V4).
在完成对NQI平台服务质量指标的选取与量化后,需要合适的评价模型并结合这些质量指标对NQI平台的服务质量进行具体的评价.提出基于OPCA-IGAFNN的NQI平台服务质量评价模型用于对NQI平台的评价分析.
2NQI平台服务质量评价模型研究
2.1基于OPCA的NQI平台评价数据降维
为提高评价模型的收敛速度,提高NQI平台的评价效率,利用OPCA依据NQI输入指标之间的相关性,对输入指标进行降维.
在传统PCA分析时,对每一个指标变量赋予相同比重,忽略了指标变量的重要性.因此,利用斯皮尔曼(Spearman)相关系数法对PCA加以优化,对原始数据的指标变量与最终评价值之间的关联度系数进行计算并分析.
对于N个样本、n个评价指标的数据集X为:
OPCA降维过程可描述为:利用Spearman相关系数分析获得每个评价指标变量的相关系数矩阵Rnn;
参阅文献[16],对原始评价指标数据进行标准化操作,得到xij的标准化值x′ij为:
由相关系数矩阵与标准化后的评价数据的乘积组合得到新的矩阵PNn,计算矩阵PNn的特征值(λ1,λ2,…,λn),λ按从大到小的顺序排列;
然后,通过计算累计方差贡献率Cp,选取Cp大于90%的前p个特征值作为主成分,有
将选取的前p个主成分作为新的评价指标引入NQI平台服务质量评价模型中,以降维后的数据作为评价模型的输入,进行后续的评价分析.
2.2基于FNN的NQI平台评价模型
在得到降维后的输入评价指标数据后,利用FNN模型对NQI平台开展进一步的评价分析.模糊神经网络结构如图2所示.
第1层为输入层,将NQI评价模型输入指标U=[x1,x2,…,xn]T传送到下一层.第2层为模糊化层,也称为隶属度函数层,用于计算每个输入指标隶属于
式中:n表示输入指标的维度;
mi是xi的模糊分割数;
cij和σij分别代表隶属函数的中心值和宽度.
第3层为模糊推理层,用来计算每条模糊规则的适应度αj,匹配规则为:
有
i1∈{1,2,…,m1},…,in∈{1,2,…,mn};
j=1,2,…,m(6)
第4层为归一化层,即
第5层为输出层,实现反模糊化处理,进行清晰计算,即
式中:wij表示yi的第j个评价值隶属度函数的中心点.
在确定各输入分量的模糊分割数之后,FNN利用梯度算法[17]优化模糊化层的隶属函数的中心值cij和宽度σij(i=1,2,…,n;
j = 1,2,…,m).
基于OPCA降维模型,可将p个NQI平台评价指标作为FNN的输入变量,即U={X1,X2,…,Xp-1,Xp}.评价集由多名NQI领域研究专家以及NQI服务平台的相关行业用户对NQI平台服务质量给出的4个等级组成,即V={V1,V2,V3,V4}.因此,本文評价模型中的输入节点个数为p,输出节点数为4.根据专家给出各评价指标对评价等级的隶属程度,构造隶属度矩阵G,通过对不同指标赋予权重,可计算NQI平台的评价值Yi,并将其作为FNN的输出变量.
2.3基于IGA的FNN模型参数优化
由于FNN评价模型学习算法梯度下降法会导致FNN参数寻优陷入局部最优解,无法达到全局最优[18],提出IGA优化FNN寻参性能,使隶属度函数的中心值cij和宽度σij获得最优解,最终通过最优中心值和宽度得到评价值.
传统遗传算法在寻优过程中交叉概率pc和变异概率pm保持初值不变,限制了其全局搜索性能[19].因此,IGA随着迭代次数自适应调整交叉概率与变异概率,在保证其优化性能的同时提高其搜索速度.交叉与变异概率的调整分别如式(9)和式(10)所示.
式中:pc和p′c分别为初始与改进交叉概率;
pm与p′m分别为初始以及改进变异概率;
k表示当前遗传代数;
K表示最大遗传代数.
2.4基于OPCA-IGAFNN的NQI平台评价框图
结合OPCA与IGAFNN,本节进一步提出基于OPCA-IGAFNN的NQI平台服务质量评价框图,如图3所示,描述如下.
1)对原始NQI平台评价指标数据进行预处理,即数据归一化处理.
2)对归一化后的评价指标数据进行主成分分析,选出累计方差贡献率Cp≥90%的p个主成分作为模型输入的训练样本和测试样本.
3)选取隶属度函数并确定FNN网络拓扑结构,利用IGA算法对初始隶属度函数参数进行最优解搜索,给出隶属度函数的最优参数及FNN的最优权值.
4)利用新的NQI平台评价数据测试样本及IGA算法给出的最优参数对NQI平台服务质量进行评价.
3应用分析
3.1NQI平台评价数据获取
为获取NQI平台服务质量评价样本数据,采取线上与线下并行的方式对不同地区、不同行业的多家企业进行调研,主要涵盖工程机械、新能源汽车、生物医药以及仪器仪表等领域的企业用户以及研究专家进行NQI平台服务质量满意度调研.
本次问卷设计根据李克特五级量表法对表1中的NQI评价指标打分,分值包含1、2、3、4、5分,分别对应从非常不满意到非常满意.线上调研主要是通过设计调查问卷,在问卷星平台发布,借助微信、邮箱等方式邀请NQI平台用户以及专家进行填写.线下调研主要是通过对相关行业的企业用户进行实地调查走访.对问卷的填写质量进行严格把控,确保评价数据的真实性、有效性.本次共获取300份有效问卷.
3.2不同评价方法对比
结合采集到的NQI平台的样本数据,将样本按训练集与测试集7:3的比例划分,设置网络最大迭代步数为200次,学习率为0.01,学习目标设置为0.001,设置IGA优化算法的种群数量和最大迭代次数分别为100和700,选取累积方差贡献M≥90%的主成分因子作为后续NQI平台服务质量评价模型的输入变量,使用MATLAB工具对所提模型进行仿真验证.
为验证优化PCA-IGAFNN模型(本文模型)的优越性,通过仿真试验对比基于其他智能优化算法优化的模糊神经网络,以及基于其他智能评价方法的评价模型,分别对NQI平台的服务质量进行评价.本文选择基于粒子群优化模糊神经网络(PSO-FNN)与基于优化PCA的支持向量机(PCA-SVM)作为对比模型.不同NQI评价模型收敛过程的均方误差对比如图4所示.
由图4可知,PCA-IGAFNN的寻优迭代效果要优于其他两种评价模型,该评价模型在迭代20步就处于收敛状态,迭代100步时均方误差达到0.000 86;
PSO-FNN评价模型迭代将近30步时趋于收敛状态,而PCA-SVM评价模型迭代将近38步之后才收敛.虽然PSO-FNN评价模型比PCA-SVM评价模型的收敛速度快,但PCA-SVM评价模型稳定时的均方误差要比PSO-FNN的均方误差小.不同NQI评价模型的测试误差对比如图5所示.
为进一步验证所提模型的有效性,在测试集评估结果中补充对比了标准FNN以及IGA-FNN两种评价模型.不同NQI评价模型的评价结果如表3所示.
由图5和表3可知,当模型运行数为50时,标准FNN评价模型在测试集的均方误差为0.093 86,为几种评价模型中最差的评价模型,且收敛速度也是最慢的.针对两种对FNN加入不同优化算法的评价模型,IGA-FNN虽然在收敛速度上略逊于PSO-FNN,但在测试精度上要优于PSO-FNN评价模型.虽然IGA-FNN和PSO-FNN的收敛速度优于PCA-SVM评价模型,但测试集的均方误差要比PCA-SVM评价模型差很多.虽然PCA-SVM和PCA-IGAFNN评价模型的测试误差相差不大,但PCA-IGAFNN模型的收敛速度要比PCA-SVM模型的收敛速度快将近1倍.试验结果表明,本文提出的NQI平台评价模型在收敛速度和评价结果准确度方面都具有较好的效果.
3.3NQI平台的改进建议
利用OPCA-IGAFNN模型对NQI平台进行服务质量评价,部分评价结果如表4所示.表4中,Y1~Y4分别表示NQI平台4个评价等级非常满意、满意、不满意与非常不满意的评价值;
样本1~4分别为4个不同评价等级的样本.由表4可知,本文评价模型具有较高准确度,例如样本4中Y4评价值为0.999 999,评价值远高于Y1~Y3,由此样本4的评价等级划归为非常不满意.
为了对NQI平台的发展和完善提供改进建议,选取测试集中OPCA-IGAFNN模型评价结果为不满意与非常不满意的所有评价样本进行比较分析,结合用户对NQI平台不同评价指标的评价得分发现,目前NQI平台主要存在以下两点问题,其一是平台的计量技术在新兴领域相对落后,标准体系不够完善,检验检测服务机构较少,不能满足产业发展的需求;
其二是地区间的NQI资源发展不平衡,服务机构的数量和规模不能满足地方经济发展的需求.
NQI平台在未来的发展中,应对NQI配套设施进一步完善,融入多元化的NQI供需方客户,加强平台与高校和科研机构仪器设备的共享,提升区域NQI 水平,从而满足不同用户的需求.为此,提出以下几点建议.
1)整合更多服务资源,提高平台服务效率.整合不同区域、不同行业间的计量、标准等质量要素服务资源,打破区域资源分配不均衡的壁垒,不断提升NQI平台的服务质量.
2)加强国际交流,引进先进技术.我国部分新兴产业的技术还处于空白,NQI综合体系不够完善,NQI平台的发展要符合国际标准,并引进国外NQI的建设经验及先进技术.
3)提升用户的体验感.为提升用户的使用体验,平台可以在主界面设置精确的服务类别导航;
巧妙设计文字和图片的布局;
在介绍服务资源时配套清晰的服务流程.
4结论
本文搭建了一种基于OPCA-IGAFNN的NQI平台服务质量评价模型.利用OPCA算法对NQI评价指标数据进行适当处理,删除评价数据间的冗余信息,降低FNN的输入维度;
通过分析传统FNN评价模型的不足,提出IGAFNN评价模型,进而对NQI平台服务质量进行科学合理评价,提高评价的准确性. 通过与其他常用的评价模型进行对比分析,结果表明,所提出评价模型优化效果更好,具有精度更高、速度更快等优点.最后,针对试验采集的NQI平台服务质量评价数据,对我国NQI平台的发展和完善提出了改进建议.
参考文献
[1]宫轲楠,于连超,徐学林.我国国家质量基础设施发展战略研究[J].中国工程科学,2021,23(3):46-52.
GONG K N,YU L C,XU X L. Development strategy of national quality infrastructure in China [J]. Strategic Study of CAE,2021,23(3):46-52. (In Chinese)
[2]蔣家东,李相稹,郑立伟.国家质量基础设施研究综述[J].工业工程与管理,2019,24(2):198-205.
JIANG JD,LIXZ,ZHENG L W. National quality infrastructure:a review [J]. Industrial Engineering and Management,2019,24 (2):198-205.(In Chinese)
[3]程彦,潘鑫峰,陈岳飞.构建国家质量基础设施(NQI)协同服务平台的路径研究[J].中国检验检测,2020,28(1):3-5.
CHENG Y,PAN X F,CHEN Y F. Study on the path of building a national quality infrastructure (NQI)collaborative service platform [J]. China Inspection Body & Laboratory,2020,28(1):35.(In Chinese)
[4] CHOI D G,HYUN O S,HONG J I,et al. Standards as catalyst for national innovation and performance:a capability assessment framework for latecomer countries [J]. Total Quality Management & Business Excellence,2014,25(9/10):969-985.
[5]刘韵琴,刘云国,郭一明,等.基于多层级灰色理论的重金属污染水资源开发潜力评价:以湘江长株潭段为例[J].湖南大学学报(自然科学版),2014,41(7):84-89.
LIU Y Q,LIU Y G,GUO Y M,et al. Potential evaluation of heavy metal polluted water resource development based on the multilevel grey system theory:case study of the Chang-Zhu-Tan section of the Xiangjiang River [J]. Journal of Hunan University (Natural Sciences),2014,41(7):84-89.(In Chinese)
[6]陈娜,向辉,叶强,等.基于层次分析法的弹性城市评价体系研究[J].湖南大学学报(自然科学版),2016,43(7):146-150.
CHEN N,XIANG H,YE Q,et al. An AHP-based approach for evaluation index system of resilience city [J]. Journal of Hunan University (Natural Sciences),2016,43(7):146-150. (In Chinese)
[7]ZHANG L,ZOU Z H,SHAN W. Development of a method for comprehensive water quality forecasting and its application in Miyun reservoir of Beijing,China [J]. Journal of Environmental Sciences,2017,56(6):240-246.
[8]欧阳武,程启超,金勇,等.基于嫡权模糊综合评价法的水润滑尾轴承性能评估[J].中国机械工程,2020,31(12):1407-1414.
OUYAN G W,CHENG Q C,JIN Y,et al. Performance evaluation of water lubricated stern bearings based on entropy weight fuzzy comprehensive evaluation method[J]. China Mechanical Engineer- ing,2020,31(12):1407-1414.(In Chinese)
[9]YAN J Z,XU Z B,YU Y C,et al. Application of a hybrid optimized BP network model to estimate water quality parameters of Beihai Lake in Beijing [J]. Applied Sciences,2019,9(9):1863.
[10] MOSLEH M,OTADI M. Simulation and evaluation of system of fuzzy linear Fredholm integro-differential equations with fuzzy neural network[J]. Neural Computing and Applications,2019,31 (8):3481-3491.
[11]王月月,陳民铀,赖伟,等.基于MOSFET外特性参量的自适应模糊神经网络状态评估模型[J].电工技术学报,2018,33(18):4286-4294.
WANG Y Y,CHEN M Y,LAI W,et al. Healthy condition assessment on MOSFET based on external characteristic parameters and adaptive neuro-fuzzy inference system[J]. Transactions of China Electrotechnical Society,2018,33 (18):4286-4294. (In Chinese)
[12]周翔,周笛,郭燕.第三方跨境电商结汇平台评价指标体系构建研究:基于模糊神经网络[J].现代管理科学,2021(3):113-120.
ZHOU X,ZHOU D,GUO Y. Research on the evaluation index system of the third-party cross-border e-commerce settlement platform:based on fuzzy and neural network[J]. Modern Management Science,2021(3):113-120.(In Chinese)
[13]叶林,陈政,赵永宁,等.基于遗传算法-模糊径向基神经网络的光伏发电功率预测模型[J].电力系统自动化,2015,39 (16):16-22.
YE L,CHEN Z,ZHAO Y N,et al. Photovoltaic power forecasting model based on genetic algorithm and fuzzy radial basis function neural network[J]. Automation of Electric Power Systems,2015,39(16):16-22.(In Chinese)
[14]電子商务平台服务质量评价与等级划分:GB/T 31526—2015[S].北京:国家标准化管理委员会,2015:9-10.
Evaluation and classification of service quality for electronic commerce platform:GB/T 31526—2015 [S]. Beijing:China National Standardization Management Committee,2015:9-10(. In Chinese)
[15]穆永铮,鲁宗相,乔颖,等.基于多算子层次分析模糊评价的电网安全与效益综合评价指标体系[J].电网技术,2015,39 (1):23-28.
MU Y Z,LU Z X,QIAO Y,et al. A comprehensive evaluation index system of power grid security and benefit based on multioperator fuzzy hierarchy evaluation method[J]. Power System Technology,2015,39(1):23-28.(In Chinese)
[16]李东东,段维伊,周波,等.基于主成分分析的电力市场供应侧主体竞争潜力指数研究[J].电力系统保护与控制,2020,48 (19):1-8.
LI D D,DUAN W Y,ZHOU B,et al. Competitive potential index of the supply side of the market entity based on principal component analysis[J]. Power System Protection and Control,2020,48 (19):1-8.(In Chinese)
[17]朱熀秋,杜伟.基于模糊神经网络逆系统的无轴承永磁同步电机解耦控制[J].中国电机工程学报,2019,39(4):1190-1198.
ZHU H Q,DU W. Decoupling control of bearingless permanent magnet synchronous motor based on inverse system using the adaptive neural-fuzzy inference system[J]. Proceedings of the CSEE,2019,39(4):1190-1198.(In Chinese)
[18] LI Y,DONG W H,YANG Q X,et al. Automatic impedance matching method with adaptive network based fuzzy inference system for WPT[J]. IEEE Transactions on Industrial Informatics,2020,16(2):1076-1085.
[19]马俊,滕召胜,唐求,等.基于OGA-KSVR的电能计量设备测量误差预测[J].仪器仪表学报,2021,42(6):132-139.
MA J,TENG Z S,TANG Q,et al. Measurement error prediction of power metering equipment based on OGA-KSVR[J]. Chinese Journal of Scientific Instrument,2021,42(6):132-139.(In Chinese)
猜你喜欢服务质量指标评价一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性数学物理学报(2022年5期)2022-10-09中药治疗室性早搏系统评价再评价世界科学技术-中医药现代化(2021年10期)2021-03-02论如何提升博物馆人性化公共服务质量收藏界(2019年2期)2019-10-12最新引用指标计算机应用(2018年12期)2019-01-08莫让指标改变初衷商周刊(2018年26期)2018-12-29倾听患者心声 提高服务质量学习月刊(2015年6期)2015-07-09坚持履职尽责 提升服务质量学习月刊(2015年14期)2015-07-09基于Moodle的学习评价中国教育技术装备(2015年19期)2015-03-01Double图的Kirchhoff指标集美大学学报(自然科学版)(2015年1期)2015-02-28以创建青年文明号为抓手提升服务质量江苏卫生事业管理(2014年2期)2014-02-28扩展阅读文章
推荐阅读文章
恒微文秘网 https://www.sc-bjx.com Copyright © 2015-2024 . 恒微文秘网 版权所有
Powered by 恒微文秘网 © All Rights Reserved. 备案号:蜀ICP备15013507号-1