文章快速检索    
  济宁医学院学报  2023, Vol. 46 Issue (4): 261-265  DOI:10.3969/j.issn.1000-9760.2023.04.008
0

引用本文 [复制中英文]

顾宸铭, 李红敏, 翟敏, 田壮, 徐礼君. 以服务效果为导向的基本公共卫生绩效评价指标体系的构建[J]. 济宁医学院学报, 2023, 46(4): 261-265. DOI: 10.3969/j.issn.1000-9760.2023.04.008.
[复制中文]
GU Chenming, LI Hongmin, ZHAI Min, TIAN Zhuang, XU Lijun. Development of an outcome-oriented performance evaluation system for basic public health service[J]. Journal Of Jining Medical University, 2023, 46(4): 261-265. DOI: 10.3969/j.issn.1000-9760.2023.04.008.
[复制英文]

基金项目

山东省自然科学基金(ZR2021QG051)

通信作者

翟敏, E-mail: zmpljyhj@163.com;

文章历史

收稿日期:2023-03-14
以服务效果为导向的基本公共卫生绩效评价指标体系的构建
顾宸铭 , 李红敏 , 翟敏 , 田壮 , 徐礼君     
济宁医学院公共卫生学院, 济宁 272013
摘要目的 构建以居民健康结果和服务效果为导向的基本公共卫生服务绩效评价体系,为提升基本公共卫生服务质量提供依据。方法 以2022年《国家基本公共卫生服务项目绩效评价》为基础,通过文献分析,初步构建指标体系,运用德尔菲法于2022年3月至2022年4月进行2轮专家咨询,对指标进行筛选,确定最终指标体系。结果 共20名专家参与咨询。专家对各项二级指标的权威系数均在0.7以上,两轮专家积极程度分别为90.91%和100%,指标总体Cronbach’s α为0.986,形成了以“服务效果”为一级指标,“健康档案应用效果”等5项二级指标及“健康档案更新率”等16项三级指标构成的绩效评价指标体系。结论 本研究采用德尔菲法建立了以服务效果为导向的基本公共卫生服务绩效评价指标体系,专家积极程度与权威程度都较高,意见协调性较好,指标体系科学合理,可用于客观评价基本公共卫生服务效果。
关键词基本公共卫生服务    绩效考核    服务效果    德尔菲法    指标体系    
Development of an outcome-oriented performance evaluation system for basic public health service
GU Chenming , LI Hongmin , ZHAI Min , TIAN Zhuang , XU Lijun     
School of Public Health, Jining Medical University, Jining 272013, China
Abstract: Objective  To develop a performance evaluation system oriented by service effects and health outcomes for basic public health services and to provide a scientific basis for improving the quality of essential public health services. Methods  Based on the "Performance Evaluation of National basic Public Health Service Projects" of 2022, through literature analysis, an index system was initially constructed, and two rounds of expert consultations were conducted from March to April 2022 via the Delphi method to screen indicators to establish the final indicator system. Results  A total of 20 experts participated in two rounds of consultations, and the response rates of the two rounds were 90.91% and 100%, respectively.The Cronbach's was 0.986.This performance evaluation index system of service effect consisting of 1 primary indicator ("Service effect"), five secondary indicators ("Health file application effect", "Health education effect", "Vaccination effect", "Health condition of the key population", and "Satisfaction") and 16 tertiary indicators, was finally established. Conclusion  This study has developed a service effect-oriented performance evaluation index system for basic public health services with a high response rate.The experts providing opinions have a high authority in the field and were actively participating in the process, and their suggestions were well coordinated.This index system is scientific and reasonable to evaluate the performance of basic public health services.
Keywords: Essential public health services    Performance evaluation    Service effects    Delphi method    Indicator system    

自2009年《中共中央国务院关于深化医药卫生体制改革的意见》首次提出逐步实现基本公共卫生服务均等化,并明确国家基本公共卫生服务项目以来[1],我国不断加大基本公共卫生服务投入,基本公共卫生服务工作取得了长足进步。为进一步规范基本公共卫生服务,财政部、国家中医药局、原国家卫计委于2015年制定了《国家基本公共卫生服务项目绩效考核指导方案》[2],国内学者也不断探索适应我国基本公共卫生服务发展的绩效考核体系[3-5]。但目前各种绩效评价指标多以“项目执行”为重,导致绩效评价仅仅是一个工作任务考核[6],卫生健康委《关于做好2021年基本公共卫生服务项目工作的通知》中明确提出创新项目绩效评价方式,完善评价方法,推动从过程评价到健康结果评价转变[7]。本研究旨在聚焦服务效果,采用德尔菲法构建基本公共卫生项目效果绩效评价体系,发挥效果导向作用,为基本公共卫生服务绩效评价研究提供科学依据。

1 对象与方法 1.1 对象

为初步构建以“服务效果”为导向的基本公共卫生绩效评价指标体系,以2022年《国家基本公共卫生服务项目绩效评价》中的“服务效果”指标为依据,结合国内外关于基本公共卫生服务绩效评价研究成果[2-5, 8-12],遵循科学性、合理性、可行性和重要性等原则,补充与完善“服务效果”指标。

1.2 方法

德尔菲法是专家会议法的一种发展,其核心是通过匿名方式进行几轮函询征求专家们的意见,得到一个比较一致的且可靠性较大的结论或方案[13-15]。因此,本研究采用德尔菲法进行两轮专家咨询。

1.2.1 专家遴选

选取具有公共卫生服务相关工作经历和丰富实践经验、熟悉基本公共卫生服务绩效考核过程并自愿参与本研究的专家20名,其中16位来自山东,2位来自浙江,2位来自广东;有14位来自高校、科研机构(占70%),3位来自基层医疗机构(占15%),3位来自卫生行政机构(占15%);具有10年及以上工作经历的14人(占70%);本科及以上学历20人(占100%),副高及以上职称者14人(占70%)。

1.2.2 第1轮专家咨询

通过问卷星平台,将构建的指标体系以问卷形式邀请专家进行填写,内容包括:1)专家基本情况。包括性别、年龄、工作单位、目前从事专业、工作年限、学历、职称等;2)专家对指标的熟悉程度和判断依据进行评分,并评价指标的重要程度和可行性。

1.2.3 第2轮专家咨询

回收第1轮咨询问卷后,结合统计结果与专家意见,对指标进行修订,形成第2轮咨询问卷(包含对第1轮指标的修改情况),请专家再次对指标进行评分。

1.2.4 确定最终指标体系

收集第二轮问卷进行汇总与统计分析,综合专家意见形成最终指标体系。

1.3 统计学方法

使用SPSS 26.0进行数据分析,计算各指标的算术平均数、标准差、变异系数、权重等。

1.3.1 变异系数(CV)

各项指标的变异系数反映了各专家对同一指标评价的一致性,CV=σj/μj(σjj指标的标准差,μjj指标的算术平均数),变异系数越小,表明专家意见一致性越好。

1.3.2 指标权重及总体信度

采用重要程度均分与可行性均分之和的平均值作为每个指标的综合得分,利用百分权重法对二级指标进行赋权,将每个二级指标的综合得分除以所有二级指标综合得分之和, 即为该二级指标的权重系数。运用乘积法确定三级指标的权重,即先用百分权重法计算三级指标在所属的二级指标下的权重系数,再乘以所属的二级指标的权重系数[5]。由于仅有一个一级指标,其权重系数为1。

对指标计算Cronbach’s α评价总体信度,若其值大于0.8,可认为指标体系信度较好[16]

1.3.3 专家权威程度(Cr)及意见协调性

Cr由专家对指标作出判断的依据(Ca)和专家对指标的熟悉程度(Cs)2个因素决定,Cr=(Ca+Cs)/2[16],一般以Cr大于0.7为权威程度较高[17]。肯德尔和谐系数(W),W在0~1,W越大,表示协调程度越好。对W的显著性检验,由于被评价条目大于7,因此采用卡方检验,以P<0.05为差异具有统计学意义,代表专家意见协调性好,结果可信[18]

2 结果 2.1 专家基本情况与积极程度

本研究第1轮发出问卷22份,收回20份,回收率90.91%;第2轮发出问卷20份,回收20份,回收率100%。

2.2 专家权威程度

指标重要程度和可行性、专家对指标的熟悉程度和判断依据量化等级如表 1所示。专家对各项二级指标的熟悉程度和判断依据得分如表 2所示,权威系数均在0.7以上。

表 1 指标量化等级
表 2 专家熟悉程度、判断依据及权威程度评分
2.3 专家意见协调程度

第一轮咨询各三级指标重要程度和可行性的专家咨询结果如表 3,重要程度W为0.14(χ2=47.55,P<0.05),可行性W为0.181(χ2=61.396,P<0.05)。第二轮指标重要程度和可行性的专家咨询结果如表 4,可见变异系数明显小于第一轮,专家意见一致性逐渐提高,重要程度W为0.084(χ2=25.127,P<0.05),可行性W为0.103(χ2=30.881,P<0.05)。

表 3 第1轮三级指标重要程度和可行性得分
表 4 第2轮指标重要程度和可行性得分
2.4 指标体系的确定

经过第1轮咨询,以指标重要程度和可行性评分均大于满分的60%(6分)且变异系数小于0.5作为入选标准,全部指标入选。根据专家咨询结果和意见,对变异系数大于0.3的指标进行重点讨论,综合考虑各项指标的算数均数、标准差,共删除4个三级指标(“纳入免疫规划的传染病发病率”“儿童结核病发病率”“新生儿疾病筛查率”及“孕产妇管理期内异常情况及时处理率”),修改8个三级指标,增加2个三级指标,最终获得1个一级指标,5个二级指标,16个三级指标(如表 5所示)。经过第2轮咨询,专家对各指标的意见趋于一致,各指标的变异系数明显小于第1轮。部分专家对部分指标说明和来源提出修改建议,如“危害健康相关行为改变率”中的指标来源由“电话抽样调查”修改为“从每年健康体检记录中抽查”。

表 5 以服务效果为导向的基本公共卫生服务效果绩效指标及权重

由此设计的绩效考核指标体系,共包括1项一级指标,5项二级指标和16项三级指标。指标体系信度检验Cronbach’s α为0.986,数据信度较好,各指标之间具有良好相关性。各指标的权重系数及以服务效果为导向最终绩效考核指标体系如表 5所示。

3 讨论

本研究基于2022年《国家基本公共卫生服务项目绩效评价》,采用德尔菲法构建了以“服务效果”为一级指标,“健康档案应用效果”等5项二级指标及“健康档案更新率”等16项三级指标构成的基本公共卫生服务绩效评价体系,相对于《国家基本公共卫生服务项目绩效评价》,增加更能直接反映预防接种的服务效果的指标“0~6岁儿童免疫接种覆盖率”;突出评价健康结果的“管理人群体质指数合格率”“0~6岁儿童生长发育达标率”“在册严重精神病患者病情稳定率”等指标;有助于评价健康档案“活起来”的三级指标“健康档案系统与医疗机构互联互通情况”“健康档案更新率”;以重点人群为切入点,更有效衡量健康教育效果的“管理人群健康素养核心知识知晓率”,更有针对性的“管理人群满意度”等,研制的指标体系更加突出服务效果和居民健康结果评价。

研究参与咨询的专家权威系数均在0.7以上,权威程度、积极程度都较高、意见协调性较好;指标重要性和可行性方面,本研究以指标重要程度和可行性评分均大于满分的60%(6分)且变异系数小于0.5作为入选标准,所有三级指标重要程度和可行性的均数第一轮中均高于6分,第二轮在7.9分及以上,且变异系数明显小于第一轮,表明专家意见逐渐趋于一致;指标权重分析发现各二级指标权重接近,表明各项二级指标缺一不可。Cronbach’s α为0.986,说明各指标间具有良好相关性,研究构建的聚焦评价服务效果和健康结果的指标体系,具有良好的信度,研究结果可靠。

研究过程中,发现肯德尔和谐系数方面,重要程度和可行性W在第一轮中分别为0.14和0.181,第二轮中分别为0.084和0.103,专家意见之间具有协调性,但和谐系数不高,原因可能是本研究专家组中包括几组同类别专家,相同的职业背景和工作经历使得部分专家组中存在一些高度协调组,但各高度协调组之间的意见不够统一[15],这也是今后研究中需要继续完善的地方;同时构建指标体系仅是第一步,之后还需要开展指标体系的实证性研究,验证其可操作性,并结合实践需求不断调整考核指标。

本研究在检索分析绩效评价相关研究基础上,主要研制服务效果和健康结果考核指标,旨在补充、完善目前绩效评价指标体系,推动从过程评价到健康结果评价转变,更好发挥绩效评价激励导向作用提供科学依据,对从根本上提升基本公共卫生服务质量具有重要意义。

利益冲突:所有作者均申明不存在利益冲突。

参考文献
[1]
中共中央国务院. 中共中央国务院关于深化医药卫生体制改革的意见[EB/OL]. (2009-04-06)[2022-04-16]. http://www.nhc.gov.cn/tigs/s7846/200904/902e526039424a2ca87e8d78f307e9f5.shtml.
[2]
中华人民共和国卫生计生委, 中华人民共和国财政部. 关于印发《国家基本公共卫生服务项目绩效考核指导方案》的通知[EB/OL]. (2015-06-15)[2022-04-16]. http://www.nhc.gov.cn/jws/s3577/201506/5dd202e2199e478b8e7b714e7a9c721a.shtml.
[3]
苏海军, 姚岚. 公共卫生服务体系绩效评价指标框架研究[J]. 中国卫生经济, 2010, 29(11): 74-75.
[4]
成撒诺, 何坪, 邓宇, 等. 重庆市基本公共卫生服务绩效考核指标体系构建研究[J]. 中国全科医学, 2018, 21(10): 1161-1166. DOI:10.3969/j.issn.1007-9572.2018.10.005
[5]
蔡荟, 何艳辉, 夏英华, 等. 应用德尔菲法构建基本公共卫生服务项目绩效评价指标体系的研究[J]. 华南预防医学, 2018, 44(2): 122-127. DOI:10.13217/j.scjpm.2018.0122
[6]
赵术高. 基本公共卫生服务项目绩效评价: 成效、问题与建议——基于绩效评价机制的分析[J]. 财政监督, 2018, 420(6): 16-19.
[7]
中华人民共和国卫生健康委, 财政部, 国家中医药局. 关于做好2021年基本公共卫生服务项目工作的通知[EB/OL]. (2021-07-13)[2022-05-29]. http://www.nhc.gov.cn/jws/s3577/202107/707746ea6c2c4dcd9fd0cbc8a64410a6.shtml.
[8]
Jee M, Or Z. Health outcomes in OECD countries: A framework of health indicators for outcome-oriented policymaking[R]. Labour market and social policy occasional papers No. 36.
[9]
The National Health Performance Committee. National Health Performance framework report[R]. Brisbane: Queensland Health, 2001.
[10]
World Health Organization. World Health Report 2000: Health Systems: Improving Performance[R]. Geneva: WHO, 2000.
[11]
Gerring J, Thacker SC, Enikolopov R, et al. Assessing health system performance: A model-based approach[J]. Soc Sci Med, 2013, 93: 21-28. DOI:10.1016/j.socscimed.2013.06.002
[12]
Malmivaara A. System impact research-increasing public health and health care system performance[J]. Ann Med, 2016, 48(4): 211-215. DOI:10.3109/07853890.2016.1155228
[13]
玉明科, 黄家运, 曾世培. 应用德尔菲法构建乡镇级结核病防治效果评价体系[J]. 卫生软科学, 2012, 26(1): 70-72.
[14]
邹沛耘. 重庆市璧山区基本公共卫生服务绩效评估研究[D]. 重庆: 重庆大学, 2019.
[15]
于梅子, 纪颖, 唐芹, 等. 应用德尔菲法构建公众健康传播材料筛选指标体系[J]. 中国健康教育, 2011, 27(4): 278-281. DOI:10.16168/j.cnki.issn.1002-9982.2011.04.010
[16]
吴海峰, 何坪, 杨森评, 等. 重庆市基本公共卫生服务均等化绩效考核指标体系研究[J]. 中华疾病控制杂志, 2013, 17(1): 62-65.
[17]
宋俐, 羊海涛. 应用德尔菲法建立农村基本公共卫生服务评价指标体系[J]. 江苏预防医学, 2011, 22(2): 10-13.
[18]
刘前进, 杨鹏, 崔荣哲, 等. 应用德尔菲法和层次分析法构建的陆军卫生连核应急医学救援力量能力评价指标体系[J]. 中华灾害救援医学, 2022, 10(3): 121-126. DOI:10.13919/j.issn.2095-6274.2022.03.001