Keywords
健康信息质量, 大型语言模型（LLMs）, 信息质量评估
Paper Number
TR-2146
Paper Type
Short
Abstract
在线健康信息的质量会显著影响公众对医疗决策的信任。尽管有专家驱动 的审查等努力，大规模的手动评估已被证明成本高昂且难以持续。本研究提 出了一种使用微调大型语言模型（LLMs）评估健康信息质量的自动化、可 扩展的方法。利用来自HealthNewsReview.org的专家注释数据集，本研究对 包括Meta的Llama和阿里巴巴的Qwen系列的开放权重模型在内的几种最 先进的LLMs进行了基准测试。我们最佳的微调模型在准确分类信息质量方 面表现出色。通过自动化传统上由专家审查员进行的复杂、基于标准的评 估，这项工作为帮助用户评估健康信息的可访问和实用工具提供了基础，支 持知情的公共健康决策。
Recommended Citation
Sang, Lan and Dobolyi, David, "迈向可信赖的健康信息：使用微调大型语言模型的健 康新闻自动质量评估" (2025). ICIS 2025 Proceedings. 36.
https://aisel.aisnet.org/icis2025/translated/translated/36
迈向可信赖的健康信息：使用微调大型语言模型的健 康新闻自动质量评估
在线健康信息的质量会显著影响公众对医疗决策的信任。尽管有专家驱动 的审查等努力，大规模的手动评估已被证明成本高昂且难以持续。本研究提 出了一种使用微调大型语言模型（LLMs）评估健康信息质量的自动化、可 扩展的方法。利用来自HealthNewsReview.org的专家注释数据集，本研究对 包括Meta的Llama和阿里巴巴的Qwen系列的开放权重模型在内的几种最 先进的LLMs进行了基准测试。我们最佳的微调模型在准确分类信息质量方 面表现出色。通过自动化传统上由专家审查员进行的复杂、基于标准的评 估，这项工作为帮助用户评估健康信息的可访问和实用工具提供了基础，支 持知情的公共健康决策。
When commenting on articles, please be friendly, welcoming, respectful and abide by the AIS eLibrary Discussion Thread Code of Conduct posted here.
Comments
21-Healthcare