当下，大模型与工业物联网的融合正成为推动行业创新变革的关键力量。江行智能董事长刘江川院士作为专家学者，受邀出席中国计算机大会CNCC2024“第二届大模型时代的智能物联网研究前沿论坛”并发表主旨演讲，深入探讨大模型在工业物联网场景落地的潜力与挑战。

刘江川院士表示，在实际应用中，人工智能已在多个垂直行业展现出巨大的潜力价值。以国家电网超高压输电线路监测为例，物联网设备将从2020年的5.4亿攀升至2030年的30亿。这些遍布电网的智能设备，结合物联网、大数据等技术，实现对输电线路的全方位监测，精准识别并预警潜在安全隐患，在保障电力传输安全稳定的同时，大幅降低人工巡检成本。

然而，大模型与工业物联网的融合之路并非一片坦途。在技术部署的实践中，边缘设备处理能力、连接稳定性、对专家依赖程度等问题成为限制发展的关键因素。针对这些问题，刘院士分享了一系列创新解决方案。

边云协同通过将部分计算任务分配给边缘设备，实现边缘计算与云计算之间的协同与互补。以输电线路监测为例，边缘设备能够迅速处理原始数据，并将关键信息上传至云端进行深度分析处理。这种方式可发挥边缘设备在处理速度上的优势，减轻云端计算压力，降低数据传输延迟，提升系统效能和响应速度。

同时，AutoEdge的引入也为人工智能与工业专家之间的协作提供了新的视角与思路。这一框架下，人工智能专家专注模型优化迭代，领域专家则聚焦业务应用，将专业知识与实际需求相结合。通过合理的任务分配，有效缓解对专业人才的过度依赖，提高系统效率及灵活性。

面对大语言模型查询成本和延迟、真实性和可信度等问题，会上，刘院士也介绍了大模型语义缓存技术、检索增强生成(RAG)技术等研究成果和应对策略。

语义缓存技术

通过利用现实场景中人与大语言模型对话的语义分析来优化缓存设计问题，并基于MOSS和LMSYS数据集进行大量对话数据分析，挖掘查询模式和语义关联，提出一种新型缓存架构SCALM。SCALM引入全面层次语义聚类(CO-HSC)和选择性层次语义聚类(SE-HSC)，细化查询模式的处理，可有效解决LLM智能问答中的缓存系统设计效率低和成本高等核心问题。

检索增强生成(RAG)技术

采用边缘辅助和协作的RAG，结合自适应知识更新机制，能够增强模型对实时数据的理解和利用能力，在保证准确性的同时，降低成本和延迟，为大语言模型在工业物联网中的可靠应用提供保障。

在刘江川院士的带领下，江行智能一直以边缘智能赋能电力能源行业为愿景，积极探索大语言模型在电力行业的落地应用，提高实用性及可靠性。接下来，江行智能将继续秉持创新驱动的发展理念，深度挖掘大模型与工业物联网融合发展潜力，为行业发展提供切实可行的解决方案和创新思路。

关于大会

10月24-26日，以“发展新质生产力，计算引领未来”为主题的第二十一届中国计算机大会(CNCC2024)在横店隆重召开。中国计算机大会是全国计算机领域规模最大、规格最高的学术、技术、产业交流互动大会。本届大会由中国计算机学会主办，设18场特邀报告、3场大会论坛、138场专题论坛等活动，覆盖AI、网络安全、基础软件、教育、芯片等34个领域方向。17位国内院士，800余位国内外顶尖学者、企业技术精英齐聚横店，共同探讨计算机科学技术的最新进展、未来趋势和行业应用。