> 摘要：针对当前通用大模型直接落地大田农业存在场景适配差、幻觉突出、边缘算力约束强、农艺知识与感知数据割裂等现实痛点，本文来自智慧农业 AI 定制实验室提出Agri‑Custom 多模态定制农业大模型整套架构，构建端‑边‑云协同闭环体系，支持面向不同作物、地域、种植模式快速定制微调。系统融合田间图像、高光谱、土壤传感、气象时序数据，将作物机理知识图谱嵌入模型对齐流程；云端负责模型定制训练、数据集迭代更新；边缘节点部署轻量化蒸馏模型，完成本地实时农情解析、病虫害识别、水肥灌溉决策输出。通过南方水稻大田开展对比试验，定制化大模型相比通用开源多模态大模型，病虫害识别 F1 提升 8.7%，农事决策错误幻觉下降 21.3%；边缘轻量化版本在低算力硬件上推理时延控制在 220ms 以内。研究表明，定制化农业大模型可以有效弥合通用 AI 与真实田间场景鸿沟，为智慧农场、规模化大田提供可快速适配的 AI 底座方案arXiv。
关键词：智慧农业；定制大模型；多模态融合；端边云协同；农业知识图谱；边缘 AI
1 引言
大模型技术加速向农业领域渗透，通用多模态大模型具备强大语义理解能力，但直接用于农业生产存在明显短板：第一，通用模型缺少作物专属农艺先验知识，面对地域性病虫害、品种差异极易产生 AI 幻觉，给出不符合农艺逻辑的作业建议；第二，模型体量巨大，很难直接部署在农田边缘设备；第三，不同区域、不同作物对 AI 能力诉求差异巨大，一套模型很难适配水稻、玉米、果蔬等多样场景，传统训练模式重新完整训练成本极高，很难做到快速定制化迭代。
现有方案大多走两条路线：一是云端集中式 AI，全部数据回云端运算，网络不稳定的大田环境会造成决策延迟；二是固定任务小模型，专门做识别、检测，只解决单一任务，缺少综合农事推理能力。如何实现快速定制、多模态感知、端边云闭环推理、农艺知识约束，是当前智慧农业 AI 落地亟待解决的问题。
为此智慧农业 AI 定制实验室开展研究工作，核心目标：设计一套完整框架，基于预训练基础大模型，使用参数高效微调 PEFT 方式，针对不同作物、地域、种植条件做快速定制；构建端边云协同架构，打通感知‑解析‑决策‑执行‑反馈完整业务闭环；同时引入农业知识图谱对模型输出做后校验，抑制幻觉，提升农事决策可信度。
2 系统总体架构
整体架构分为四层：感知端层、边缘计算层、云端定制训练层、应用业务层。
2.1 感知端层
数据源包含多类异构数据：无人机 RGB 图像、田间高光谱采集、土壤传感器（湿度、PH、电导率）、微气象时序数据（温度、湿度、降水、光照）。原始数据完成初步清洗，做格式对齐，一部分本地给到边缘节点，一部分选择性上传云端，兼顾带宽压力与数据安全。
2.2 边缘计算层
边缘侧运行Agri‑Custom‑Lite 轻量化蒸馏模型。主要任务：实时图像解析、病虫害初判、长势评估，结合传感时序数据生成初步水肥、防控建议；并不直接无条件下发指令，建议结果回传给云端做进一步校验。当网络断连场景下，边缘模型可以独立运行，保障基础农事推理能力。
2.3 云端定制训练层（本框架核心，实验室重点创新）
云端承担三大功能：数据集管理、模型定制微调、知识图谱校验引擎。
1）农业多模态数据集管理平台：汇集图像、光谱、时序传感、农艺专家知识库；支持新增地块样本导入。
2）参数高效微调 PEFT 定制模块：不需要对整个大模型全量重训。当切换作物品种或者更换区域，使用 LoRA 做微调，实现快速定制，大幅降低训练算力消耗，完成基础模型向目标场景适配，产出该场景专属定制农业大模型 Agri‑Custom。
3）知识图谱校验引擎：内置作物机理、病虫害防控、水肥标准知识图谱。对模型输出决策结果做逻辑校验，识别明显违背农艺常识的幻觉结论，进行修正或者标记告警。
>
> 核心创新点 1：将农业知识图谱作为外部约束，而不是单纯作为训练数据，实现推理阶段实时纠错，缓解大模型幻觉问题。
> 核心创新点 2：LoRA 参数高效微调实现场景快速定制，面向不同大田场景快速生成专属农业大模型，解决 “一套模型通吃全部农业场景” 的痛点。
2.4 业务应用层
向上对接智慧农场平台，输出农情报表、预警告警、农事作业建议，对接水肥一体化、植保装备接口，实现决策向作业执行流转；同时采集执行之后的田间反馈效果，反馈回数据集，形成闭环迭代优化。
3 实验设置与结果分析
3.1 试验条件
试验地点：南方水稻大田试验基地；数据集包含水稻苗期、分蘖期、抽穗期图像样本共 12600 张，配套土壤气象时序记录；对比对象为开源通用多模态大模型与本文 Agri‑Custom 定制大模型。评价指标：病虫害识别 F1 值、农事决策幻觉率、边缘端推理时延。
3.2 实验结果
1、病虫害识别任务：通用多模态大模型 F1=82.4%；本文定制 Agri‑Custom 模型 F1=91.1%，提升 8.7%。
2、农事决策幻觉统计：随机抽取 500 条模型输出农事建议，通用大模型幻觉占比 34.2%；本文模型幻觉占比 12.9%，幻觉下降 21.3 个百分点。
3、边缘轻量化版本 Agri‑Custom‑Lite，普通嵌入式 NPU 硬件上单轮完整多模态推理平均时延 220ms，满足田间实时分析需求。
>
> 分析：经过场景定制微调 + 知识图谱校验双重机制，模型识别精度提升，幻觉得到明显抑制；轻量化蒸馏之后，边缘设备具备可用推理性能。同时也看到，部分罕见小样本病害场景下，模型性能会出现下滑，依赖持续样本迭代优化。
4 讨论
本框架仍然存在若干现实约束问题：
1）高质量标注农业多模态数据集依然稀缺，不同地域小众病害样本不足，制约进一步泛化能力；
2）LoRA 微调虽然降低算力，但每一类新场景依然需要一定量本地样本；完全零样本定制效果有限；
3）农业知识图谱本身建设是持续工程，图谱完善程度直接影响校验引擎纠错效果。
未来工作方向：研究小样本、半监督学习，降低新场景样本门槛；进一步优化蒸馏算法压缩边缘模型；完善数字孪生联动，把作物机理仿真引入整个推理链路，推动 AI 决策和作物物理机理更深层次融合。
评论