整理编辑--新锐君
来 源--许世卫 中国农业科学
纵观农业发展历史，农业每一次大的跨越都离不开基础科学的飞跃，孟德尔、摩尔根的遗传学理论和李比希的植物矿质营养学说的出现，推动了现代育种技术和农业化学技术的发展，给世界农业发展带来了第一次农业技术革命。如今现代信息技术和生物技术成为了推动农业发展的新型主导力量。信息化和农业现代化成为“四化同步”战略的重要组成部分。但是农业现代化是“四化同步”中的短板，需要信息化这个新型杠杆的强力撬动。据相关研究测算，信息化投入（信息化发展指数）增长1.00%，GDP 增长1.14%，是资本投入贡献率的1.60倍，是劳动投入的4.50倍。从1936年图灵机的发明到1945年冯·诺依曼机的出现，再到万维网的发明，人类仅仅用了几十年的时间就进入了IT 互联时代。而随着物联网、云计算、移动互联，“互联网+”等的发展，海量数据爆炸式增长，人类社会正在快步进入DT 大数据时代。信息化已经成为中国经济转型升级的重要力量，以大数据为代表的信息生产力已经成为支撑国家经济发展的新型动力。
大数据时代的到来并非偶然发生，而是信息技术指数级发展，农业数字化不断推进的必然结果，信息化的基础是数字化，数字化过程中产生了大数据。首先，以互联网技术、传感感知技术、射频识别技术等为代表的现代信息技术的快速发展，使得数据的产生无处不在，无时不有，人类生产数据的能力空前加强；其次，信息技术的增长超越了线性约束，摩尔定律发挥了重要作用，18个月左右计算性能提高一倍、存储价格下降一半、带宽价格下降一半，使得人类保存数据的能力显著增强；再次，随着联网用户和设备数量的急速攀升，联入网络的价值显著增加（梅特卡夫定律），进一步推动了信息技术的快速成长，数据挖掘、机器学习等智能方法和算法的应用，使得数据的处理分析显著增强。可以这么说，大数据的应运而生得益于数据产生、存储和挖掘等一系列技术的升级。
根据国际数据公司（IDC）预测，到2020年，全球数据量将达到40ZB。如果把物理客观世界看成一个维度，那么数据就是物理世界在另一个纬度信息空间上的映射和痕迹，物理世界的一切就都可以通过大数据反映出来。海量的数据在运动中形成了数据流，帮助我们更好的认识物理世界和我们自身。
究竟什么是大数据呢？从学术界和企业界的定义来看，目前从数据特征出发对大数据进行定义的占据主流，认为大数据是涵盖规模（volume）、类型（variety）、价值（value）、速度（velocity）、精度（veracity）和复杂度（complexity）等基本特征的数据集及其相关的一系列技术体系。从技术发展的角度来看，大数据是一个动态、复合、发展的概念，是一种未来发展的技术趋势，是一种科研范式的改变，是一种与材料和能源一样重要的新型战略资源。
目前，互联网行业是大数据应用的领跑者，农业正在与大数据加速融合拓展。大数据已经得到政府、学术界和企业界普遍的重视，2015 年国务院相继发布《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》和《国务院关于积极推进“互联网+”行动的指导意见》。大数据发展的环境得到持续完善。从技术发展的角度来看，大数据正在从热炒概念向实际应用转化，其发展前景依然广阔。根据Gartner 在2014 年发布的《技术成熟度曲线特别报告》（Hype Cycle Special Report），“数据科学”成为了新面孔，大数据相关技术的演进在未来一段时间内仍将展现出强大的生命力，相关市场的营收也将不断放大（图1）。未来，数据资源将成为国家新型战略资源，数据能力将成为现代农业发展的新型力量和推动国家进步的新型竞争力。但同时值得注意的是，大数据在异构性、规模性、时间性、复杂性、隐私性等方面仍面临巨大挑战，真正的科学大数据如农业科学大数据能在农业科学中发挥作用还有很长的路要走。
1 大数据对现代农业发展的作用
中国农业的根本问题是效率不高、效益不强、效能不够，原因在于各生产要素缺乏耦合效应，产业链衔接不紧，农业大系统循环性、协同性不够。这导致了农业发展较为粗放，而这种粗放是与长期以来农业基准数据资源薄弱、数据结构不合理、数据细节程度不够、数据标准化、规范化水平差等原因紧密相连。随着物联网、云计算、移动互联等技术的突破，更多的数据得到收集，数据流动性得到了最大程度释放，数据分析和服务能力得到显著增强，大数据逐渐成为了农业生产的定位仪、农业市场的导航灯和农业管理的指挥棒。
2 大数据核心技术在农业领域的研究进展
从各大IT 公司的大数据处理流程来看，基本上可以分成数据获取、数据存储、数据分析处理和数据服务应用等几大环节。农业作为信息技术的应用部门，其生产、流通、消费、市场贸易等过程，分别融入在大数据的流程之中，根据大数据的获取、分析处理和服务应用等方面开展了大量集成创新，取得了重要研究进展（图2）。
图2 大数据分析流程图
2.1 大数据获取技术
根据农业大数据来源的领域分类，大致可以分为农业生产数据、农业资源与环境数据、农业市场数据和农业管理数据。针对不同领域的农业大数据，大数据获取技术主要包括感知技术（传感器、遥感技术等）、识别技术（RIFD、光谱扫描、检测技术）、移动采集技术（智能终端、APP）等。第一，感知技术主要是从不同尺度感知动植物生命与环境信息。在地域范围，重点考虑对地观测的资源宏观布局，需要遥感、便携式GPS 面积测绘仪、农业飞行器等；在区域范围，重点考虑动植物生长信息的时空变异性，需要基于WebGIS 的动植物生长信息的动态检测平台
等；在视域范围，重点考虑动植物生态环境的复杂性，需要动植物营养、病害及周围环境污染信息的采集测试传感器；在个域范围，重点考虑动植物信息探测中环境因素干扰，需要动植物营养病害快速无损测试仪、活体无损测量仪等。第二，识别技术主要是针对农产品质量安全开展监测。包括食品安全溯源的RFID 技术，主要保证农产品原料、加工、销售全环节的追踪可溯。农产品质量安全快速无损检测技术，主要是应用红外光谱、X 射线、计算机视觉等无损检测技术在农产品品质分析、产地环境监测、农业投入品评价和商品流通监控等环节应用。第三，智能移动采集技术主要针对农产品市场、营销、管理信息的采集。如农信采采集农产品价格信息，农业管理信息系统的应用等。传统的大数据获取技术在材料选择、结构设计、性能指标上相对单一，如种植业中的传感技术只能测量气温、湿度、CO2 等信息，而随着物联网技术的发展，其传感器材料已经从液态向半固态、固态方向发展，结构更加小型化、集成化、模块化、智能化；性能也向检测量程宽、检测精度高、抗干扰能力强、性能稳定、寿命长久方向发展，目前研发的一些传感器已经可以用来监测植物中的冠层营养状态、茎流、虫情等。未来中国的大数据获取技术改进的重点将是在信息技术与农业的作物机理、动物的行动状态和市场的实时变化紧密结合，将在提升信息获取的广度、深度、速度和精度上突破。
2.2 大数据分析处理技术
在大数据环境下，由于数据量的膨胀，数据深度分析以及数据可视化、实时化需求的增加，其分析处理方法与传统的小样本统计分析有着本质的不同。大数据处理更加注重从海量数据中寻找相关关系和进行预测分析。例如，谷歌做的流行病的预测分析，亚马逊的推荐系统，沃尔玛的搭配销售，都是采用相关分析的结果。数据分析技术在经历了商务智能、统计分析和算法模型之后，目前进入到了大平台处理的阶段，主要是基于MapReduce、Hadoop 等分析平台，同时结合R、SAS 等统计软件，进行并行计算。近两年来，内存计算逐渐成为高实时性大数据处理的重要技术手段和发展方向。它是一种在体系结构层面的解决办法，它可以和不同的计算模式相结合，从基本的数据查询分析计算到批处理和流式计算，再到迭代计算和图计算，目前比较典型的有SAP 的HANA，微软Trinity，UC Berkeley AMPLab 的Spark等。在农业领域，数据处理正从传统的数据挖掘、机器学习、统计分析向着动植物数字化模拟与过程建模分析、智能分析预警模型系统等演进（如图3）。在生物学领域，大数据的分析作用已经凸显，基因测序，数字育种已经采用了大数据算法和模型；作物模型方面，国际上获得广泛认可的通用作物生长模型有荷兰WOSOFT 系列，美国DSSAT 系列，澳大利亚APSIM 系列，FAO 的AQUACROP 等。在植物数字化模拟方面，国际上已经有了OpenAlea、GroIMP、VTP 等用于植物建模和分析的开源项目。农产品市场监测预警模型系统方面，具有代表性的是经合组织和联合国粮农组织（OECD-FAO）的AGLINK-COSIMO模型、FAO 全球粮食和农业信息及预警系统（GIEWS）、美国农业部（USDA）的国家-商品联系模型与美国粮食和农业政策研究所（FAPRI）的FAPRI模型和中国农业科学院农业信息研究所的CAMES 模型等。
总体来看，由于农业生产过程发散，生产主体复杂，需求千变万化，与互联网大数据相比，针对农业的异质、异构、海量、分布式大数据处理分析技术依然缺乏，今后农业大数据的分析处理应该将信息分析处理技术与农业生理机理关键期结合、市场变化过程紧密结合。
2.3 大数据服务应用技术
目前大数据服务技术已在互联网广告精准投放、商品消费推荐、用户情感分析、舆情监测等广泛应用。在农业上，随着农业部“信息进村入户”工程、“物联网区试工程”、12316 热线、国家农业云服务平台等的建设和推动，中国的农业信息服务体系逐步得到完善，“三农”对信息的需求也更加迫切。
国际上有关农业信息服务技术的研究主要集中在农业专家决策系统、农村综合服务平台和农业移动服务信息终端、农业信息资源与增值服务技术以及信息可视化等方面。国内近些年，先后开展了智能决策系统、信息推送服务、移动终端等。在大数据时代，针对农业产前、产中、产后各环节的关联，开发大数据关联的农业智能决策模型技术；针对大众普遍关注食品安全的状况，开发大数据透明追溯技术；针对农民看不懂、用不上等问题，结合移动通信技术、多媒体技术，开发兼具语音交互、信息呈现、多通道交互的大数据可视化技术。
3 大数据在农业现代化发展中的应用成效
大数据的应用，一方面可以全息立体反映客观事物，洞悉全样本数据特征，促进事物之间的深度耦合，提升效能；另一方面是通过数据间的关联特征，预测事物未来发展趋势，增强预见性。目前，从农业生产、经营、消费、市场、贸易等不同环节来看，大数据在精准生产决策、食品安全监管、精准消费营销、市场贸易引导等方面已经有了较为广泛的应用。
3.1 发挥要素耦合效应，提升精准生产决策
大数据的作用不仅仅在于更好发现自身价值，还在于帮助其他要素更好认识自身，发挥要素间耦合作用，提升他物价值，促进“价值双增”。国内外在改变农业粗放生产上，围绕气象预报、水肥管理、作物育种、病虫害预报、高效养殖等方面已经开展了大量的应用。美国天气意外保险公司（The ClimateCorporation）利用250 万个采集点获取的天气数据，结合大量天气模拟、海量植物根部构造和土质分析等信息对意外天气风险做出综合判断。美国硅谷土壤抽样分析服务商Solum利用软、硬件系统实现精准土壤抽样分析，给土壤“号脉开方”。在中国农业部印发《2014 年种植业工作要点》中，要求各地推进配方肥到田和施肥方式转变，利用“大数据”与相关化肥生产企业合作推广配方肥。泰国、越南、印度尼西亚等国基于遥感信息与作物保险的监测计划（Remotesensing-based Information and Insurancefor Crops inEmerging economies，RIICE）在水稻上得到广泛应用，通过采用欧洲航天局卫星实时获取水稻的生长数据，进行生长跟踪、产量预测。美国农业部研究所开始在部分农场采用高光谱航空遥感影像和地面观测数据结合的方式进行面状病虫害监测，利用全球的病虫害数据发现害虫的传播规律。国际种业巨头如美国杜邦先锋、孟山都、圣尼斯公司及瑞士先正达等纷纷采用现代信息技术开展智能育种，加快“经验育种”向“精确育种”的转变。在英国，大多数的养牛、养猪和养鱼场都实现了从饲料配制、分发、饲喂到粪便清理、圈舍等不同程度智能化、自动化管理。
3.2 跟踪流通全程，保障食品安全质量
受制于传统农产品流通渠道复杂，层级繁多，监管不透明，公众缺乏知情权和监督权，中国食品安全事件频发，给消费者造成了重大伤害。大数据技术的发展使得全面、多维感知农产品流通成为可能。目前，技术层面上，在产地环境、产品生产、收购、储存、运输、销售、消费全产业链条上，物联网、RFID 技术得到广泛应用，一批监测新技术如“食品安全云”和“食安测”等应用软件陆续开发；制度层面上，中国利用大数据开展食品安全监管的力度不断加强，2015年6月国务院新出台了《关于运用大数据加强对市场主体服务和监管的若干意见》，明确提出建立产品信息溯源制度，对食品、农产品等关系人民群众生命财产安全的重要产品加强监督管理，利用物联网、射频识别等信息技术，建立产品质量追溯体系，形成来源可查、去向可追、责任可究的信息链条，方便监管部门监管和社会公众查询；商业层面上，阿里巴巴，京东商场等电商企业利用大数据保障食品溯源。如辽宁省大洼县盛产稻田米和稻田蟹，2015年加入阿里农业满天星计划，开始农产品溯源探索，针对不同类型农产品的成长特点，通过二维码来承载产品名、产品特征、产地、种植人、生长周期、生长期施肥量、农药用量、采摘上市日期等不同的溯源信息。
3.3 挖掘用户需求，促进产销精准匹配
传统的农业发展思维更多关注生产，在乎的是够不够吃的问题，而在消费结构升级的情况下，应该转向怎么才能吃得健康，吃得营养。大数据在这方面正在驱动商业模式产生新的创新。利用大数据分析，结合预售和直销等模式创新，国内电商企业促进了生产与消费的衔接和匹配，为农产品营销带来了新的机遇。
截止2014年12月，全国涌现了19个淘宝镇，211个淘宝村，以淘宝村为代表的农村电子商务正在深刻改变中国农村的面貌，变革着中国传统农产品营销的模式。连锁型的社区生鲜超市M6 于2005年前开始了数据化管理，物品一经收银员扫描，总部的服务器马上就能知道哪个门店，哪些消费者买了什么。2012年，M6的服务器开始从互联网上采集天气数据，然后，从中国农历正月初一开始推算，分析不同节气和温度下，顾客的生鲜购买习惯会发生哪些变化，进而实现精准订货、存储和精准配货。未来还可以将食品数据，与人体的健康数据、营养数据连接起来，这样可以根据人体的健康状况选择适当的食物。
截至2014年年底，阿里淘宝村的分布图
3.4捕捉市场变化信号，引导市场贸易预期
市场经济中最重要的是信息，利用信息引导市场和贸易有助于控制国际市场话语权和掌握世界贸易主导权。以美国为例，其收集信息、利用信息的做法值得借鉴。19 世纪60 年代，为了弥补农村市场中出现的信息不对称，美国农业部在全国雇用了几万名监测员，形成了一个农情监测网络，每月定期发布各种农产品的交易情况和价格波动，同时通过免费邮寄、张贴海报的方式把信息送到各大农场。时至今日，美国已经形成了一套庞大、规范的农业信息发布体系，其定期发布的年度《农业中长期展望报告》、月度《世界农产品供需预测报告》和周度《农作物生长报告》，成为引导全球农产品市场变化的风向标。美国的农民仅占全国人口的2%，但2%的农民不仅养活了3 亿多美国人，而且其农产品出口还位居全球第一。目前美国政府仍在致力于数据的开放和共享，创建了data.gov网站，链接到348个农业数据集，提供政府采集的原始数据，供私人领域开发者分析数据、提出决策。与发达国家相比，中国的信息发布和数据利用仍有很大前进空间。2003 年起，农业部推出《农业部经济信息发布日历》制度，主要发布生产及市场经济信息。2014 年中国召开了中国农业展望大会，发布了《中国农业展望报告（2014—2023）》，结束了中国没有展望会议的历史，开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。在中国成为世界农产品进口大国的背景下，如何有效利用信息，把握市场和贸易话语权和定价权是必须修炼的功课。
注：本文为新锐君编辑整理，仅供交流和学习，如需转载请注明新锐恒丰。我们对原作者深表敬意。
联系客服
