联系我们CONTACT US

多宝体育·(duobao Sports)官方网站

联系人:唐增友

联系电话:18924183237

手机号码:18924183237

公司地址:深圳市福田区梅林街道梅丰社区梅华路105号多丽工业区1栋813

大数据技术开发 首页 > 项目介绍(多宝体育) > 大数据技术开发

多宝·体育综合APP下载集团网站农业科技系列2-农业大数据技术
发布时间:2024-05-02

  “农业大数据 ”技术简而言之,就是在农业行业中提取大数据价值的技术。其中包含了“行业”、“技术”两个内容。

  从实现过程角度来说,大数据技术主要有数据采集、数据存储、数据管理、数据建模、数据分析与挖掘、数据展现等几个环节,其实就是模拟人类对事物认知的过程,并把这个过程程序化,并量化。如果觉得这种说法比较抽象,可以把大数据技术想象成我们农批市场客户买菜做饭的过程。

  做饭通常都要包括“买菜-洗菜-配菜-炒菜-吃饭”这几个环节,而这几个环节其实正好对应了大数据技术所包括的几项工作:买菜(数据采集、数据存储)—洗菜(数据处理)—配菜(数据建模)—炒菜(数据分析)—吃饭(数据展现)。

  数据收集:就像我们买菜可以从农批、超市等渠道获得一样,大数据的数据来源目前主要集中在三个渠道:互联网、物联网和传统信息系统(如手动录入的Excel表数据等)。2020年之前的主渠道是互联网,就好像买菜时的农批市场,但在2020年之后目前的大数据的渠道主要来源变成了物联网,因为物联网是的数据比较专业性,就好像买菜的生鲜超市。

  数据存储:数据的存储可以分为3类,第1类是大规模的结构化数据,第2类是半结构化和非结构化数据。第3类是结构化和非结构化混合的大数据。可以理解为生鲜存储的时候需要不同的仓库,如常温库、冷鲜库、冷藏库等,对象不同,存储的设备和条件也不一样。

  数据处理:对于采集到的不同的数据集,可能存在不同的结构和模式,如文件、XML 树、关系表等,表现为数据的异构性。对多个异构的数据集,需要做进一步集成处理或整合处理,将来自不同数据集的数据收集、整理、清洗、转换后,生成到一个新的数据集,为后续查询和分析处理提供统一的数据视图。这一步就好像洗菜过程,就是把数据分类,把无用的去掉,为数据分析做准备。

  数据建模:主要包括预测模型、机器学习、建模仿真等。其实就是把企业需要的目标设计好,类似于做饭之前,脑袋里要想是做个锅包肉呢,还是宫保鸡丁……

  数据分析:这个过程专业性太强,涉及的内容太多,突破用户兴趣分析、网络行为分析、情感语义分析、包括岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析……等,很容易把人搞晕,简单来说就是做饭时候的煎炒烹炸的方法。

  数据呈现:大数据技术最后的环节就是数据呈现,也就是云计算结果、标签云、关系图等数据可视化。这个就是最终政府和企业需要的东西。

  从技术概念的角度来说,大数据技术其实核心就是 “大数据”和“云计算”两部分,两者关系就像一枚硬币的正反面一样密不可分。简单来说,大数据就像是个硬盘,而云计算则是计算机和操作系统,如果缺少了云计算,就很难称之为大数据技术。而围绕两者的技术的主要包括云技术、分布处理技术、存储技术和感知技术等4部分。

  就是大家都熟悉的“云计算”,因为数据量太大,如果只是用传统的硬件计算,速度会很慢,但如果把这些硬件利用网络链接起来一起计算,速度就很快,就好像四核电脑比单核电脑快很多是一个道理。因此云计算技术也汇集了很多IT领域热门流行的技术,比如分布式计算、高并发处理、高可用处理、数据集群、实时性计算等

  分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务—这就是分布式处理系统的定义。

  以Hadoop(Yahoo)为例进行说明,Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。

  大数据技术一个特点就是“大”,有一个著名的摩尔定律相信大家都听过:18个月集成电路的复杂性就增加一倍,而大数据比这个速度还要快。互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。

  2019年,我国数据产量总规模为3.9ZB,同比增加29.3%,占全球数据总产量的9.3%。人均数据产量方面,2019年我国人均数据产量为3TB,同比增加25%。中商产业研究院预计2022年中国数据产量将达6.6ZB,人均数据产量将达4.8TB。

  大数据技术的软件程序处理的数据量通常是TB级,甚至是PB或EB级的数据,为了解决数据量“大”这个问题,大数据的存储就成为了一个重要的技术。

  大数据的采集和感知技术的发展是紧密联系的,而这个技术就是物联网技术,在前面已经讲过。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石,现在全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

  按照农业的产业链条和数据产生来源,农业大数据可以分为农业生产大数据、农业生态环境大数据、农产品流通及消防大数据等。

  种植类大数据包括种植大数据、化肥农药等农资大数据、农机大数据、育种大数据、播种和灌溉大数据、农情大数据等

  针对农业生产端的大数据服务主要包括农业项目规划、农机调度、作物长势评估、禽畜及水产健康状况评估、生产决策优化、气象预报、病虫害防治等。

  原先指导生产的主要是传统的种植经验,而现在已经逐步被大数据取代,从物联网、AI、数据分析等角度切入进行数据分析指导生产。

  农业科技创新极大改变了农业科研方式,大数据在信息育种、种质资源基因测序等方面扮演的角色日益重要,大数据技术可以优化生产决策,帮助农户实现大面积种植、养殖基地的精细化管理。

  农业生态环境大数据主要包括土地资源(如土地资源、地块面积、海拔)数据、空间地理信息数据、气象资源数据、生物资源数据和灾害数据。

  大数据技术在思维方式、技术手段两方面都有自己的特点,也就是说要使用大数据技术,首先要改变思维,然后才能谈到利用这种技术,如果思维依然停留在传统,就很难真正的利用大数据的价值

  而农业大数据和一般我们经常所说的大数据技术的不同之处在于:农业大数据在保留了大数据自身具有的规模巨大、类型多样等基本特点之外,还融合了农业的地域性、季节性、多样性、周期性等行业特征。正是因为这样,所以农业大数据技术比一般的大数据技术更难,特别是在数据获取方面是最难的。

  大数据技术不和传统行业或企业的数据分析思维方式最大的不同点在于,大数据技术在数据分析的过程中是全样而非抽样,而在技术实现过程中的规律是相关而非因果。

  全样而非抽样:就是说在大数据技术里所使用的数据必须要全,而不是仅仅是抽样统计。比如很多报告中出现“选取***例样本”进行分析,就都是抽样统计,包括经常被吐槽的各地“人均工资”其实属于抽样统计,因为没有计算那些收入无法进入政府系统里的人员数据(如临时工等),这些就都不属于大数据技术。而大数据则是通过间接的方式把样本全部纳入统计,这里的间接不太好理解,举例说明一下,比如今日头条要统计自己所有用户的年龄,但无法直接获得,但可以通过用户的观看内容以及行为判断出用户的年龄,这就是间接的方式。样本规模的改变,是大数据和传统的调研分析的一个重要不同之处。

  相关而非因果:在传统的调研分析中采用的都是因果思维,以农批市场为例,如果调研数据显示市场收入增多(果),就会认为市场经营情况很好(因),但有可能两者是没有相关性的,比如突然提高租金也会出现这种结果,但对于长期经营其实是负面的。

  而大数据技术在分析的过程中,并不会用因果关系来分析,只是把一个条件引发的相关结果都显示出来,这些结果和条件并不一定有因果关系,但却可以帮助企业采取措施。简单来说,大数据技术只是提供条件,判断权还是要靠人来完成的。以下两个案例对于大数据技术的相关而非因果特点很好的说明:

  1.美国的超市在大数据统计分析中发现,在每年的飓风来临季节,超市的蛋挞和抵御飓风物品竟然销量都有大幅增加。因此就把将蛋挞的销售位置移到了飓风物品销售区域旁边,最后蛋挞的销量更进一步的增加。

  2.2015年,沃尔玛的大数据分析师发现当把啤酒和婴儿纸尿裤摆放在一起时,会大幅提高两者的销量。于是沃尔玛就迅速调整货架布局,把这两种货物摆在一起,既提高了销量,又便利了顾客。

  以上两个案例中,无论是蛋挞和飓风用品,还是啤酒和婴儿纸尿布,都很难产生因果关系,而这些企业也始终没有去研究或者这一现象的因果关系。对于企业来说,只要两者有相关性,而这种相关性可以提高营收就够了!因此,注重相关性,不追究事物之间的逻辑关系,是大数据更有效率的一种体现。

  除了思维方式,大数据在技术手段方面有具有海量,多样性,价值,及时性四个特征,也就是大数据行业里的4V(volume,variety,value,velocity)。

  海量(volume )-数据数量要多。这个是大数据技术最明显的特征,一般来说,只有数据体量达到PB级别以上,才能称为大数据。人类社会现存所有印刷材料的数据总量仅为200PB,然而仅仅百度搜索每天提供的数据量就超过1.5PB,这些数据如果打印出来,需要5千亿张A4纸!阿里巴巴网购每天产生的商品交易数据量约为20TB;脸书用户每天产生的日志数据超过300TB。

  对于以大数据为业务的企业来说,数据数量的多少直接关系到企业的估值,比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。

  数据量的大小大约两年就要翻一番。国家和企业仍在努力与数据保持同步并找到有效存储数据的方法。数据科学家必须要花50%到80%的时间来整理和准备数据,然后才能真正使用它们,时间成本是很大的损耗。

  多样(variety )-数据类型要多。这个指的是数据的度表现形式,既有结构化数据,也有非结构化数据和半结构化数据,通俗来说就是数据有文本形式、图片形式、视频形式、地理位置形式等。现在很多用户的行为也成为了数据的一种形式,例如我们在生鲜电商网站点击购买一棵白菜的行为,都可以成为大数据的类型来源。

  而这种多样性也是大数据技术的一个难点,毕竟原来仅仅是处理文本和图片是比较容易的,而对于行为数据、视频数据,甚至现在元宇宙提出的思维数据处理起来就非常的难,对于技术的要求也更高,这也是大数据技术喊了很多年,但真正的大数据企业寥寥无几的一个原因。

  价值(value )-数据价值要挖掘。大数据的真正价值在于创造,在于填补无数个还未实现过的空白,因此大数据的价值并不在“大”,而在于“有用”。而现有的大数据的体量很大,形式也很多,但其实价值密度非常低,因为数据量越大,真正有价值的数据越少。举例来说,比如一个视频,可能几十个小时的视频,里面有价值的内容可能只有几秒钟。而这种从大量数据信息中挖掘出符合行业或企业所需价值的工作,就是标准的“沙里淘金”,靠人力肯定是不行的,必须要依靠机器和运算规则来完成,而这个才是大数据技术的核心。Target超市的案例是个很好的说明。

  Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,能准确的推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客在不同时间段推荐不同的相关用品,从而提高销售。

  以上案例就可以看出,超市的用户购买数据量是非常大的,但真正有价值的是计算得出的临盆时间,对于企业来说,如果没有提炼出能够增加企业效益的数据,无论数量多大都是无用的。通俗点说,那就是大数据技术的价值是要能为企业赚钱的。

  同时上面这个案例也从侧面印证了《大数据时代》的维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点:通过找出一个关联物并监控它,就可以预测未来。从企业的角度来说,如果利用好大数据技术,可以赚未来的钱!

  及时(velocity )-数据挖掘价值要快。大数据技术还有一个特征是“快”,这里的快说的是挖掘价值速度,这个对于硬件的要求极高。这也是大数据技术是出现在计算机高度发达的时候的原因。

  一般来说,大数据技术对于符合商业价值的挖掘速度遵循“1秒定律”,什么意思呢,就是指输入指令后,在1秒钟内就能找到所需价值的数据信息,行业里称之为“动一下鼠标就可以在秒级操作PB级别的数据”。“1秒定律”显示了大数据与传统数据挖掘技术的本质不同。

  因此,大数据无法用单台的计算机进行处理,必须采用分布式架构,这样才能够对海量数据进行分布式数据挖掘。实际上,早期的Hadoop、Spark平台之所以能够脱颖而出,一个重要的原因就是其数据处理(排序)速度比较快。而根据IDC的“数字宇宙”的报告, 2020年全球数据使用量已经达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。

  大数据技术是互联网产业发展到一定阶段的产物,是互联网业务的成长和需求催生出的一种技术,总结来说,大数据的发展经历了萌芽期、成熟期、应用期三个阶段:

  第一个阶段是在上世界90年代至本世界初,这个阶段属于大数据的萌芽期。随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识管理技术开始被应用,如数据仓库、专家系统、知识管理系统等。

  第二个阶段是2004年到2010年。属于大数据技术成熟期,当时web2.0应用发展迅猛,非结构化数据(也就是图片和视频)大量产生,传统的处理方法很难以应付,从而导致大量数据因无法或来不及处理,而处于未被利用、价值不明的状态,这些数据在当时被称为“暗数据”。据国际商业机器公司(IBM)的研究报告估计,大多数企业仅对其所有数据的1%进行了分析应用。

  这种情况也带动了大数据技术的快速突破,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFS和MapReduce等大数据技术受到追捧,Hadoop平台开始大行其道,这个阶段是大数据的成熟期。

  第三个阶段是2010年至今,属于大规模应用期。随着物联网(IoT)的出现,越来越多的对象和设备连接到Internet,收集有关客户使用模式和产品性能的数据,机器学习的出现产生了更多的数据。云计算进一步扩展了大数据的可能性。云提供了真正的弹性可扩展性,开发人员可以在其中简单地启动临时群集以测试数据的子集。大数据应用渗透各行各业,数据驱动决策,信息社会智能化程度大幅提高。

  大数据技术在农业领域发展最早的是美国。美国十分重视农业数据库建设与开发,美国农业部编制的电子农业数据库已有 400多个,为了能够及时了解不同地区的农业状况,美国设立了100多个数据搜集站用于汇集和发布各类农业信息,作为免费资源供农户获取。

  农业领域美国国内也涌现了大量农业大数据公司,代表性企业包括AGRICOLA、AGRIS、Preview 等,这些公司通过提供强大的数据库以及农业科技应用,为美国农业发展提供了技术支持和数据保障。

  而我国农业领域的大数据技术发展比较晚。最早是2015年国家印发促进大数据行动纲要的时候,农业农村部发布了《推进农业农村大数据发展实施意见》。

  之后农业大数据的发展一直不温不火,一直到了2019年,中央的一号文件和同年发布的《数字乡村发展纲要》这两个重磅文件中,都提出了建设农业农村大数据中心和单品大数据,而在2020年的一号文件中又再次强调要建设农村大数据中心,开展数字乡村试点。各地政府才开始重视农业大数据技术的发展。

  国家希望建设的农业农村大数据平台,是以省级为单位做试点,然后从国家农业农村部一直到县一级,包括农村一级的,形成一个垂直化的一个数据共享平台,相当于一个横向到纵向相互联动的一个大数据的一个共享体系。

  经过多年的发展积累,覆盖多个层面和领域的农业信息化大数据系统已经在我国初步构建。如农业农村部在陕西省试点的“国家级苹果产业大数据中心”、托普云农为浙江省政府搭建的智慧农业云平台都时数字农业大数据应用的案例。

  在农业大数据里有一种叫产量映射的农业技术,可以实现农作物的生产规划。这种产量映射就是通过机器学习算法的监督来查找大规模数据集里的模式(产量映射的数据主要来源于遥感卫星和无人机。),并且可以实时了解不同模式间的正交性,由此在农产品种植开始之前,给田地的潜在产量进行预估。

  这种产量映射的技术就是通过结合使用机器学习技术,分析3D地图、来自传感器的社会状况数据和基于无人机的土壤颜色数据,在监督与无监督机器学习算法的加持下,农业专家现在可以预测特定作物的潜在土壤产量,并制定相应的种植品类和方法最大程度提升田地产量。

  传统的农作物育种和家畜育种成本高、工作量大,一般常规育种需要至少十年甚至更久,这也是为什么我国这种小农经济模式特别不愿意去研究种子的一个原因,投入大、时间长,风险还高。

  而大数据技术可以帮助育种领域缩短研发时间。过去的农作物育种大部分都是在田地或者在温室大棚里进行,但大数据技术的育种基本都是在实验室完成的,试验对象不是真的去种植,而是把种子切片,然后进行材料筛选,大大减少田间的工作量和花费。

  在农业科技发达的美国和荷兰、以色列等国家,甚至像ABCD这种农业公司。基本上就是采用这种大数据技术来育种的。我国现在的科研机构和一些公司也在逐渐的采用这种方法来进行种子研究。

  农业经营者利用现代信息技术手段实时收集种质信息、生长环境信息、作物品种信息、施肥施药信息、农事信息等,通过对上述海量数据的计算和分析,帮助农户进行优化生产决策和资源投入。

  例如,应用大数据技术研发的农田扫描定位,可以对每个田块进行数据分析,依据田块的定位编号、现有的给养结构多宝·体育万博官方网站在线平台,自动给出相应的施肥建议。

  通过对长期大量气候条件、土壤自然灾害、病害等环境因素信息的收集,科学匹配农作物品种和土地类型;对造成地块产量差异的因素进行分析,因地制宜,针对不同地块采用不同的耕作方式,从而更有针对性地指导灌溉、施肥、灭虫,农业生产力和土地利用率得到极大提高。

  其次,大数据技术有助于农业生态环境的改善。大数据技术的应用,可以实现按需给药、按需施肥、按需增温,一方面因为减少了农药化肥等化学物质的滥用,实现了农产品的安全性,另一方面也有助于减少对自然环境带来的损害,实现农业生态安全。

  无论是农业的生产还是流通,都是政府高度关注的区域,但是就整个农产品市场信息体系而言,传统的农产品生产和流通消费领域存在供求信息不匹配、不全面、信息流通不畅的问题,利用大数据技术可以很好地解决这些问题。

  通过全方位感知和分析农产品产量信息、产品结构、流通及消费信息、病害及气象信息,结合对历史数据的分析,利用智能分析技术判断整个信息流的流量与流向,并对农产品全产业链的过程进行模拟,就可以建立数据模型,建设出农业大数据预警系统,如果出现数据异常就可以进行报警。最后的例子就是前两年的猪肉价格,当超过国家预警系统的数据时,政府就会出手干预。

  同时农业大数据预警系统可以有效降低农业生产和销售中的不确定性,让农业人员在产前、产中、产后进行全程把握,从而优化生产布局,避免浪费,力争实现产销匹配、生产和运输匹配、生产和消费匹配。

  近几年来,农业农村部、商务部、发展改革委等部委和地方相关部门推出了不少农产品管理数据和监测预警系统,但存在数据量不大和不准确的问题。

  做过农产品的人都知道,农业生产除非规模化,否则是很难挣钱的,但一个国家没有农业生产是非常危险的,所以一般的国家都会对农业生产进行补贴。

  比如,像中国和美国这样的大国,都会有专门的农业监测卫星,这些卫星一般都是在500英里以下的地轨道运行,主要利用可见光谱之外的电磁波采集地球表面探勘数据。

  而这些数据对农业监测来说就是最真实的参考依据,拥有极大的影响力。比如国内发生旱灾和洪涝的时候,利用这些数据就可以很精准的查看到各个地区的受灾程度,同时通过算法,将各个地区的资源变量进行计算和处理(比如水库存量、大坝能力等),从而有针对性的进行救助和资金补贴,帮助政府部门更加有效的分配资源。

  传统金融机构并未充分满足农业农村的金融需求,由于农业自身存在信息化程度低、农民的有效抵押物少、经营过于分散等多种问题,造成农业的经营风险较高,农民收入波动较大,上述情况导致整个农业金融服务远不如其他行业发达。

  大数据可以高效汇集并筛选有效信息,帮助金融机构全面了解用户的信息,并通过对其日常收支情况、经营能力多宝·体育综合APP下载集团网站、负债情况、借贷历史、消费情况、信用记录、社交情况等维度进行分析、论证与建模,评价农户的信用情况。上述数据可以作为发放、设置农业保险的信用依据,从而可以有效减少金融风险,推动金融更好地为“三农”事业服务。

  由于农产品供需双方的参与者很多,信息交流的数量也很多,特别是因为农产品具有易腐性,所以农产品冷链物流对于全程的温湿度、含氧量、运输时间控制等有严格要求,目前对大数据技术的使用比较普遍。

  因此在农产品冷链物流的流通全程中会产生海量的数据,为了有效的维持农产品冷链物流供需两端的信息交流以及有效的管理这些信息数据,有必要借助大数据技术对这些信息数据进行处理,以此来提高农产品冷链物流的效率。农产品冷链物流企业通过科学合理地结合大数据技术,对其冷链物流环节中产生的相关数据信息进行智能统计和分析,从而促进冷链物流数据的有效增值和合理推广,实现企业物流管理现代化。

  具体方法主要是在运输车辆上安装GPS、智能终端等监控技术,对运输中的农产品的状况进行实时监控,确保农产品始终处于最佳储存温度、湿度等,保持最佳储存状态,保证农产品在运输途中的质量,利用信息技术将所得数据整合、归纳、分析、优化、总结,从而建立起相应的数据库,基于数据库平台,使企业之间以及运输各个环节之间实现信息交流与共享,从而降低运输成本,提高农产品附加值。

  对于农批市场这种对于交通非常重视的企业,我们可以通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置数据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据如果形成规模,就可以卖给商户或者广告商,也是一种具有未来潜力的收入来源。

  如果能够依据农产品在各地区的分布数据以及企业内部对各地区农产品需求的调查分析,建立一个农产品大数据信息共享平台,将配送中心和销售网点进行整合,进行农产品的合理配置,减少农产品在销售过程中的损耗,根据市场变化做到快速反应,从而实现增销量、提价值的目标。

  而这些年兴起的生鲜电商就大部分采用了大数据技术,制定生鲜商品的推荐策略:基于海量的浏览行为、购物行为数据,进行大量的算法模型的运算,得出各类推荐结论,以供电商网站页面来为用户进行商品推荐。

  另外就是大数据技术还可以打造企业的广告推送系统,提升产品销量。基于海量的互联网用户的各类数据,统计分析,进行用户画像(得到用户的各种属性标签),然后可以为广告主进行有针对性的精准的广告投放。

  根据贵阳大数据交易所的数据显示,我国2020年大数据的产业规模为2084亿美元,仅次于美国的3823亿美元。

  而农业方面的产业规模并老冯并没有查到准确的数据,只能根据我国大数据产业在各个行业的市场规模占比进行测算,根据商务部的数据,我国的农业大数据在整个大数据产业中的占比为1.72%,大致可以测算出农业大数据的产业规模为37.1亿美元。

  和农业物联网一样,农业大数据因为行业占比低,并没有形成农业领域单独的垂直产业链,因此这里也是根据整体大数据的产业链进行介绍,大数据的产业链大致可以分为上游、中游、下游三个部分。

  大数据行业上游是基础支撑层,整个大数据产业的引擎和基础,主要包括网络设备、计算机设备、存储设备等硬件基础设施供应,此外,相关云计算资源管理平台、大数据平台建设及各类与数据采集、预处理、分析和展示相关的方法和工具也属于产业链上游; 相关代表企业有紫光集团、联想、中兴通讯、阿里云、腾讯云、华为、中科曙光等。

  大数据行业中游立足海量数据资源,围绕各类应用和市场需求,提供辅助性的服务,包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全,以及基于数据的IT运维等;

  在中游大数据服务领域,数据服务层是大数据市场的未来增长点之一, 随着5G商用的全面推广,数据采集和预处理需求将快速上升;此外,随着数字技术日益复杂,提供第三方数据分析、可视化和安全服务的市场也将持续壮大,相关代表企业有久其软件、拓尔思、太极股份、荣联科技等。

  然而,数据交易服务由于数据权属不清晰,模式不落地等问题,发展潜力相对较小,相关代表平台有上海数据交易中心、贵阳大数据交易所等。

  大数据行业下游则是大数据应用市场,随着我国大数据研究技术水平的不断提升,目前,我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。

  在下游应用市场,我国大数据应用正在快速扩张,除发展较早的政务大数据、交通大数据外,在工业、金融、健康医疗等众多领域大数据应用均初见成效,农业领域的发展相对这些领域发展速度较慢。

  云计算/云端大数据类。如阿里巴巴-阿里云,当时主要与亚马逊AWS抗衡,做公有云、私有云、混合云。另外还有百度、拼多多、字节跳动等这些大型的互联网公司都在发展云计算和大数据技术,因为近几年都开始发展生鲜业务,也就开始启动了农业大数据的研究。

  大数据决策平台类。比如帆软,布瑞克、奥科美、佳格天地、一亩田等,主要是做商业智能和数据分析平台提供商,从报表工具到商业智能BI,其中一亩田是主要做农业方面的决策平台,很多地方政府的农业数据就是让一亩田做的。

  目前国内企业在大数据产业链最薄弱的是中游软件方面。硬件部分因为存储技术不怎么涉及芯片,所以发展较好,而大数据应用方面,因为政府和金融其实都是政府资金扶持,所以未来几年估计发展也不会慢。但在软件方面,因为大数据软件程序方面的Hadoop是开源的,所以目前国内做软件的企业主要做的就是把Hadoop不稳定的部分优化,功能细化,为企业提供Hadoop大数据引擎及数据库工具,如星环公司,类似于办公软件里的金山,底子就是Word,只不过增加和细化了功能而已,不属于国内自己研发的产品,容易被“卡脖子”。

  目前大数据产业链中最赚钱的还是上游的硬件产业。从大数据产业链的收入情况来看,目前过我的大数据产业中最赚钱的还是买服务器和存储的硬件厂商,占比达到了41%。中游的软件方面占比为25%,下游的应用服务占比34%。

  从发展区域来看,目前我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。受政策环境,人才创新,资金资源等因素影响,北京大数据产业实力雄厚,大数据企业数量约占全国总数的35%,另外还有以广东、福建为首的两大产业集聚区。

  我国农业大数据的突出问题是条块分割带来的结构性不合理。在当前的管理体制下,各农业主管部门的涉农大数据流动性差、难以共享;国家农业公共数据描述与表达标准尚未建立,各部门数据存储和表达格式不一、数据标准化、规范化严重不足;数据开放性不够,开放总量偏低,可机读性不强;缺乏覆益农业全产业链的,包含农业发展全要素、农业生产全过程、农产品销售全流程的国家级农业数据目录和标准体系。

  我国大数据技术研发总体上水平不高,和国外发达国家的技术和应用方面都存在一些差距,大数据应用于农业生产的时间也不长,技术积累和经验不足。我国农业大数据来源广泛,大量存在可用性差和异常数据过多的问题,无形中提高了数据挖掘技术的难度;农业大数据涉及环节众多,规模庞大,各环节协同性差;大量非结构化数据的存在给农业大数据的挖掘、存储和处理工作都带来了不利影响。

  大数据技术专业性很强,通常需要完整的专业培训才能很好地掌握。农业大数据技术的开发和应用,需要既熟悉农业生产技能又掌握数据挖掘与处理等多方面知识的复合型人才。当前的条件下,很难让一个T人才转去农田工作,而教会一个普通农民掌握大数据技术无疑是一件相当困难的事情。当前我国农业从业人员科学素养普遍较低,不能有效利用数据资源,难以承接农业大数据技术的快速发展,信息技术转化为现实生产力的任务艰巨。而且,目前我国设置农业大数据专业课程的院校不多,造成农业大数据研究与应用人才严重不足。

400-888-8888

咨询热线National consul
公司地址:深圳市福田区梅林街道梅丰社区梅华路105号多丽工业区1栋813
手机号码:18924183237   E-mail:1025117384@qq.com
二维码 扫描二维码
关注我们