物联网处理技术范文

导语：想要提升您的写作水平，创作出令人难忘的文章？我们精心为您整理的5篇物联网处理技术范例，将为您的写作提供有力的支持和灵感！

篇1

1 研究背景

中国经济高速增长、城镇化速度加快，城市生活垃圾存量逐年增高。世界银行2005年一份报告开篇：“世界上没有一个国家曾经经历过像中国现在正在面临的固体废弃物数量如此之大或如此之快的增长”。垃圾分类意识薄弱，处理方式相对落后，相关技术不完善导致垃圾处理能力缺口日益增大。2012年4月国务院办公厅、发展改革委、住房城乡建设部、环境保护部组织编制了《“十二五”全国城镇生活垃圾无害化处理设施建设规划》，要求提高城镇生活垃圾无害化处理水平，切实改善人居环境。生活垃圾问题已经成为不容忽视、亟待解决的环境和民生问题，引起政府部门高度关注。

2 国内外城市生活垃圾处理现状

通用垃圾处理方法主要有卫生填埋、焚烧和堆肥三种。瑞诺瓦做为瑞典最先进的垃圾焚烧企业之一，其垃圾焚烧效能和废气排放的清洁度技术世界领先；德国重视垃圾循环利用，开发周密高效的垃圾处理体系；美国依然采用填埋处理作为主要方法，并大力发展多层次垃圾管理模式，形成以控制垃圾源头为先、垃圾再循环和堆肥处理居次、填埋或焚烧垃圾随后的多层次垃圾管理模式。

我国生活垃圾处理处置能力相对落后。仍有部分城市，尤其西部落后城市，采用露天堆放、自然填沟和坑填的简单方式处理城市生活垃圾，对土壤、河流、地下水等都造成了严重的影响和潜在的长期危害。堆肥与焚烧技术发展时间较短，尽管目前全国已有很多生产商、研究单位和大专院校在研究开发各种焚烧技术及设备，研究和开发过程仍然需要时间。

3 城市生活垃圾处理方式比较

截止2014年底，我国城市生活垃圾清运量约1.79亿吨，各类无害化处理厂818座，全年填埋量10744万吨、焚烧量5329万吨、堆肥等其他方式319.6万吨，分别占总垃圾处理量的60%、29%和1.79%，我国城市生活垃圾主要还是靠填埋为主，焚烧等技术还与世界发达国家有很大差距。

3.1 填埋场处理方式评价

卫生填埋目前是我国城市生活垃圾主要处理方式，填埋场中多采用高密度聚乙烯膜做为防渗材料以提高填埋场的防渗水平，一些大型填埋场采用填埋压实机来提高填埋作业效率。尽管如此，垃圾填埋技术仍然存在很大的问题，垃圾填埋占用大量的土地、垃圾填埋场渗滤液处理、填埋的无害化程度较低、对水资源和大气潜在影响深远、填埋资源回收率低、填埋场征地运转费上涨等。同时，我国填埋使用设备和铺设机械主要依赖国外进口；渗滤液处理技术落后，渗滤液对环境造成二次污染；防渗材料自主研发水平低，国内产品耐久性差，进口材料又导致填埋成本太高。

3.2 堆肥处理方式评价

生活垃圾的生物处理主要有好氧堆肥和厌氧发酵技术，通过创造适宜的微生物生存环境，利用自然界原有的微生物或投放菌种，氧化分解垃圾中的有机成分，从而达到无害化和资源化的目的。

生活垃圾堆肥技术工艺简单，所用机械设备少，操作简单且投资少。我国是采用堆肥技术最早的国家，开展过机械化程度较高的动态高温堆肥研究和开发，并取得了积极的成果，现在已经基本上形成了较为完整的堆肥技术。但同时堆肥技术也存在问题：传统生物处理周期长、占地大、处理能力有限、难以形成较大垃圾处理规模；好氧堆肥和厌氧发酵成本高、品质差，不具有竞争优势，难以规模生产。

3.3 焚烧处理方式评价

焚烧技术具有无害化、减量化和资源化程度高的特点，生活垃圾焚烧一般都和能源利用相结合，进入20世纪90年代，随着对废气中有害物质危害的认识，各国对新建焚烧厂开始持慎重态度，并注重对焚烧废气排放控制及污染治理的研究，力争降低焚烧可能产生的二次污染。天津双港垃圾焚烧发电厂的建成，创造了国内规模最大、自动化水平最高等多项记录。同时，焚烧发电厂把垃圾焚烧发电，废渣制砖，余热取暖，蒸汽向空中无害排放，形成一个循环经济链。

现有或正在筹建的垃圾焚烧处理厂主要是以引进国外技术和设备为主，设备费和运行费较高，下一步我国应该加强技术研发和自主知识产权，逐步实现焚烧技术进步和设备国产化。

4 城市生活垃圾处理的未来

4.1 物联网在城市生活垃圾中的运用

国务院颁布《国务院关于加快培育和发展战略性新兴产业的决定》中将新一代信息技术列为7大战略性新兴产业之一，物联网作为其中重要内容被多次提及。利用物联网技术实现对物品信息的自动识别、传输、处理，通过开放性的计算机网络实现信息交换和共享，实现物品动态、实时“可视化”管理。城市发展对生活垃圾的管理工作提出更高要求，而物联网技术的应运而生也为生活垃圾管理更加科学化、规范化、精细化提供了技术支撑。

城市生活垃圾包含源头收集、中转运输和末端处理三个环节，居民放入指定垃圾桶，社区保洁员按指定时间送至垃圾收集楼，压缩后运往垃圾中转站，经过分拣筛选处理后，运往垃圾处理场处理。

源头识别；通过嵌有RFID芯片或贴有电子标签的垃圾桶或废物箱，辅以读卡设备，掌握垃圾产生源头，为垃圾收运、收集容器配置和垃圾品质分析提供参考依据。

中转运输：通过电子围栏技术，识别环卫作业车，了解垃圾来源和清运量；GPS定位，了解环卫作业车辆线路轨迹、位置、速度等实时数据，对作业、运输全程监督，及时解决突发问题；垃圾称量联网上传至数据库，了解中转站中转量。

末端处置：各处理场的生活垃圾量及处理后残渣或副产品称量和品质监控，了解处理场所的处置负荷量、处置效果。

通过物联网技术在垃圾转运环节应用，建立完善的信息化管理平台，正确识别生活垃圾来源、成分，为垃圾分类、收费提供依据。同时，完善的管理信息平台也可对城市生活垃圾进行调配，合理安排垃圾处理设施密度和强度。

5 总结与展望

面对严峻的城市垃圾考验，我国应采取综合化的方法应对城市生活垃圾。在技术创新的同时，还要建立完善的管理体系，如转移机制、收费机制和减量机制，才能应对未来的“垃圾之战”。

参考文献

[1]“十二五”全国城镇生活垃圾无害化处理设施建设规划[J].中国环保产业.2012（07）：4-13.

[2]吴丽.我国城市生活垃圾清运量预测及垃圾处理技术发展趋势研究[D].华中科技大学，2006.

[3]张瑞久，逄辰生.美国城市生活垃圾处理现状与趋势（上）[J].节能与环保.2007（10）：16-18.

[4]宾晓蓓，李倩.国内外城市生活垃圾处理现状与处理技术[J].北方环境.2011，23（10）：42-44.

[5]宋志伟，吕一波，梁洋，等.国内外城市生活垃圾焚烧技术的发展现状[J].环境卫生工程.2007，15（1）：21-24.

[6]李如年.基于RFID技术的物联网研究[J].中国电子科学研究院学报.2009，4（6）：594-597.

[7]马文.物联网：建设智慧城市的DNA[J].上海信息化.2011（3）：18-21.

篇2

物联网是目前广泛应用的技术之一，适用于各种类型的应用场景，同时与人们的生活息息相关。因此，物联网技术一直是科学研究的热点之一。RFID技术属于物联网系统感知层技术，主要用以感知数据。该技术经过长时间应用，已然成熟，能够对大量物品实行唯一标识。因此被广泛应用于物联网信息处理当中。

1 信息融合技术

1.1 物联网信息融合理论

所谓信息融合，指在不违背部分准则的前提下，通过计算机技术将多源信息综合为一体，并对其进行分析，是为了令各类型应用的分类任务得以实现所进行的处理过程。依照信息提取水平的不同，可将物联网内信息融合技术下分为四个层次，具体如下：低等水平融合、中等水平融合、高等水平融合以及多级融合。该分类方法中，多级融合是由低、中以及高等水平融合综合而成。因此，也可将信息融合技术细分为三个层级，即数据级融合、特征级融合以及决策级融合。针对物联网而言，数据级融合存在的主要目的是为了将录入数据中的噪声完全消除。特征级融合以及决策级融合存在的目的则是为了获得同实际应用相关联且具有应用价值的信息。

1.2 物联网信息融合常用算法

第一，数据级融合算法。所谓数据级融合指在原始数据采集完成之后，对数据的融合。其融合特点为所有信息必须保证同质，若信息不同质，则不得于该层级内融合。该阶段融合技术较为常用的融合算法有以下两种。

（1）加权平均法。与其他算法相比，该算法最为简单，无需借助其他步骤，便能对传感器所获取的信息实施线性加权平均，从而预估处于运动状态下的目标运动轨迹某一定点的坐标位置。然而，利用该算法进行融合之后，对比度相对较低，而且不可使用增大权重的方法向用户反映部分信息是否具有突出作用。

（2）特征匹配法。该方法主要是通过两种信息特点之间的匹配关系完成图像之间配准映射转换的建立，最为常用的便是ICP算法。可通过对真集合的方式进行改善，通过对无误差使用危险性最优化的算法直接完成最小化操作。同传统ICP方法相比，该方法具有数据处理速度快，且精确度高，收敛区间扩大等多个优点。

第二，决策级融合算法。决策级融合指预处理不同质数据、可信度分配以及识别与提取特征值时所建立的最佳决策。该级别融合可有效融合传感器所收集的数据，同时对融合之后的结果实施分析以及判定，建立决策与建议。同之前级别的融合相比，该级别融合属于信息融合的最佳层次，具有良好的容错性、适用范围较广。使用较为频繁的识别方法为专家系统。该系统是由推理设备、知识库以及解释设备等共同组成。专家系统分类较多，基于的标准也各不相同，如有以规则为基础建立的专家系统，以框架为基础建立的专家系统等。就目前而言，大部分决策级融合算法所使用的系统为专家系统。

2 云计算物联网数据处理

2.1 常见数据模型及建模思想

RFID数据模型的建立，直接影响了基层RFID原始数据存储以及显示的方式，同时也会对系统整体形成明显的影响。因为RFID相关应用规模相对较大，而且往往容易产生大量数据，且数据呈分布式的存储于各个组织当中。因此需要效率更好的软件，“云”便是选择之一。工作人员在设计模型过程中，需将上述因素均纳入考虑范围之内。较为常见的RFID数据模型有以下两种。

（1）DRER模型。DRER，又称动态管理ER模型，该模式为西门子RFID系统中间部分所使用RFID数据模型。该模式对数据管控可能使用的实体转化为静态，或是呈现动态的实体，具体内容包括Obcejt、Reader、Location以及Transaction，将实体之间的交换转变为以状态为基础形成的动态关系或是以时间为基础的动态关系。DRER不仅能够完成实体与实体之间联系的定义，同时也建立了如何对数据实施筛选的规则引擎，使得系统更为智能化。能够自行对底层系统所获取的数据进行分析、过滤以及处理，从而将所有原始数据转化为系统运行需要的数据，同时也能为上层应用提供追踪以及追溯功能。

（2）RFID-Cuboid模型。该模型的建立是对某一独立在早期运动过程中会成组进行移动的物体的观察，组内任意物品的记录均能组合生成为一条记录。同DRER对比，RFID-Cuboid模型属于成静态的模型，用以挖掘数据。并非属于动态的模型。该模型共分为4个模块，分别为Fact、Measurement、Map以及Stay。其中，Fact模块同DRER模型当中Obcejt与Location表功能基本一致，都记录了关于物品完整的初始数据信息。然而，该系统使用Stay表以及Map表完成对数据的压缩。Stay表是因物品呈成组移动方才存在，可以将组这一概念引入，把从属于同一组内的物品记录统一压缩为一条记录。Map表则可以实现组与组之间物品的映射，借此体现组内物品的细化。该系统最为明显的特点与优势是其支持用户进行统计类或是路径类的查询工作，在引入gid概念以及Map表基础之上，用户能够搜索指定物品当前的路径信息，在Measurement表的支持下，用户可直接利用搜索获取有关类型的统计信息。

通过对上述两种模型进行分析，可知RFID数据模型设计的思想如下：第一，物品同RFID必须保持对应。但是过程同RFID阅读设备之间并不存在特殊关系，可以对其进行动态的改变。但通常情况下，两者关系较为固定。过程可利用RFID阅读设备标记物品流入过程的实际时间以及流出过程的实际时间。第二，该波形不仅有权利获取初始RFID数据，同时也拥有权限取得一定量同上层业务逻辑有关的数据，尤其是有关RFID便签实际流向的订单信息以及物品发放与收取的有关信息。第三，应用RFID系统对数据进行处理，往往某一过程不会将打包装箱以及拆包拆箱的操作一同记录。故而，相同过程仅仅记录某一独立物品的打包操作或是拆包操作。第四，系统组织内往往包含有数个处理过程，组织能选择将部分处理过程对外暴露，或是把该组织的处理压缩为一个过程。凡是组织选择对我暴露的处理过程中都可以视为独立处理的过程，过程标识具有唯一性。第五，“云”的使用。“云”是一种能够完成自我维护或是便于维护人员维护与管理的一种为虚拟状态资源，通常需要集合大量服务器，如计算服务器、宽带资源以及存储服务器等，将其统一存储于某一位置，则该位置便是“数据中心”。同时，用户通过专业的软件可直接对数据中心内的内容进行访问与管理。由于管理软件本身具有一定智能性，加之部分资源能够实现自我维护，所以维护工作大大减轻。

云计算具有以下优点：其一，规模大。“云”集合了大量服务器，使其具有极强的计算能运算能力。其二，高可靠性。“云”可以运用数据多副本容错，或是计算节点同构相互转化等措施，使得云计算所得结果得到保证。其三，虚拟化。无论是企业，还是用户均能于任何位置通过任何终端获取“云”的服务。应用软件在“云”内某一部分运行，但用户无需确认应用运行的实际所在位置，仅需借助笔记本或是PDA等终端，便能通过网络自“云”端获取各类型服务。由于“云”具备上述优点，大部分企业开始通过云计算进行物联网数据处理，以提高数据处理速度，同时保证数据处理的正确性。

2.2 数据模型建立思想

所谓数据视图，指从一个或是多个基础数据库表中按照用户的实际需要而建立的虚拟数据表格，其设计与传统关系数据库基本相同，也可以使用E-R图表用意表示模型。

数据模型图基本如图1所示，其含有如下实体：处理过程、组织以及物品。具体关系如下：第一，多个处理过程从属于相同组织，关系表示为1：n。第二，过程同过程存在关联关系，关系表示为1：n，其中包含有抽象过程同实际过程中的关联以及前向处理工程同后向处理工程之间的区别。第三，物品同物品之间存在包含关系，关系表示为1：n。针对物品打包操作以及拆包操作，均需从时间属内进行抽取。第四，处理过程同物品之间呈观测关系，关系表示为1：n，包含有四个属性：开始时间、结束时间、目的过程以及源过程。用以表示物品流入就出处理过程的时间。

3 物联网中实时数据处理。

物联网主要通过建造实施数据感知以及处理系统模型完成对数据的实时处理，数据获取是否及时取决于能够及时获取有关数据并及时进行处理。RFID技术主要负责获取数据，同时对数据进行处理，并将处理结果及时上传至应用服务端内。RFID是构成RFID数据处理系统的重要部件之一，传感设备获取数据之后，需通过中间件的处理以及分析之后，方能传输至上层供其所用。大部分中间件结构均需利用数据采集接口手机RFID阅读设备读取成功的数据，之后对所得数据进行层次化处理，如数据清洗、融合以及对复杂时间的检测等。若存在不含有任意语义信息的初始RFID数据，可对其进行转化，使其成为上层应用程序能够直接使用的数据，供应用服务端内进行处理。处理数据过程中，在保证系统实时性的同时，还需要保证数据的完整性。具体可通过如下方式保证数据的实时性以及完整性。

3.1 数据完整性的主要类

数据完整性主要类共有以下几种核心类。Integrity Validator类和DateQueueManager类。该核心类主要运用于数据缓冲队列管理当中，针对各个获取的垫带实施数据缓冲。具体类图如图2所示，利用addDate函数将所获取的数据添加于对应的队列当中，而timeCheck函数则负责对各个函数时效性进行检测。getDataQueue函数同addDateQueue函数则负责对队列进行操作。

3.2 数据完整性验证算法

过程在对RFID进行处理过程中，应保证在短时间内完成对过程中所产生数据的完整性进行调整。通过系统内所有约束条件对数据进行检查验证，以此确认过程内物品是否发生了物品异常问题。完整性验证的顺序应按照约束条件所具有的递进关系逻辑，即首先进行QTVconstraint检测，其次实施UNQconstraint检测，最后完成CTMconstraint检测。

因为RFID数据所具有的流特性，所以，数据在验证过程中，RFID所搜集的数据需要缓冲时间。物联网系统运作时，物品流动于各个过程之间。故而，在处理过程之间，物品需按照订单的形式发出，而过程中针对各个接受的订单建立对应的缓冲队列。并于长度固定的时间窗口中处理物品，即把已经获取的RFID数据划归于与之对应的队列当中，并就目前队列内的数据实施完整性检测。数据完整性算法具体如下：

foreach id in idSet do

order getOrder（id， orderList）

queue getQueue（order， queueList）

queue.enQueue（id）

ifqueue.time

if order.num≠queue.size then

handleNumError（）

else if order.idSet≠queue.idSet then

handleUnqError（）

else

boxList order.getBoxes（）

foreach box in boxList do

itemSe getItemSet（box）

if not （box∈queue.idSet and itemSet queue.idSet） then

handleCtmError（）

end if

end for

end if

else if queue.time>order.timeWindow and queue.isFull（） = False then

notifyOrderTimeOut（）

else if queue.time

continueWait（）

end if

end for

篇3

着计算机和网络技术的快速发展，电脑等移动终端在生活中的应用更加广泛，随之产生的原始数据也日益增加。在处理这些海量数据时，传统数据处理技术已经无法满足数据处理的需求，迫切需要对数据处理技术进行更新，特别是数据库技术。随着市场竞争的激烈化发展，要想实现自身竞争力的增强，则需要对数据处理系统进行改良，对数据处理技术，特别是数据库技术进行及时更新，以便提高物联网动态数据收集、检索和处理的效率，从而确保对物联网海量数据的处理能够更加及时、准确。

1 物联网概念

随着信息化发展速度的不断加快，物联网技术的发展也日渐成熟，在各个I域中都得到了广泛的应用。物联网通过在物品内部嵌入传感器，利用传感器获取物品信息，将物品信息利用无线网络传输至后台信息处理系统，并在不同信息系统之间建立联系，使其形成统一的网络，从而实现对物品的跟踪和对环境的智能化监管。物联网的应用主要是依靠通信技术，在人员、机器及控制器之间建立联系，从而实现对物品的智能化管理。为了满足物联网的数据处理需求，数据处理技术随之产生。该技术的应用，不仅提高了物联网的数据处理效率，也实现了对我国产业结构的优化。

2 物联网海量数据处理技术

2.1 多源数据融合技术

在物联网中，数据信息的类型主要是受数据获取节点的影响，不同节点所获取的数据信息类型也有一定的区别。在处理多源异构海量数据时，依据多源数据融合技术而产生的多源数据信息融合格式的应用，可以让不同节点获取的不同结构数据和本体标准之间形成统一，从而提高对多源数据进行处理的效率。同时，在多源异构数据处理中，将多源数据融合技术和度量技术、数据聚类技术等数据处理技术进行融合，可以让多源数据处理更加统一，从而达到提高数据处理效率的目的。

2.2 数据检索处理技术

随着物联网的应用越来越广泛，数据信息的生成速度和数量也会随之增加，不同维度、节点所产生的数据在结构上有一定的区别，而这也对物联网数据检索处理技术提出了更高的要求。从数据存储的角度来看，要想实现对物联网海量数据的及时存储，应当依据就近存储原则，利用数据存储技术，建立统一的数据获取节点，以便提高数据存储效率。同时，在存储数据信息时，为了提高数据存储的准确性，实现数据的同步更新，则对数据存储空间和容量的设计必须要科学、适宜，并且要及时更新数据库。从数据检索角度来看，数据处理形式主要分为两种，一种是空间流，另一种是时态流。在检索引擎设计中，依据索引算法，按照数据种类对海量数据进行分类整合，可以让数据检索更加快捷。从数据查询角度来看，在物联网海量数据处理中，只要保证数据信息能够得到及时的存储，数据检索能够更加快捷，则数据查询效率就能够得到有效的提升。由此可知，在设计物联网海量数据检索处理技术时，应当在认清物联网特征的基础上，充分考虑数据的数量和类型。并对多源数据进行整合，以便实现对数据的及时处理，提高数据处理的准确性。

3 物联网海量数据处理下的数据库技术应用

3.1 分布式数据库技术

在网络服务中，云技术是一种使用较为广泛的技术，而该技术的功能就是整合网络资源，并实现对数据的线上存储和计算。在物联网的建设和应用中，云技术作为一种极为重要的网络技术，也承担着极为重要的职责。在物联网建设中，通过云技术和海量数据处理技术的结合而产生的分布式数据库技术，可以使物联网系统中的中心服务器与数据服务器之间的联系更加紧密，并建立大量实时数据库 ，从而让数据信息的处理能够更加及时、高效。从数据库规模上来看，依靠分布式数据库技术建立的实时数据库，可以依据物联网数据信息的数量对自身的规模进行调节，这极大地提高了物联网数据信息处理的灵活性，也方便对数据信息进行管理。从系统管理上来看，在物联网系统中，实时数据库的建立可以使物联网系统管理变得更加容易，可以有效减少系统管理中所出现问题的数量。在物联网建设中，分布式数据库技术的应用，为物联网建立了虚拟平台，而该虚拟平台的建立不仅能够使物联网数据信息的处理、存储、等变得更加高效，也能够对系呈菪畔⒋嬖诘某逋唤屑笆薄⒆既返拇？这可以使物联网海量数据处理变得更加快捷。

3.2 内存数据库技术

内存数据库技术是物联网建设所使用的重要网络技术之一，而该技术是结合网络技术与物联网技术的优点而产生的。在物联网建设中，内存数据库技术的应用，可以让数据信息处理更加独立，也能够提高数据信息处理的透明度。内存数据库技术在物联网中的应用主要具备下述几个特点：第一，在物联网数据存储中，内存数据库与其他网络节点不同，内存数据库是以水平切分、读写分离等方式对数据信息进行存储，并实现了对物联网数据库的集群化管理。第二，在各个数据库之间建立联系，可以将物联网海量数据进行整合，对数据信息进行集中管理，从而为其他终端的使用提供便利。第三，内存数据库技术所具备的持久性特点，可以增加数据存储的时间。利用磁盘对数据信息进行复制，可以让数据信息的管理和存储变得更加科学、安全。物联网海量数据的处理过程极为复杂，稍有疏忽，就可能会造成数据信息的丢失、泄露。而在海量数据处理中，利用内存数据库技术，对网络局部功能与空间进行结合，可以使物联网数据的更新更加及时、准确，从而做到对物联网数据信息的同步更新。

3.3 数据的收集与存储

在物联网海量数据处理中，充分利用分布式数据库技术与内存数据库技术，可以让海量数据之间的联系更加紧密，并实现对物联网数据收集和存储流程的简化，促使对海量数据的检索与应用更加快捷，从而保证物联网海量数据处理的科学性、合理性。在物联网海量数据的检索和应用中，合理利用相应的数据服务器或收集器以及相关的网络节点，可以让数据信息检索和应用变得更加快捷、高效。在物联网海量数据处理中，及时、准确地对数据信息进行收集和存储，并保证数据传输的安全性，可以让数据检索和应用变得更加高效。

4 结语

综上所述，在物联网海量数据处理中，依据数据处理技术对数据库技术及其应用进行研究，可以更好地提高物联网数据处理效率，及时解决数据处理存在的问题，促使物联网更好地发展。

参考文献

篇4

中图分类号：TP393

物联网技术的不断发展为各个领域的数据化提供了可能，在各个领域中的数据量不断增加。随着各个行业业务领域的不断扩大与信息化的不断深入，数据在企业的所有环节中都得到了广泛的应用。用户在对海量数据进行处理与分析的过程中，对实时性与高效性提出的更高的要求。只有提高含量数据处理与分析的实时性与有效性才能够为企业提供更加准确与详细的市场行情，为企业决策提供可靠的依据，在市场竞争中占据有利地位。物联网中各个子系统所产生的海量的、异构的数据都需要进行统一的处理与存储，因此，海量数据处理方法需要实现多个不同网络、数据源与异构的海量数据进行融合与处理。当前，传统的数据处理技术与数据库管理系统（DBMS）已经不能够满足物联网海量数据处理与存储管理的需求了。因此，本文重点分析与研究了基于物联网海量数据处理的数据库技术，包括分布式内存数据库技术与分布式实时数据库技术两种。

1 物联网数据所具有的特性

物联网（Internet of Things，IOT）指的是在物品上置入内嵌电子标签或传感器，通过这些对物品或者环境的信息进行获取，之后通过无线网络将收集到的信息向后台信息处理系统进行发送，各个信息系统之间通过互联的方式形成网络，通过这个网络实现对物品的跟踪、对环境的监测等智能化管理。

在现实情况中，物体在数量方面非常庞大，在形式方面非常多样，而且还一直处在变化之中，外界环境对其造成的影响较大。因此，物联网中的数据具有以下几个方面的特点：

1.1 物联网数据具有海量性的特点

物联网系统中通常会包含一个或者多个无线传感网络，这些无线传感网络中包含了超多的传感器节点。这些传感器节点持续地产生新的采用数据，而且数据的类型是多种多样的，不仅包括数值类采样数据，而且包括多媒体采样数据。此外，物联网系统中还会将所采集的数据进行一定时间的存储，为原处理的追溯与数据的挖掘分析提供便利。举例来讲，假设物联网系统中包含10，000个节点，每秒钟进行一次存储，每次单点占据10个字符，10年之后物联网系统中所包含的数据量将达到10，000×10×10×365×86400=31，536，000，000，000字节，而这仅仅是较为简单的数值类型数据。因此，物联网数据具有了海量性的特征。

1.2 物联网数据具有异构性的特点

传感器件在物理特性、产品特性以及系统设计等方面都存在一定的差异性，导致其采集生产的数据在类型、进度与数量方面都存在不同。这就导致了物联网数据存在多种模式，较难进行统一。例如在智能交通中，需要实现的功能包括车辆GPS定位、RFID车牌识别、路况信息、违章电子照相等，在这些功能实现的过程中通常需要种类较多的传感器，导致产生的简单数值类型数据、多媒体图像视频类型数据等异构数据。

1.3 物联网数据具有数据多维性与数据关联性的特点

物联网数据所具有的多维性特点是其较为重要也是非常必要的特点之一，视域普通的互联网数据进行区分的重要特性。物联网系统在对原始数据进行采集的过程中，默认的状态属性包括time（时间）、space（空间）、devicestamp（设备戳）。此外，物联网的物理对象并不是相互独立的，各个对象之间存在着各种不同的管理属性。例如智能电网中的用户在物理电网中的相对位置会对用户之间的关系和关联程度造成影响。物联网数据与数据属性是一个整体，缺一不可，如果没有数据属性，物联网数据就失去了代表意义。因此，数据的传输、存储与使用的过程中都应该注重属性的完整性与正确性。

1.4 物联网数据具有实时性与动态化的特点

物联网应用具有非常强的实时性，例如RFID系统、WSN系统等，都是对实时数据进行采集，在一定周期内向服务器进行数据发送。物联网系统中要对某个监控对象在某一时刻的物理状态进行查询时，仅仅依靠某个时间关键词的匹配很难实现，主要是由于数据采集具有一定的周期性。为了提供数据查询处理的有效性，应该将监控对象的采集数据形成数据序列，对监控对象制定时间的物理状态进行计算。在数据不断更新的过程中，所形成的采集数据序列也处于不断的动态变化中。

2 物联网海量数据处理中的重要技术

在物联网中包含了种类非常繁多的感知设备，这些设备所属的网络类型都是不同的，物联网在进行海量数据处理的过程中，需要采用能够对不同类型网络、不同数据源及异构含量数据进行融合的处理方法，在对海量数据进行处理的过程中进行有价值信息筛选，并对其进行有效的分析与应用。

2.1 物联网含量数据处理中的多源数据融合技术

在物联网中，如果信息获取的节点不同，这些信息的数据类型特征也不同。在对多源异构海量信息进行处理的过程中，需要实现层次化表达数据结构与本体标准的统一，以此作为标准的多元数据信息融合格式。实现多源数据融合技术与数据聚类技术、度量技术、时空转换技术等方面的有机结合，实现多源数据的一体化有效利用。

2.2 物联网海量数据处理中的数据存储、检索与查询技术

在物联网中部署了非常多的感知设备，对物联网中的数据进行采集，由于物联网中所包含的信息量巨大，采集的数据规模往往处于TB甚至是PB的级别。对物联网中海量数据的存储技术、检索技术与查询技术进行研究，能够促进海量数据处理的集中性与有效性，对这些数据实现高效的管理，将用户定制的数据进行实时、准确的传输，从而实现技术与用户信息系统的有机结合。

2.2.1 物联网海量数据存储技术

在物联网中，海量数据存储所采用的是就近存储原则，以全局摘要视图节点为中心，接收所有数据归档节点的数据分布情况报告。数据归档节点首先要向全局摘要视图节点发出查询请求，全局摘要视图节点对数据所在网络节点进行快速定位，通过这种方式能够避免物联网中出现信息泛洪式查询的情况。如果存储磁盘的设计容量已经耗尽，则需要对数据进行回收，在数据回收的过程中，首先要对查询历史进行统计，对当前系统存储容量进行核算，在此基础上为不同类型的数据动态地配置生存的周期，如果数据已经超过了配置的生存周期，那么这些数据就会被新增加是数据所覆盖。在物流网中，数据具有单次写入、较少修改、多次阅读与从不删除的特点。因此，单个网络节点在对数据储存技术进行选择的过程中，应该选择非关系数据库技术。

2.2.2 物联网数据索引技术

物联网中的数据分为两种类型，一种是时态流数据，另一种是空间流数据。物联网中依据数据的类型实现最优索引算法的自动创建。时态流数据主要采用间隔查询的查询类型，而空间流数据则通过操作方式的查询来对区域中所有符合条件的对象进行寻找，从而实现最佳索引的建立。

3 物联网数据库技术应该满足的要求

3.1 数据库技术的数据、数值及索引要求

物联网中存在着非常巨大的数据大小与数值范围，同时物联网系统中包含了多种类型风格不同的数据对象，在对这些数据进行处理的过程中，一方面要实现数据库编目管理，另一方面还要注重数据索引管理，这就对数据库的实时性提出了更高的要求。

3.2 数据库技术的查询语言要求

传统的数据库管理系统查询语言为结构化数据，这种查询语言已经不能够满足当前的需求了。可扩展标记语言（XML）所能够提供的数据表达方式具有更加松散的结构，同时能够对自定义数据描述进行支持。这种可扩展标记语言能够实现对文档及网页的整合，同时还能够查询关系数据库数据源等。

3.3 数据库技术的多相性与完整性要求

物联网中包含了众多的节点，这些节点包括感知节点与网络节点，不同节点的数据保存方式也是不同的。随着物联网中数据量与系统类型的快速增加，物联网实施数据库面临着更加严峻的异构性与互操作性问题。

3.4 数据库技术的时间序列聚集要求

传统的查询语言已经不能够适合时间序列数据的查询了，需要依据时间有序方式对物联网中实时数据进行组织与存储，能够进一步促进查询任务性能的提高、快速查询相应的提高。物联网中的实时数据具有时序特征，最佳的时间采样周期依赖于数据性质与应用领域，物流网中的实时数据库查询设备需要能够对数据进行连续的采用服务。

4 物联网实时数据库

4.1 分布式内存数据库技术

分布式数据库是在传统数据库技术与网络技术相互结合的情况下产生的，分布式数据库在物理空间的分布方面具有分散性，在计算机网络中的各个节点中进行分布，但是在逻辑方面具有同一性，是同一个系统中的数据结合，分布式数据库系统架构如图1所示。分布式内存数据库技术的特点包括：对具备物理空间自治性与逻辑全局共享性；第二，数据的冗余性与数据的独立性；第三，系统的透明性等。分布式数据库管理系统所采用的控制方式为全局控制集中、分散与部分分散方式；分布式数据库管理系统的主要组成部分包全局数据库管理系统、通信管理、全局数据字典、局部场地数据库管理系统等；分布式数据管理系统的主要功能包括局部应用的执行、局部数据库的建立与管理、场地的自治、全局事物的协调、分布透明性的提供、局部数据库管理系统的协调、更新的同步等。当前，数据库技术发展最为明显的特征为实现了数据库技术与网络通信技术、人工智能技术与并行计算技术之间的渗透与融合。

图1 分布式数据库系统架构

分布式内存数据库管理系统中，需要满足的要求包括：第一，各个网络节点中做包含的内存数据库要保持自治性；第二，内存数据库要实现集群化特征，通过垂直切分策略、读写分离策略及水平切分策略等实现海量数据的存储；第三，注重多种数据切分方式的结合，总体上采用垂直切分策略，在此基础上采用水平切分策略，依据应用与数据的具体情况选择不同的切分方式；第四，各个节点内存数据库之间要实现相互协调，所有的节点数据库都能够用作其他节点的服务端；第五，数据分布要保持一定的透明性，对数据的分布性与数据库的协调性进行满足，对物联网海量数据实时处理需求进行满足。第六，内存数据库必须具备持久性，如果内存数据库中的数据出现了变化，需要将这些变化复制到磁盘数据库中，通过两级数据库确保其持久性。

4.2 分布式实时数据库技术（DRTDBS）

分布式实时数据库技术是以云技术为基础的，其架构图如图2所示。分布式实时数据库技术指的是将数据库技术与云计算技术之间进行相互的融合，利用分布非常广泛的云计算中心服务器建立分布式实时数据库，实现数据库规模的可扩展与可伸缩，实现数据库管理系统的可靠性与可维护性。分布式实时数据库技术中主要的功能包括数据检索与处理压缩、数据存储虚拟化、内容分发网络、冲突处理、事物调度、负载均衡、故障监察、故障恢复等。

图2 分布式实时数据库架构

在分布式实时数据库的构架中，数据采集器与数据库服务器节点服务部件在进入分布式通讯服务平台是都是通过平台的中间件接口来完成的，在分布式通讯服务平台中实现与其他服务组件之间的交互过程。分布式实时数据库中的组件都是通过服务的方式实现与其他功能部件之间的连接与调用，从而能够自由的、高效的进行数据交互。此外，组件在分布式通讯服务平台中还能够实现与其他接入平台的节点进行通讯连接，分布式通讯服务平台接口还能够实现数据收发的功能。分布式通讯服务平台利用平台内部所具有的缓冲队列与异步调用机制，实现了无论接收节点处于何种状态，节点都可以进行数据发送，接收节点在数据接收的过程中采用信息回调方式。分布式数据存储平台如图3所示。

图3 分布式数据存储平台

数据采集器、数据服务器所需要的数据存储服务、数据检索服务的各个组件在云计算的基础之上接入到分布式通讯服务平台中，最终形成的统一的数据库存储服务与数据库检索服务，同时这些服务还能够对外进行提供，改变了传统的单台实时数据处理服务器所具有的孤岛模式，实现了分布式数据存储功能与数据检索功能系统的去中心化与对等化。不同的数据采集器或者是数据服务器对数据进行采集，并将采集获得的这些实时数据通过服务平台进行发送，最终发送到统一的数据存储服务功能模块中进行存储。客户端通过分布式通讯服务平台的接口或者WEB服务器与通信服务平台进行连接，向统一数据查询服务器提出数据查询服务的申请并进行查询。服务器节点通过分布式通信服务平台向其他的节点进行数据的发送，如果数据发送成功，则意味着数据写入成功；当接收节点接收到数据之后，在接收的过程中需要利用毁掉接口来完成。

5 结束语

本文在研究物联网海量数据特征的基础上对物联网海量数据处理关键技术及物联网实施数据库要求进行了列举，重点分析了分布式数据库技术与云技术实施数据库技术在物联网海量数据处理过程中所发挥的作用。首先，分布式内存数据库系统中包含多个节点数据库，这些节点数据库都保持着一定的自治性、数据分布性与数据库协调性，与数据分布所具有的透明性相互结合之后能够实现数据库平衡改进，更好地满足了物联网海量数据实时处理的要求。其次，分布式存储技术与云计算技术的相互结合形成了分布式实时数据库技术，多个数据采集器与数据服务器的数据存储部件与数据检索部件在云服务平台的基础上形成短路数据存储与数据检测服务，能够更好地满足物联网海量数据处理的要求。通过对基于物联网海量数据处理的数据库技术分析与研究，对物联网应用领域的延伸与推广提供了推进作用，进一步促进了海量数据的进一步挖掘。

参考文献：

[1]魏笑笑.基于RFID的物联网技术在农产品安全领域中的应用研究[J].安徽农业科学，2011（54）：15150-15152.

[2]刘书伦，程亚维.基于物联网技术的产业集聚区服务平台研究[J].吉林工程技术师范学院学报，2014（53）：88-90.

[3]朱洪波，杨龙祥，金石.物联网的协同创新体系与智慧服务产业研究[J].南京邮电大学学报（自然科学版），2014（01）：1-9.

[4]黄健，冯暄，翁凯.DCQD：一种物联网高性能数据采集平台的设计与实现[J].四川大学学报（自然科学版），2014（42）：707-712.

[5]袁磊，赵俊三，李红波.物联网空间数据仓库框架体系及关键技术分析[J].地理信息世界，2013（43）：58-62+80.

[6]韩海雯，齐德昱，封斌.基于云计算与物联网技术的港口物流综合服务平台架构研究[J].计算机科学，2013（48）：232-235+261.

[7]张桂刚，毕娅，李超.海量物联网数据安全处理模型研究[J].小型微型计算机系统，2013（54）：2090-2094.

篇5

0 引言

目前，it业界和学术界一致认为，物联网技术将带来世界信息产业发展的第三次浪潮，国家“十二五”规划也已明确提出将物联网产业作为新兴战略产业。无论是在企业界、工程界还是在学术界，物联网研究和应用都受到了前所未有的重视，面对如此良好的发展契机，作为全国的首批示范性高职，我校对该领域的发展也非常重视，并已开始筹建物联网专业。物联网专业相关的的课程建设，是专业建设的一个重要基础，是培养合格的物联网专业人才的一个必备条件，因此物联网课程的建设就成了一个极其迫切的任务和亟待完成工作。本文以我校物联网专业的核心课程《物联网数据处理技术》为落脚点，探索适用于高职的物联网课程建设方案，对于其他同类的课程的建设也有一定的借鉴意义。

1 课程建设的知识点涵盖与难点

1.1 课程建设涵盖的技术领域

物联网是通过新一代的it技术（如rfid射频识别技术、zigbee技术、云计算技术等）将传感器装备或者嵌入到全球各行各业的物体中，通过相互之间的链接形成“物联网”，然后通过云计算技术和超级计算机对收集到的海量数据进行处理和分析，达到对物体智能化管理和控制的目的。

物联网中的个体通过感应器来感知信息，然后通过中间传输网来传送信息，最后在数据处理中心进行智能处理和控制。随着物联网技术的广泛应用，我们将面对大量异构的、混杂的、不完整的物联网数据。在物联网的万千终端收集到这些数据后，如何对它们进行处理、分析和使用成为物联网应用的关键[1]。

因此，物联网信息数据处理涉及到物联网通信数据结构、zigbee协议算法设计和实现、ipv6技术、中间件技术、后台数据库技术、数据挖掘技术和云计算与海计算技术。而就这些的技术相关的课程有《计算机网络及ipv6技术》、《数据结构》、《数据库》、《算法设计》和《面向对象的编程技术》。其中我系开设的《物联网通信技术》课程就可以解决ipv6技术的问题，在该课教学中不再重复。

1.2 课程建设的难点

考虑到该门课程涉及的技术领域，我们将讲授物联网通信数据结构、zigbee协议算法原理与实现、z-stack原理和实验部分，以及部分物联网中间件技术和云计算技术的相关内容。与四年制普通本科院校相比，要涉及这些内容所开设的课程有《数据结构和算法》、《面向对象的编程技术》、《中间件技术》、《传感器信息融合云与计算技术》，由此可见需要开设的科目多而且内容理论性很高。特别是《中间件技术》、《传感器信息融合与云计算技术》这两门课，均是大量的理论推导计算，通常在本科高年级或者研究生阶段才讲授。由于我们的同学在校学习只有两年，该课程将在大二第二学期开设，很多同学的知识也仅限于模电数电c语言，如果大量的讲授抽象的中间件技术、传感器信息融合与云计算技术，很多同学会很难听懂。同时高职学生的培养特点是加强他们应用和实践的能力，所以大量讲解理论的效果会是事倍功半[2-3]。

2 课程建设的具体实施过程

结合我系对物联网专业学生的培养定位和学时分配，在充分考虑考虑课程技术内容和重难点的基础上，我们课程的重点放在数据结构和算法编程实践上，让学生在实践中学习，在编程中理解一些基本的数据处理方法和物联网数据结构，做到实践中有理论，理论和实践相结合。在pc端的编程，我们采用dev++的编译环境，侧重于常用数据结构的编程与理解，这部分内容是课程学习的基础，占到总课时的35%。在嵌入式和物联网的技术方面，我们的技术落脚点选择在了z-stack上。借助于z-stack物联网实验平台，学生可以学习到物联网技术领域中常用的数据处理技术，同时有了数据结构的基础之后，就可以对z-stack协议栈中的算法实现和数据结构有更深的理解。该部分的内容占到总课时的35%。对于云计算和中间件技术，我们在课程中主要是以概念介绍和学生调研、小组汇报的方式进行学习，该部分的内容占到总课时的10%。最后我们针对课程开发了一个物联网的实训项目，主要以智能家居为切入点，技术内

容涉及到上位机使用、数据存储、物联网节点和协调器的调试和网关的设置，该课程的内容占到总课时的20%。该项目对前面的内容进行总结和具体实现，突出学生在做中学，弱化纯原理性的学习，突出实践性和学生对数据处理内容体验。

3 效果与结语

考虑到高职学生在校学习该课程在国内目前缺少相关的教材，我们在整合和相关技术内容后，完成该课程素材、ppt以及程序实现部分。与此同时，我们引导学生积极查阅图文资料，并借助于互联网络来积累项目素材和问题的解决方案。在教材编写的过程中，我们积极利用现有的实验平台和多媒体技术，同时在课程建设过程中让学生也参与进来，多听取他们的学习感受，在第一轮教学实践中取得了良好的效果。同时我们在课余时间积极鼓励学生多学习、多思考，并带领他们到物联网企业了解实践，把所学的技术直接应用到实际的开发中去，不断加强专业本领，为将来就业打下坚实基础。

【参考文献】

[1]罗剑.高职院校《无线传感网应用与实践》课程建设的探索[j].科技信息，2012（34）.