当街边的探头加入云技术 数据分析将更加智能

2017-05-11 15:37:00 作者:徐征 分类 : 比特网

  闪存磁盘数据中心DNA等各种新的存储技术正在不断出现,加之IoT(物联网)行业的发展,致使数据的体量更为惊人。不可否认,这些数据中许多都蕴含着价值,但也不能忽视数据的惊人体量。聚焦在街边的安防探头,这些监控系统产生的数据量更为惊人。我们如何在2020年,面对44ZB这个体量的数据记录存储及运行?以安防探头为例,的解决方案方向应该能够为我们提供一些支撑。

  集成混合智能化算法 快速获取价值

 监控系统产生的大量视频图像数据如果只靠人工来进行处理,效率会非常低,借助于视频智能化处理算法,已经可以从视频图像数据中获取一些简单的特征进行比对,或者进行模式匹配产生报警事件,提高了处理的效率。

  这种方式能够处理的数据量,数据组合的程度,数据的类型等都还处于较低的水平,无法应对海量数据和日益增长的需求。大规模云化的计算技术,目的就是为了提供一种统一的数据处理平台,上面可以集成各种智能化算法和计算模型,综合处理海量监控数据,以更快的速度得到更有价值的数据。

  另外,监控系统产生的主要数据就是视频和图像数据,原始数据经过处理后,会产生更丰富的数据,处理的方式也会有很大不同。比如对于历史视频数据可以在后台处理的视频数据检索,对于卡口的车牌和人脸特征数据需要实时布控,对历史卡口信息需要做到实时检索。这些数据在使用上不同的计算框架进行处理,通过引入统一的资源管理平台,可以在同一个资源池里运行不同的计算框架,大幅提高资源的利用率,同时在资源被某种业务独占时,又能最大限度的发挥系统的性能。

  在很多监控工作中,需要应用到实时检索技术,通过引入分布式数据库,列式存储,内存计算,索引引擎等技术,可以实现应对100亿级别的结构化数据,在存储容量,可扩展性,检索速度等多个方面都可以得到大幅提升。该系统在智能交通、刑事侦查等视频监控领域具备重要的研究价值和广阔的应用前景。

 人脸检索与分布式存储技术应用

  在安防领域,人脸检索工作正在诸多部门得以应用。人脸检索的技术在单台服务器上的应用也已经比较成熟,可以应用在身份鉴别、在逃人员抓捕、可疑人员排查、身份证查重等领域。这些过程的应用,可以分为以下几个阶段:视频或图像解码、人脸检测、特征提取、特征比对,前三个步骤都是每次请求对应一次计算,计算量相对可控,而最后一个步骤特征比每次请求则需要和达亿级的人脸特征进行比对,是运算量最大的一个阶段。

  一些实时应用的请求数每秒钟可达请求数达到数百次,每次人脸比对次数可达百万级别时,则整个系统需要支持每秒亿级的人脸特征比对计算。如此大规模的计算,单机上是无法完成的,必须采用云化的集群完成。这时,可以把特征库全部倒入到内存,在内存中完成计算。

  值得一提的是,安防云的搭建,在系统架构和设计上,充分考虑大规模集群环境下软硬件发生故障的现实,采用先进的管理思想和软件系统,实现对大量普通存储服务器存储空间资源进行虚拟化整合,实现软硬件故障高度容错,搭建高度稳定可靠的存储集群。

  云化的安防监控系统,整体为应用提供统一命名空间,使得系统具备极好的数据共享能力。同时,集群采用高度灵活自组网技术,提供简易部署和维护功能。系统在数据可靠方面,采用智能冗余重建技术,保证较高磁盘利用率的前提下,提供最佳冗余策略。另外,系统在节点软硬件故障容错方面,也进行充分考虑,具备屏蔽所有可屏蔽错误能力。

  当然,今天我们探讨的2017年监控系统云计算核心技术,其系统的整体吞吐率与节点服务器的数量呈正比。因此,在街边安防探头的这个大体量后台,还是尽量希望安防部门尽可能大的完善硬件及架构水准,其运算效率的提升也不是一小点的。

* 本文为ChinaByte比特网原创内容,版权所有,转载请注明出处和原文链接,未经授权请勿用于商业用途。

最近更新
科普

科普图集
互联网+升级到智能+,开启万物智联新时代

互联网+升级到智能+,开启万物智联新时代>>详情

中国互联网消费市场,发展潜力一片大好

中国互联网消费市场,发展潜力一片大好>>详情

邮件订阅

软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯,最新的软件技巧,最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中,与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊!
网络周刊
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一,主要关注x86服务器,RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析,让您第一时间了解服务器行业的趋势。
存储周刊
比特存储周刊长期以来,为读者提供企业存储领域高质量的原创内容,及时、全面的资讯、技术、方案以及案例文章,力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
安全周刊
比特安全周刊通过专业的信息安全内容建设,为企业级用户打造最具商业价值的信息沟通平台,并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比,比特安全周刊运作模式更加独立,对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事,为企业级用户打造重点突出,可读性强,商业价值高的信息共享平台;同时为互联网、IT业界及通信厂商提供一条精准快捷,渗透力强,覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展,全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托,汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台,并持续提供丰富的资讯和服务,探讨信息化建设,推动中国信息化发展引领CIO未来职业发展。
IT专家网
IT专家新闻邮件长期以来,以定向、分众、整合的商业模式,为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容,包括IT新闻、评论、专家答疑、技巧和白皮书。此外,IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊
X周刊是一份IT人的技术娱乐周刊,给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍,同时用户还能参与我们推荐的互动游戏,给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。