AIoT时代，迎来万亿级边缘智能新风向
随着越来越多的物联网设备在各个行业场景加速部署，边缘计算的重要性日益凸显，数字化、智能化持续加速，AI算法的运行也正在从云端下沉到边缘节点。
据IDC预计，到2025年，全球将有1500亿个终端设备接入网络，其中超过70%的数据将在网络边缘侧被结构化处理。边缘计算需求将大幅提升，行业智能化市场规模将达万亿级。
但当前AI产业尚在早期阶段，产业链分工并不清晰，整体成熟度仍待提高，特别是AI算法从云端向边缘端的迁移部署环节过程繁杂，大量AI科技初创公司的模式是从算法出发，寻找到一个场景，然后做全栈工程化，包含了底层芯片及硬件的选型甚至自研，数据采集、算法训练、优化、部署，甚至业务SaaS开发。一家公司从芯片做到云的烟囱式垂直化，兼容性差、不具备规模效应成本高，解决好这一行业痛点是实现AI在各行业规模化应用的关键突破口。
引导协同分工的产业生态，对促进产业链的整体发展，实现“AI赋能百业”至关重要。36氪近期接触到OPEN AI LAB(开放智能)，该公司专注边缘智能计算及应用，提供边缘AI计算框架与AI应用开发及部署平台，助力边缘计算的行业+AI解决方案落地，加速产业的智能化。
边缘AI计算框架Tengine助力解决边缘部署的核心挑战
海量的差异化场景和智能化需求带来了万亿级AIoT市场机会，AI在边缘侧的应用部署痛点日益凸显：
1、芯片及硬件多样性使得前端适配兼容问题凸显：由于对性能、接口、功耗、价格、可靠性、环境适应性等因素的要求千差万别，边缘AI芯片及硬件百花齐放。大量国产化芯片的机会涌现，特别是NPU及RISC-V架构的推进，多样化的同时也是碎片化。目前缺乏统一的中间层及平台接口，使得跨硬件向上兼容成为难点;
2、软件层面的训练框架多样性使得模型迁移效率问题显现：在云端服务器上训练好的AI算法模型迁移到算力相对受限的与服务器端不同架构的前端边缘节点过程中，算法开发人员需要做大量模型量化、优化到甚至算子、汇编指令层面，过程繁杂，更非所擅长。
这些问题一方面使得芯片公司不仅需要在芯片层面不断提升算力(以备部分的浪费)的同时，还需要向上延伸提供各种配套AI应用开发的SDK工具，帮助AI算法及应用开发者有效利用芯片算力，另一方面导致算法公司为了避免云端模型迁移到边缘侧出现性能差、精度低的问题，大量成本和时间投入到边缘侧底层的适配优化。
边缘AI计算产业链亟需将算法和芯片高效连接的开放兼容的中间件。OPEN AI LAB自2017年开始设计开发边缘AI计算框架Tengine，目前向下兼容几乎所有主流国产智能芯片，向上支撑所有主流训练框架及网络模型，在业内遥遥领先。
OPEN AI LAB创始人兼CEO金勇斌向36氪表示，Tengine之于AIoT，犹如Android之于移动互联网，上层应用程序与底层硬件无须相互熟悉也能默契配合。从此，开发算法应用不用再关心底层芯片，如同开发App可以不关心是哪款手机，Tengine致力为国产智能芯片建立兼容的边缘AI计算开发者生态，打造AIoT时代的“Android”!
大幅降低开发门槛，OmniMaster帮助企业轻松搞定AI算法从云端训练到边缘部署
算法模型在部署到边缘设备之前，先要在服务器端完成数据标注清洗、模型训练、针对边缘节点上的芯片做精度量化优化、性能评测等一系列流程后，再将算法向前端边缘设备部署。行业场景千差万别，同一类型场景在不同地方的数据都不尽相同，行业企业要维护数据的私密性和安全性，不能外传，对数据内容具备知识上的专业性，但不具备开发算法、清洗标注、完成训练、量化优化、边缘部署中的一项或多项技术能力，所以行业+AI推进节奏较慢，成本偏高。
工欲利其事、必先利其器。OPEN AI LAB在Tengine之上进一步推出了AI应用开发及部署平台OmniMaster，做为自动化工具帮助客户实现从场景确认、数据处理、模型训练、量化优化、边缘部署的闭环，帮助缺乏AI基础的企业点点鼠标实现场景+AI落地，商业模式有授权和订阅模式，交付内容基于客户需求可包含工具、源码及商业服务。
过去几年，设备制造与方案商陆续将人脸、车牌等目标类别相对固定的算法固化到IPC(网络摄像机)或边缘盒子中，实现硬件与软件一体化。这种预装算法的“功能机”方式应用到行业场景后，预先训好的算法容易水土不服。相比于各类事先预置固化算法的“边缘智盒”、“边缘超脑”，基于Tengine开放框架的边缘智能节点支持第三方算法可像App一样后装，算法运行后与OmniMaster联动基于现场数据迭代学习、持续提升精度，算法通过“适应”现场数据“成长”。
多行业多场景AI应用落地案例
OPEN AI LAB为边缘AI计算而生，以智能化万物为使命。基于开放的边缘AI计算框架Tengine建立广泛的合作伙伴及开发者生态，以AI应用开发及部署平台OmniMaster持续赋能行业客户实现快速部署。以下列举了一些行业应用案例。
驾驶员行为检测。为了司乘安全，车辆配备DMS(Driver Monitor System，驾驶员监控系统)，通过摄像头获取车内和车外的视觉数据，面向车内实时监控驾驶员和乘客的状态，面向车外识别是否有闯红灯、压线等违章行为。此类场景，各种算法实时运行在低功耗AI算力有限的车载DMS盒子上，算法要能跑得上(兼容性)、跑得动(有实时性)、跑得准(精度损失小)。Tengine很好地解决了这一问题。某出行服务企业选用Tengine为DMS的底层框架，兼容多种芯片，平均实现性能50%以上提升，部分硬件的能效比提升100%以上。
某企业的智慧停车管理系统基于Tenigne框架的边缘智能节点对路边的停车能够识别出车牌、车型、颜色、车内人脸等420多种车辆及车辆附属品。同时，基于路边立杆的视觉方案，能够实现动态实时智能路边停车管理，无需地磁传感器的复杂施工方案，就能够以高性价比完成自主停车、识别、缴费的全链路解决方案。 钢铁冶金行业，基于Teninge的边缘AI服务器实现，在生产安全方面，对钢包的红外热成像检测、对天车挂钩进行监测等，自动安全预警和辨识危险;在质量监控方面，对钢包洁净度判断、对铸坯缺陷识别等，更智能把控质量;在物流调度方面，用机器视觉代替人眼识别，无需人工去现场观察确认钢包号、板坯号、钢卷号等，智能识别提升无人化水平。
智能穿戴和家居领域，基于Tengine加速的本地命令字识别算法可在极小的微控制器(MCU)上运行，客户可以根据通过OmniMaster平台基于自身需求采集针对性的语音数据、自动化训练，一键下发，快速赋予MCU以语音能力，部分智能家电品牌企业正基于此技术将本地语音命令应用在智能穿戴、智能家居、陪伴玩具等产品上。
此外，为了未来的开发者-在校大学生-通过使用Tengine/OmniMaster，学习、理解、掌握计算机视觉与语音识别技术的开发和应用创新，OPEN AI LAB还向教育行业推出了EAIP(Edge AI Innovation Platform)，EAIP将行业真实案例带入学校，老师基于EAIP实现行业+AI技术创新研究与应用，学生基于EAIP理解与掌握行业+AI应用技能。
目前，已有近30家智能芯片厂商与OPEN AI LAB在Tenigne上深度合作，包括晶晨半导体、瑞芯微、全志科技、地平线、寒武纪、飞腾、龙芯、、赛昉科技、芯来科技、平头哥半导体等等，实现在Arm, MIPS, RISC-V等各类CPU及NPU上对上层算法兼容。作为ONNX官方成员，Tengine支持PyTorch，也兼容TensorFlow, Caffe, Paddle Paddle等流行的训练框架;计算机视觉上，支持Yolo等多种网络模型的各种版本，与OpenCV社区形成战略合作。
OPEN AI LAB创始人金勇斌向36氪总结到，从2018年开始，他和团队跑过油田、下过钢厂、蹲过猪圈、飘过海洋... 去过的现场越多，越觉得AI不能"阳春白雪"，要能"乡里巴人"!行业场景各不相同，同一类场景在不同的地方数据也不尽相同，要在千差万别中满足"实用、易用、不贵"的客户最共性诉求，必须要有角色分工，有专注做芯片的，有专注做框架与平台的，有专注做算法与方案的，有专注做系统集成与部署的，既合作也竞争，满足客户差异化需求。而不是，不要人人都想要成为华为或Nvidia。
创立OPEN AI LAB前，金勇斌先后在两家世界顶级芯片公司担任技术、市场、管理等角色近15年，深知商业落地与人走路一样要靠两条腿，一条商业模式，二条工程技术(Engineering)。如果商业模式选择错了，技术再好也不能为客户持续创造价值。在芯片设计行业，1990年代的DEC公司从技术上能吊打所有竞争者，后来还是没了。每个行业都有类似的例子，市场环境变化时业务的战略选择出了问题，技术再好都没用。
Arm联合创始人前总裁Tudor Brown的一句话他至今记忆犹新：arm崛起的首要原因是商业模式，其次才是低功耗处理器技术。纵观当年的Intel转型，今天的RISC-V崛起莫不如此。
生态思维是协作共赢思维，通过产业链上下游分工协作即能满足客户的多样性需求，又能降低客户的获得成本。OPEN AI LAB聚焦边缘AI计算框架与AI应用开发与部署平台，与上下游的芯片、算法、方案、系统集成与部署的伙伴分工协作、同行致远。
OPEN AI LAB发展规划
OPEN AI LAB目前100余人，70%以上为研发人员，公司创始人兼CEO金勇斌曾任Arm中国市场营销与生态发展副总裁，拥有有近20年边缘计算软、硬件技术及产品研发、产品管理、市场营销、大客户销售、新业务拓展经验。团队核心成员来自Arm、Broadcom、华为、中兴等芯片与系统公司。