一、人脸识别的商用现状

1.人脸识别会员系统

任何一种实体经济，都离不开会员系统。

人脸作为最能代表人身份信息的介质，为无人经济创造了数据入口。

目前，不少高端店面已把人脸识别集成在店铺CRM系统，成功打通会员信息。过去，顾客只有在支付时拿出会员卡营业员才能得知身份。这时候，不少零售店有一新需求：能否在顾客入店时，通过AI系统自动识别其身份，随后通过终端设备提醒服务员：已有VIP会员进入店铺，并以可视化的形式，提供对方的核心信息与用户画像，以便让服务员提前为特需顾客提供优质的服务。

随着人脸识别在远场场景中的成熟，这一构想正在走进现实。

当下，优秀AI公司的静态人脸识别准确率已经高达99%以上，远超人眼。但这只是各种环境友好的前提下：如近距、光照良好、摄像头清晰等等。

而在零售店面属于动态场景，因此要想用好人脸识别，对摄像头有一定要求，不过目前市面上很多厂商都能提供满足要求的高清联网摄像头。

以百度人脸识别应用在线下药店为例，人脸会员识别系统关键在于一块运行Android操作系统的主板，主板会在本地对视频和图像进行去重等预处理，然后再上传到百度的云端服务器进行人脸识别。

之所以在前端先对人脸进行预处理，主要是为了确保人脸信息采集的效率和效果。

在店铺场景，绝大部分商家的网络是普通的家庭ADS宽带网络，带宽非常有限，不可能把所有视频都上传到云端，也不可能安装一两万元的昂贵设备。将大量智能算法放在前端硬件上实现，可大幅降低云端服务器压力。

顾客从入店到离店，期间会产生大量视频和图像。但系统并不会把每一帧图像都上传，而是进行去重处理，可理解为选取一帧优质的、便于识别的人像图片上传到云端。

而将“识别”放到后端则是因为会员人脸库较为庞大，大规模的人脸检索能力，在云端更快地完成万级别乃至百万级别的人脸检索，并在极短时间内实时反馈识别结果，避免会员人脸信息的增加，对识别速度产生影响。

这种前、后端的组合应用方式既确保了识别效果，又尽可能保障了识别效率。

虽然市面上不少摄像头厂商的产品可以满足人脸识别要求的高清度，但会员系统的面临的挑战在于，实际应用场景存在各种各样的复杂环境限制，如现场光照、店内遮挡物、网络条件、摄像头角度等，这些都会影响到识别的准确率。

人脸识别的有效范围则主要取决于可以捕获到的最小人脸，要兼顾清晰度、姿态、光照等条件限制。考虑到实际的应用场景，这主要取决于摄像头本身的能力，不同的场景对摄像头的要求也不尽相同。因此，最终的识别效果，不仅关乎识别技术，还依赖于产品策略。比如，对于强光和夜晚弱光等情况，可以通过调整摄像头位置，确保不逆光、室内灯光正常来满足识别条件。

以普通药店为例，系统一般需要配置3-4个摄像头，安装在店铺入口处，室外1-2个，室内2个。系统识别速度非常快，即使有三五个人同时进店，也只要1-2秒就能全部识别。此外，市场上这类方案同时具备大规模人脸库搜索能力，可支持庞大的会员人脸库查询;具备组件化SDK、接口和配置后台;同时还支持多摄像头设备ID配置管理、端人脸图像输出推送地址配置、人脸过滤与分析策略配置，方便低成本高效集成。

引入系统后，店家可在会员注册环节采集会员的人脸信息，形成会员人脸库。店员征求顾客的同意后，将通过CRM系统的手机客户端拍摄顾客的人脸照片存储到后台。

当顾客再次进店消费时，系统便会实时自动捕获消费者人脸，调用云端人脸识别接口，与会员人脸库进行比对，准确识别出会员身份信息，并实时反馈给商家的业务管理系统，实现业务联动。通过营业助手APP对会员的到访次数、购买记录、消费频率等会员信息快速了解后，在顾客选择商品时，营业员可以提供更科学更安全的服务。

至于常访顾客，则由业务方根据业务需要自行设计业务逻辑和产品方案，决定是否存储人脸图像等信息。

2.非会员回头客识别系统

上述内容谈到的是对会员识别，当然，除了识别已注册会员的顾客外，市场上还有部分供应商，会根据过往的未注册会员的到访与在某些柜台停留时长的历史，为其建立回头客人脸库和用户画像。当非会员第N次进入该店铺时，人脸识别系统可从顾客进店就能识别他的过去留下的“历史”与“个人属性”。

相比而言，会员识别相对简单，因为有会员库，正常抓拍比对即可;但回头客必须与历史库中的海量人脸进行秒级比对，对识别速度和识别准确率均是极其苛严的要求。

重点服务长访客，对于线下实体店铺从提升销售额的角度来看，有一关键维度：提升客户转化率。

3.实体店刷脸支付系统

人脸识别除了可应用在会员识别与回头客识别系统中外，支付也是极佳的落地场景。

两年前，马云第一次在汉诺威电子展的大屏上向全世界演示“刷脸支付”技术，引得满堂喝彩。当时很多实体商家期待马上就能使用之际，“刷脸支付”却迟迟未能走向商用。两年间，新技术和新概念层出不穷，但“刷脸支付”的最新进展仍然时刻牵动着人们的神经。9月1日，支付宝在肯德基的KPRO餐厅上线刷脸支付，正式将“刷脸支付”推向了商用。

刷脸支付的具体步骤如下：

在自助点餐机上选好餐，进入支付页面;选择“支付宝刷脸付”，然后进行人脸识别，大约需要1-2秒;再输入与账号绑定的手机号，确认后即可支付。支付过程不到10秒。

已经进行支付宝实名认证的用户，首次使用“刷脸支付”时，可以直接在支付宝APP上开通该项功能;未进行实名认证的用户则还需要进行人脸验证，建立人脸库信息。

目前，支付宝的“刷脸支付”功能已经能够应对“多人+浓妆+换发型”的复杂场景。

首先，人脸识别从线上迁移到线下，要突破几大难点。与“刷脸登录”相比，“刷脸支付”难度更大。一是支付对安全性要求更高，其次，刷脸支付是在线下公共设备和开放环境下进行，真实场景复杂多变：白天和晚上的光线不同、不同人群面对摄像头的角度和姿势各异，识别难度更高。

因此此前行业里多是在特定场景下内测，未能商用。刷脸支付对安全性和便捷性有着极高的要求，如何同时满足这两个要求，需要解决一系列技术和产品难题。

这时候必须通过软硬件的结合，用智能算法与风控体系综合保证金融级准确性和安全性。

活体检测的作用

在今年的央视315晚会中，主持人使用专业视频处理软件展示合成后的人脸，并通过外部输入控制合成人脸的抬头、低头等动作，成功地对人脸识别进行了破解。因此，确认摄像头前的人脸是“真人”显得尤为重要。以肯德基KPro刷脸取款为例，肯德基在点餐机上配备了3D红外深度摄像头，在进行人脸识别前，会通过软硬件结合的方法进行活体检测，来判断采集到的人脸是否是照片、视频或者软件模拟生成的，能有效避免各种人脸伪造带来的身份冒用情况。

除此之外，市场上也有专用的红外双目摄像头产品，通过同时采集红外光和可见光作为输入数据，通过红外成像、立体成像检测、红外与可见光成像匹配识别，分析人脸皮肤的纹理及微小动作带来的规律变化，实现人脸识别和活体检测。

360人工智能研究院院长颜水成博士曾谈到，相关技术厂商不仅要关注人脸比对的准确率，在涉及隐私、支付等场景使用时，应当将人脸与声纹、指纹、虹膜及其他生物认证信号相融合，多个方面同时发力，从而提高安全门槛，保障用户安全。

目前比较前沿的红外双目专用摄像头解决方案，运用红外双目摄像头，通过同时采集红外光和可见光作为输入数据，结合硬件专用的应用驱动功能，通过红外成像、立体成像检测、红外与可见光成像匹配识别，以及其他保密的技术，实现快速活体检测、人脸识别。综合近红外和可见光照进行活体检测，可以分别进行：红外照与可见光照比较，立体成像检测等，活体检测准确率更高,有效从红外光，立体成像等多种角度进行活体检测，并且人脸识别准确率更高，全面解决了视频、照片、面具等各类攻击，远超单可见光、单红外光的防攻击技术，总体安全性极高。

手机号校验的技术出发点

很多人不理解，为什么肯德基刷脸支付在进行人脸识别后，还需要输入与账号绑定的手机号进行校验?仅仅是为了提高了安全性吗?不止是。

与支付宝相同的是，京东之家的“刷脸支付”也需要输入手机进行辅助认证，但后者只需要输入手机号的后四位。

从技术角度讲，输入电话号码，不仅可增加安全性，同时也增加了准确性。

“刷脸支付”实际上是通过电话号码将1：N的人脸识别问题转换成了1:1的人脸识别问题。在1：N的人脸识别场景中，当人脸库规模达到3000人以上时，对人脸识别算法的识别精度将是一个很大的考验，而且人脸库规模越大，难度越大。

输入全部手机号+人脸识别和刷脸登陆时可看作是1:1识别，不过是先做1：N(识别)再做1:1(识别)。仅输入手机号后四位，虽然本质也是1：N，但通过手机号后四位将N的范围缩小。假设有1亿用户，通过手机号后四位可能把N减小到1万，再通过地域权重，基本可以得到一个比较好的结果。

不少人脸识别厂商称自己的人脸识别库容能做到上百万，实际针对的是1:1人脸识别，即可以做到从百万人脸库数据中，先通过身份证、社保卡或者特定账号从服务器后台提取指定的人脸信息，将此人脸信息与当前人脸信息比对，判读“他”是否与该身份证、社保卡或者特定账号的人脸信息匹配，而不是从百万人的数据库里纯刷脸识别出“他”是谁。

1：N人脸识别的准确率还要加上先决条件——Top N。因为人脸识别的输出结果是“相似度”，也就是识别的是一张人脸和另一张人脸的相似程度，而不是“绝对值”。在公安的被动查询场景中，只要TOP20、TOP50中有一个比较好的准确率就已经表现不错，实现起来相对容易。而在支付场景中，要实时分析这个人到底是不是账户的主人，就要求TOP1有很高的准确率。

提高识别准确率主要有两种途径，一是从理论的角度，不断提升算法;二是从产品和工程的角度，尽量在不打扰用户的情况下缩小N值。由于“刷脸支付”的误差率要控制在十万分之一甚至百万分之一以下才有商用价值，前者的可行性较低。支付宝和京东采取的都是后一种做法，更多是属于产品策略上的创新。

二、商品检测与识别

零售的本质是构建人与货物的关系，人脸作为人独一无二的身份信息，在很多环节能为零售起到销售支持。而商品作为与人在零售场景中产生关系的物体，同样是智能无人技术需要攻克的地方。

1.基于AI的商品检测与识别

Amazon Go最大的亮点是顾客拿走或者放回物品的同时，用户手机里的系统(该系统与Amazon Go商店的信息中枢无延迟地同步进行更新)会自动更新清单，然后用户直接离开商店即可。

此前亚马逊提交的两份核心专利：“侦测物体互动和移动”和“物品从置物设备上的转移”，就是利用软硬件，围绕商品的检测和识别展开。

一般而言，如果从顾客的角度来判断购买行为显然会非常复杂，但从货架的角度来看就要简单得多，此时的核心动作只有两种，即拿走或放回，Amazon Go是如何做到的呢?

首先货架前的摄像头会采集用户手在进入货架平面前的图像，当用户手在货架上拿上商品离开时，此时的图像亦会被采集，然后将两次采集的图像进行对比，判断出用户是拿出货物还是放入货物。确认了物品的拿出与放回，这可看作商品检测环节，其次就是识别：知道哪些商品被拿出或者放回。

对被拿走的商品，可分两种情况，即物品处于原本所在的位置上，此时商品直接被标识于系统中，只需利用传感器即可感知到该物品被拿走;当商品与原本位置不一致时(通过图像识别该位置与现有商品不一致时)，尽管Amazon Go系统会对错放商品进行图片对比检索(与数据库内的图片进行比较)识别，但Amazon Go此时往往无法很好地对商品进行识别，这是AmazonGo的一个BUG，当然出现这种情况时，Amazon Go会提醒工作人员将商品放回正确的位置了。

最后，Amazon Go内的商品是如何实现与人关联的?这就需要依靠室内定位技术。Amazon Go定位依靠的是图像分析以及音频来实现，首先通过店内的摄像头检测用户及其方位，同时商店货架或者天花板内的多个音频根据各声音时差分析出用户的位置，此外，用户手机的GPS以及WIFI信号亦能协助定位的实现。

Amazon Go目前定位上存在一些技术问题，比如较多顾客拥挤在一个区域时，此时的图像分析会对系统GPU形成高负荷，而其他定位技术亦会因精度问题导致误差，此时定位的可靠性会大打折扣，这也是后续Amazon需要持续解决的问题。

Amazon Go采用的机器视觉识别、深度学习算法和传感器融合等技术都是目前最前沿的新兴应用技术，Amazon在无人商店领域的技术积累可谓全球领先，但正是这些领先技术的加持，使得Amazon Go造价不菲。据悉，一个Amazon Go可能需要千万美元级别的投入。

2.基于RFID的商品检测与识别

目前市场上鲜有能做到像Amazon Go这样“即拿即走”的购物模式，但这种体验背后的代价就是超高成本、复杂、容易出错等问题。相比而言，基于RFID技术的方案相对简单也更可靠。

市面上不少无人便利店内商品包装上皆贴有RFID标签，避免了像Amazon Go那样需要进行复杂的图像识别过程，但也可以起到节省人力的作用，不失为向第一类“无人零售店”过渡的一种办法。

RFID工作原理主要是通过射频信号自动对目标对象进行自动识别并获取相应的数据，工作运转过程全程自动化无需人工干预，是一种非接触式的自动识别技术。

从概念上讲，RFID类似于条形码技术。条形码技术是将条形码信息依附在物品上，通过扫描枪对物品上的条形码进行扫描，从而获得物品的信息。而RFID技术将RFID标签依附在物品上，通过射频信号将标签中的信息读取到RFID读取器中，从而获得物品的特有信息。相较于传统的条形码，RFID技术优点如下：

快速扫描：RFID辨识器可同时辨识读取多个RFID标签，相比之下，条形码每一次只能有一个条形码受到扫描。

穿透性和无屏障阅读：在被覆盖的情况下，RFID能够穿透纸张、木材和塑料等非金属或非透明的材质，并能够进行穿透性通信。而条形码扫描机必须在近距离而且没有物体阻挡的情况下，才可以辨读条形码。而“无人零售店”之所以能做到无人收银，也主要是利用了RFID技术的这一特点。

数据的记忆容量大：一维条形码的容量是30个字符左右，二维条形码最大的容量可储存2至3000字符，RFID最大的容量则有数兆字符，随着记忆载体的发展，数据容量也有不断扩大的趋势。

体积小型化、形状多样化：RFID在读取上并不受尺寸大小与形状限制，不需为了读取精确度而配合纸张的固定尺寸和印刷品质，不像条形码容易产生形变和破损等问题而导致无法识别。此外，RFID标签更可往小型化与多样形态发展，以应用于不同产品。

RFID技术相对已经较为成熟，但是RFID信号遇到液体、金属易衰减屏蔽，黏贴麻烦易被撕毁，尺寸和感应距离难协调，成本也不低。

RFID的四大技术硬伤

RFID方案饱受诟病的就是成本较高。不过近年来，随着技术发展和应用场景增多，RFID标签的成本已有所下滑，RFID标签单个成本约在五角钱左右。

其次是漏读。在实际体验过程中，当消费者把所有商品放置在感应区时，商品自然堆积在了一起，此时系统只识别出了四件商品。如果把多件商品均匀摊开，系统这才识别出所有商品。之所以会出现漏读现象，是因为芯片和天线之间没有发生接触。解决的途径主要有三种：一是提高标签的灵敏度，降低标签的最小唤醒功率;二是增加读写器的信号强度;三是改善信号场的设置，通过机电协同，避免死角的出现。

少部分商家采用超高频方案，而绝大部分公司则采用的是高频方案。相对于其他频段的RFID技术，超高频RFID具有一些显著的技术优势：

灵敏度高：灵敏度决定了识别的商品的距离。

采集数据的速度最快：高频和低频RFID采集数据的速度是以秒为单位计算，而超高频的识别速率则是毫秒级的，可以带来更好的用户体验。

多标签的数量：低频和高频RFID同时识别的标签数量局限性较大。

成本低：超高频RFID标签的成本要比低频和高频低50%甚至更多。前者的起步价为几毛钱，后者的起步价则为几块钱。

但国内拥有成熟超高频RFID方案的厂商少之又少。

第三是速度。结算完毕后，顾客需要带着已买单的商品经过一个感应区，感应区会自动识别是否有未支付的商品。如果没有，系统就会提示顾客推门离开，整个过程耗时约5秒。而随着顾客购买的商品数增加，即使系统能够准确识别，耗时也将进一步增加，严重影响用户体验。

第四是止损。无论对于大型商超还是小型便利店，止损都是一个亘古不变的难题。止损率的轻微浮动对于零售行业来说都是致命的，而无人零售面临的止损问题更是极为严峻。采用RFID方案的无人便利店面临的止损挑战主要来源于两方面：一是顾客恶意损毁RFID标签;二是顾客刻意屏蔽标签的信号，比如用手或锡箔纸遮挡标签。

RFID如何更好的发挥作用?

虽然RFID单一技术并不能解决无人零售场景中的所有问题，但它仍有存在必要，而且拥有许多机器视觉并不具备的优势，比如实时监测库存和商品的热力分布。

未来商业的一大趋势就是数据的实时化和智能化。RFID实时、精准获取海量数据的能力，如果能够结合高效的数据分析系统，就可以为C、B端的协同和供应链优化提供有力的数据支撑。

图像识别或者说商品识别只是无人零售这个新兴行业最前置的环节，不代表整个无人便利店的技术体系。缤果盒子目前正在摸索的是无人便利店后端的管理模式，即“高效地进行突破，精准定位到个体”。

多技术混合：多技术融合是未来无人零售解决方案的发展趋势。

海外有些项目通过一个具有RFID功能的读取器和带有商品二维码的安全扣以及具备自主结账功能的系统来实现。

首先，顾客把想要买的商品放到专用的读取器上，读取器会识别这些物品并将价格和税款显示出来;然后，系统会询问顾客是否想要纸质的小票，或者直接email给他;在顾客付款之后，还要把安全扣放入一个小槽里面来解锁。如果这是一个已经买过的商品，安全扣则自动被解锁。

具体场景对应具体方案：即技术的发展必须牢牢贴合实际应用场景。无人便利店是一种全新的零售业态，此前RFID厂商并未有针对性地为这一场景设计产品。未来积累了一定经验之后，应用RFID方案的无人便利店还有望得到进一步优化。

另外，在某些特殊场景中，RFID技术也能扬长避短，充分发挥其价值。比如应用于很多餐厅的RFID自助结算餐台。

RFID自助结算餐台配备了多种色彩的餐具，每一种色彩对应一个价格，碗碟内置RFID标签供餐台读取价格信息进行结算，一小时可以完成上千人次的自助结算，仅需一名操作员站在设备后维持结算秩序即可，大大提高了结算效率。

无人零售对整个行业来说都是一个全新的命题，不管传统企业还是初创公司都还处于探索阶，还在不断尝试和验证各种技术的可行性。小空间的亚马逊方案可能会再次出来，但是商业化确实很难。RFID方案会被放弃，自助扫码的方案会存在变种。