某人工智能公司海量人脸图片识别项目

案例背景

警务人像综合平台采用业内首创的“云+边+端”技术架构，以公共安全视频图像的AI人像业务应用为导向，开展以人像为核心的智能识别与分析，实现海量人像的高效检索、精准识别、大规模布控与时空分析。广泛应用于智慧警务、社会治理、行业监管等各类业务场景，提供精准、高效、稳定的AI人像应用服务。支撑平的台底利用软件定义存储技术为平台带来了安全、可靠的存储资源。

深圳某专注于视觉人工智能领域公司，在致力于打造基于视觉芯片、深度学习和大数据技术的“视觉智能加速平台”，为平安城市、智慧商业、工业智造、无人系统、机器人等行业的千家企业提供视觉智能应用解决方案和开发平台。在海量人脸图片识别的应用对数据存储与管理最先提出了新的挑战，公司迫切需要一套稳定安全的存储管理系统支撑业务的快速增长。

解决方案

总体目标：

提供稳定带宽以及高速文件查询，大幅度提升计算任务的IO性能，提高集群的工作效率。

用户需求：

1) 可扩展的海量存储空间

可在业务系统不间断的情况下，通过增加存储节点设备的方式扩展容量至PB级，使得高性能计算集群可以存放大量的计算素材和计算结果。

2) 高性能

能够支持Infiniband网络提供稳定带宽以及高速文件查询，大幅度减少计算任务的数据IO时间，提高集群的工作效率。通过增加IO节点和存储，带宽可线性增涨，满足大规模数据并行读写要求。

3) 全局数据共享

提供单一系统映象，所有IO节点共享同一文件系统视图，使得所有计算节点能即时获取所需的数据，无需进行数据迁移，大幅度提高了集群的使用效率，支持负载均衡，单点故障容错。

采用3节点的PL-XDFS集群构建分布式文件存储系统，配置副本卷。每服务器节点配置12块18TB SATA 磁盘，双副本保护，可用容量118.8TB，满足目前的容量需求。

后续容量增长可通过增加节点方式动态扩容，实现容量和性能的双提升。

采用POSIX 接口通过万兆网络实现存储访问，最高提供大于1.5GB的带宽，满足计算节点集群对数据计算的高性能、低延时的要求