图形商标近似检索知擎者的Milvus实践

✏️  作者介绍&＃xff1a;

王杰&＃xff0c;知擎者数据挖掘算法工程师 

知擎者是一个商标大数据智能应用平台&＃xff0c;以商标数据为核心&＃xff0c;结合企业大数据、法律大数据、营销大数据等&＃xff0c;提供基础业务处理、商标预警监测、案件智能挖掘、数据情报分析等服务&＃xff0c;为知产服务者提效赋能。知擎者不断协助知产服务者改变传统业务处理模式&＃xff0c;创建智慧服务新体系&＃xff0c;拓展更多业务机会&＃xff0c;以达到知产服务者快速盈利和品牌建设的目标。 

近年来&＃xff0c;品牌文化大力发展&＃xff0c;文字商标的注册随之越发饱和&＃xff0c;申请难度越来越大。因此&＃xff0c;越来越多国人开始转向图形商标申请。 

图形商标的申请及监测在代理人&＃xff08;知产服务者&＃xff09;确权业务中占比越来越大。代理人&＃xff08;知识产权服务者&＃xff09;对图形商标查询和监测的需求越发强烈。为此&＃xff0c;知擎者提供以图搜图功能&＃xff0c;协助代理人快速检索近似图形商标。 

知擎者已有近两千万的图形商标图片数据。根据这些数据和卷积神经网络 VGG16 模型&＃xff0c;我们训练出图片特征提取模型&＃xff0c;用于提取图片的特征向量。为了快速将全量图片数据转化成特征向量数据&＃xff0c;我们将特征提取模型及代码分别布置在多台服务器上&＃xff0c;通过请求 flask 获取任务以实现图片数据同步处理&＃xff0c;快速获取特征向量。最后&＃xff0c;由于 Milvus 只能单点上传数据且在数据上传时会同步建立向量索引&＃xff0c;所以我们将特征向量归纳起来统一插入到 Milvus。 

尼斯分类&＃xff08;International (Nice) Classification of Goods and Services&＃xff09;&＃xff0c;由世界知识产权组织&＃xff08;WIPO&＃xff09;提供&＃xff0c;将商品和服务分为 45 个类别&＃xff0c;用于区分商标适用范围[1]。为帮助用户提取不同类别的图形商标图片&＃xff0c;我们以类别为分区标签将特征向量数据分区存储在 Milvus 中。用户只需在客户端上传图片&＃xff0c;程序内部会自动通过同一个模型提取特征向量&＃xff0c;从 Milvus 中查找近似向量的 id&＃xff0c; 获取对应的近似图片。最后&＃xff0c;程序会进一步筛选官方给定的图片内容形容词、图形商标类别以及 Milvus 返回的近似得分等&＃xff0c;将结果返回给客户端。

卷积神经网络 VGG16 模型是一种图片分类模型&＃xff0c;具有简洁易懂、快速精确等优点&＃xff0c;能够适应各种图片尺寸。图片传入模型变化分类如下图所示&＃xff1a; 

VGG16 模型顾名思义是共有 16 个层的卷积神经网络。VGG 各种级别的结构都采用了 5 段卷积&＃xff0c;每一段具有一个或多个卷积层。同时&＃xff0c;每一段卷积的尾部都连接着一个最大池化层以缩小图片尺寸。每一段卷积内的卷积核数量一致&＃xff0c;越靠后的卷积核数量越多 64-128-256-512-512[2]。VGG16 的所有卷积核都是 3*3 格式&＃xff0c;池化层均选用 2*2 的池化核&＃xff0c;因此能够保留更多图片信息。确定向量模型后&＃xff0c;我们通过 Python、Tensorflow 、Keras 等 Python 模块完成了图片特征向量模型训练。 

我们在获取特征向量后需要从海量数据中快速检索近似的特征向量。通过百度、知乎等信息渠道&＃xff0c;我们了解到 Milvus 和 Faiss 两种工具。对比后我们发现 Milvus 比起 Faiss 整体更加便捷。安装 Milvus 时&＃xff0c;我们只需要通过 Docker 拉取镜像&＃xff0c;更改几个相应的参数便能快速完成安装。Milvus 官网提供包含 Python、Java、Golang、RESTful、C&＃43;&＃43; 等多个平台详细而直观的 API 供学习使用&＃xff0c;因此十分便于上手。此外&＃xff0c;Milvus 还支持通过多种索引检索近似向量&＃xff0c;官网上还附有详细的索引介绍。总体而言&＃xff0c;Milvus 操作便捷&＃xff0c;对用户十分友好&＃xff0c;适用于需要控制开发成本的项目。

Milvus v0.10.3 架构如下图所示 [3]&＃xff1a; 

结合了 Milvus 的知擎者以图搜图功能已经正式上线。目前该功能运行稳定&＃xff0c;检索效率可以满足正常使用。效果如下图所示&＃xff1a; 

我们团队仍会持续进行功能优化&＃xff0c;解决例如图形商标颜色区分、文字商标干扰等问题。 

随着商标注册量逐年增长&＃xff0c;图形商标作为企业品牌核心&＃xff0c;其近似检索也会变得越发重要。知擎者团队将不断优化以图搜图功能。当前&＃xff0c;文本、图像、音频等非结构化数据呈爆炸式增长。将非结构化数据通过 Embedding 技术映射成多维向量后再进行检索已成为趋势。Milvus  是一款开源的分布式向量相似度搜索引擎&＃xff0c;具有高性能、易部署等特性。Milvus 能极大节省项目开发成本&＃xff0c;显著提升系统检索性能&＃xff0c;从而满足各种技术和业务需求。知擎者将会时刻关注 Milvus 的优化&＃xff0c;在未来更丰富的业务场景中与 Milvus 再度合作。 

参考资料 

1. 尼斯分类&＃xff1a;

https://web.archive.org/web/20170831234900/http://web2.wipo.int/classifications/nice/nicepub/en/fr/edition-20170101/taxonomy/class-7/?pagination&＃61;no&lang&＃61;en&mode&＃61;flat&explanatory_notes&＃61;show&basic_numbers&＃61;show

2. 卷积神经网络 Vgg16 &＃xff1a;

https://blog.csdn.net/qq_34823656/article/details/92410152 

3. Milvus官方文档&＃xff1a;

https://milvus.io/cn/docs/v0.10.3/overview.md 

4. 知擎者官网&＃xff1a;

https://zqz510.com/ 

更多 Milvus 用户案例

· 基于语义向量的内容召回和短文本分类的错误查找-搜狐的 Milvus 实战

· 贝壳找房基于Milvus的向量搜索实践&＃xff08;三&＃xff09;

· 基于 Milvus 构建的近似最近邻&＃xff08;ANN&＃xff09;搜索引擎

· 我的机器人新同事

github.com/milvus-io/milvus | 源码

milvus.io | 官网

milvusio.slack.com | Slack 社区

zhihu.com/org/zilliz-11| 知乎

zilliz.blog.csdn.net | CSDN 博客

space.bilibili.com/478166626 | Bilibili