热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

读手语图像识别论文笔记2

文章目录一、前言二、笔记1.名词解释2.流程分析上一篇快速门:读手语图像识别论文笔记1(手语识别背景和方法)一、前言一句:“做完了&#x

文章目录

  • 一、前言
  • 二、笔记
    • 1.名词解释
    • 2.流程分析


上一篇快速门:读手语图像识别论文笔记1(手语识别背景和方法)


一、前言

一句:“做完了,被推翻了,算法不过关。” 的叹息,表达出 “毕设狗” 的内心活动。

故事背景: 我的毕设题目是《基于机器视觉对手语进行识别》方面。

Two days ago:我毕设快要完成,效果不理想,寻找解决方法。
在这里插入图片描述
再怎么讨论都不如读paper寻找思路强!读他!

二、笔记

1.名词解释


  1. 连续中国手语图像

    图像分为连续图像和离散图像两类,

    连续图像是指在二维坐标系中具有连续变化的空间位置和灰度的图像。连续图像的典型代表是由光学透镜系统所获得的图像,如彩色照片、航空摄像片等,用眼睛观测连续图像时感觉自然。
    在这里插入图片描述 在这里插入图片描述
    (易误区:并不是只有视频才是连续图像,图片也是连续图像。)

    离散图像则以一定网挣为周期,把×、Y坐标轴划分为棋盘式的网格,仅取离散的各个交点位置上的灰度值,构成的图像称为离散图像,也称采样图像。印刷图像其实就是离散图像,电脑图像和扫描图像也是离散图像。

  2. 快速鲁棒性特征
    SURF(Speeded Up Robust Features,加速鲁棒性特征)是对SIFT特征的进一步优化,Sift采用的是DOG图像,而surf采用的是Hessian矩阵行列式近似值图像,也写作DOH算子。
    在这里插入图片描述

    SIFT(ScaleInvariant Feature Transform,尺度不变特征转换)根据图像尺度不变性、旋转不变性 得到特征点,匹配:
    在这里插入图片描述

    可参考:Python+Opencv2(三)图像特征匹配

  3. 隐马尔可夫模型
    HMM(Hidden Markov Model)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。

    简单来说就是:已知状态–预测–>未知状态

    原理参考:【HMM】入门天气数据集实验–理解隐马尔可夫模型
    实例参考:1 | 2

    HMM如今被大量使用在音频处理上,手语视频和自然语言相似,都具有连续的特点。
    在这里插入图片描述


理论推导 部分 我太菜了,可面向Google 和百度理解学习,我怕我自己都说不明白。


2.流程分析


  1. 词袋的提出
    BOF( Bag Of Features)即词袋图,是一种用于图像或视频检索的技术,把每幅图像描述为一个局部区域/关键点特征的无序集合。

    左图为 词根 示例,右图为 “学校” 手语演示(由“读书”、“房子”两个手势表达而成)
    在这里插入图片描述 在这里插入图片描述
    两篇论文都提到从中国手语辞典里整理出 “词袋” ,再用HMM创建模型进行识别。

  2. 词袋的制作
    (1)特征点的提取:

    • 《面向大词汇量的连续中国手语识别系统的研究与实现_王春立》这篇论文中采用的是通过两只CyberGlove数据手套和带有三个接收器的跟踪设备进行采集特征集合。
    • 《基于快速鲁棒性特征和隐马尔可夫模型的手语识别_陈梯》这篇论文采用的是surf提取手势特征点。

    可见特征点提取的方法不唯一,最终得到的都是每种手势的特征集合。

    (2)词袋BOF的制作:
    通过聚类法(k-means),将以上提取的特征进行分类。《基于快速鲁棒性特征和隐马尔可夫模型的手语识别_陈梯》这篇文章中采取的做法是:
    在这里插入图片描述
    左图为鸢尾花数据集k-means分类,右图是我对6种手势特征分类效果,根据不同的分类获得词袋关键词特征。
    在这里插入图片描述在这里插入图片描述
    当然分类方法也不唯一,权重和参数的设置也很重要,划分特征点集合,让他们具有代表性和可识别性。

  3. 手势分类和识别
    根据编码辞典建立搜索网络,均采用的是HMM法。
    引用《基于神经网络的中小词汇量中国手语识别研究_李晓旭》这篇文章的测试结果,HMM的识别率可达90%。
    在这里插入图片描述
    当然另外还测试了LSTM法进行测试,LSTM性能会优于HMM。(其中SHS和HOG是特征提取法的两种,SHS特征比HOG特征更适合于中国手语的表达。)

读了这么些文章多少有点思路,可以开始编码了😀。


参考资料:
《面向大词汇量的连续中国手语识别系统的研究与实现_王春立》
《基于快速鲁棒性特征和隐马尔可夫模型的手语识别_陈梯》
《基于神经网络的中小词汇量中国手语识别研究_李晓旭》


推荐阅读
  • 人工智能推理能力与假设检验
    最近Google的Deepmind开始研究如何让AI做数学题。这个问题的提出非常有启发,逻辑推理,发现新知识的能力应该是强人工智能出现自我意识之前最需要发展的能力。深度学习目前可以 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • 树莓派语音控制的配置方法和步骤
    本文介绍了在树莓派上实现语音控制的配置方法和步骤。首先感谢博主Eoman的帮助,文章参考了他的内容。树莓派的配置需要通过sudo raspi-config进行,然后使用Eoman的控制方法,即安装wiringPi库并编写控制引脚的脚本。具体的安装步骤和脚本编写方法在文章中详细介绍。 ... [详细]
  • 开源真香 离线识别率高 Python 人脸识别系统
    本文主要介绍关于python,人工智能,计算机视觉的知识点,对【开源真香离线识别率高Python人脸识别系统】和【】有兴趣的朋友可以看下由【000X000】投稿的技术文章,希望该技术和经验能帮到 ... [详细]
  • 老电影和图片变清晰的秘密!分辨率提升400%的AI算法
    老电影和图片变清晰的秘密!分辨率提升400%的AI算法-如上图,从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • “你永远都不知道明天和‘公司的意外’哪个先来。”疫情期间,这是我们最战战兢兢的心情。但是显然,有些人体会不了。这份行业数据,让笔者“柠檬” ... [详细]
  • 生成对抗式网络GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍
    一、GAN原理介绍学习GAN的第一篇论文当然由是IanGoodfellow于2014年发表的GenerativeAdversarialNetworks(论文下载链接arxiv:[h ... [详细]
  • [译]技术公司十年经验的职场生涯回顾
    本文是一位在技术公司工作十年的职场人士对自己职业生涯的总结回顾。她的职业规划与众不同,令人深思又有趣。其中涉及到的内容有机器学习、创新创业以及引用了女性主义者在TED演讲中的部分讲义。文章表达了对职业生涯的愿望和希望,认为人类有能力不断改善自己。 ... [详细]
  • 解决Cydia数据库错误:could not open file /var/lib/dpkg/status 的方法
    本文介绍了解决iOS系统中Cydia数据库错误的方法。通过使用苹果电脑上的Impactor工具和NewTerm软件,以及ifunbox工具和终端命令,可以解决该问题。具体步骤包括下载所需工具、连接手机到电脑、安装NewTerm、下载ifunbox并注册Dropbox账号、下载并解压lib.zip文件、将lib文件夹拖入Books文件夹中,并将lib文件夹拷贝到/var/目录下。以上方法适用于已经越狱且出现Cydia数据库错误的iPhone手机。 ... [详细]
  • sklearn数据集库中的常用数据集类型介绍
    本文介绍了sklearn数据集库中常用的数据集类型,包括玩具数据集和样本生成器。其中详细介绍了波士顿房价数据集,包含了波士顿506处房屋的13种不同特征以及房屋价格,适用于回归任务。 ... [详细]
  • 计算机存储系统的层次结构及其优势
    本文介绍了计算机存储系统的层次结构,包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体,形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低,使得整体存储系统的平均价格降低。同时,高速缓存的存取速度可以和CPU的工作速度相匹配,进一步提高程序执行效率。 ... [详细]
  • 本文介绍了一些好用的搜索引擎的替代品,包括网盘搜索工具、百度网盘搜索引擎等。同时还介绍了一些笑话大全、GIF笑话图片、动态图等资源的搜索引擎。此外,还推荐了一些迅雷快传搜索和360云盘资源搜索的网盘搜索引擎。 ... [详细]
  • css div中文字位置_超赞的 CSS 阴影技巧与细节
    本文的题目是CSS阴影技巧与细节。CSS阴影,却不一定是box-shadow与filter:drop-shadow,为啥?因为使用其他属性 ... [详细]
  • 【观察】中国产业AI化的破局之路:加速算力释放与生态合作共赢
    申耀的科技观察读懂科技,赢取未来!电影《斗士》中,有这么一句台词令人印象深刻:“知道路要怎么走,和走上这条路& ... [详细]
author-avatar
斌冷无情_869
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有