- 博客(11)
- 收藏
- 关注
RSS订阅原创 #基于VR环境下的手指识别键盘输入# 在Unity普通场景中完成识别后，转入VR场景中的问题解决
问题一：在进行普通场景和VR场景切换的时候，VR场景自带的摄像头[Camera Rig]可能会对普通场景也产生一定的影响。出现的现象包括：quad组件上点击事件的失灵（猜测是不同的canvas层之间产生了遮挡）、按钮事件的失灵等。在这方面收集了很多资料，进行了总结：（1）在PlayerSettings里有个选项VirtualRealitySupported,这个选项导入SteamVR时取消是不管用...
2018-06-14 21:22:24
711
转载 #基于VR环境下的手指识别键盘输入#利用opencvforUnity实现透视变换
在我们的项目中，需要对手部进行摄影。由于设备的限制，摄影过程可能会出现手部图像并不是正对着摄像机的现象，这就需要实现透视变换了。Opencv
2018-06-14 00:42:56
622
原创 #基于VR环境下的手指识别键盘输入# VR场景搭建和移动漫游（一）
基本结束了输入阶段的调试之后，开始搭建VR场景。VR的基本配置在前文当中已经提到过了，导入SteamVR和VRTK的文件包之后，将可用的场景素材放入Unity文件中。先将[Camera Rig]/[status]/[SteamVR]三个文件拖入场景中。其中[Camera rig]是比较重要的一个文件。它代表着VR中的头戴式设备和两个手柄。基本配置完成之后，来进行VR场景模型的搭建。模型素材来自于网...
2018-06-14 00:25:56
997
原创 #基于VR环境下的手指识别键盘输入# 输入文本的保存和查看
完成了能够实时显示在屏幕上的弹幕，接下去就要完成的是输入文本的保存和查看。使用者利用手指识别后的点做指引，完成在无法看到键盘的环境下的输入之后，可以对自己输入的文本进行创建，保存和查看。完成的简易demo如下：在inputfield中，使用者可以进行文本的输入。输入文本之后，点击写入文本文件，可以在目录下创建一个txt文件，并将inputfield中的内容保存到txt文件中去。 public vo...
2018-06-13 23:46:07
372
原创 #基于VR环境下的手指识别键盘输入# 基于UNITY的弹幕系统的实现
手部识别已经基本完成。经过测试发现，只要所在的环境够亮，能够照的双手颜色比较稳定（偏白），识别效果就会比较好。队友部分，虚拟键盘也根据我们实际使用的实体键盘制作完成了。根据实体键盘的按键不同，虚拟键盘会有不同的响应。整个过程就是，摄像头识别手指，将其位置映射到Canvas层中成为五个圆点，圆点实时反映手指的位置，帮助在VR环境中的使用者辨别自己手部究竟放置在键盘的哪一个位置上。这部分基本实现之后，...
2018-06-13 21:47:49
1087
1
原创 #基于VR环境下的手指识别键盘输入# 基于轮廓质心的手部识别优化（二）
在上一篇博客中，我们提到了对手部进行识别的方法，接下来，我又选择了三种不同模式的，基于肤色进行识别的方法，这三种算法各有不同，都进行了实现。并且通过实际操作时不断地调整比较，最终将选择效果较好的识别手段。（1）重心距离法：主要思路：找到手掌的重心，并找出识别出的手的边缘点，对每一个点进行遍历，依次找出五个距离重心最远的点，可以把他们看作是手指点。1、对图像做高斯模糊；2、肤色分割（背景不要有类肤色...
2018-06-13 13:22:10
670
1
原创 #基于VR环境下的手指识别键盘输入# 基于轮廓质心的手部识别优化（一）
在完成了之前提到的工作之后，发现在实际操作的时候，存在一定的问题：（1）由于识别的是轮廓凸缺陷，所以得到的最终结果是一个点组，包括起始点、结束点、最远点和到最远点之间的距离。在实际运用中。想要用一个3D的手部模型与识别出来的手部进行绑定。因为涉及手掌整体和各个手指的移动，所以需要对手掌和手指分别进行定位。但是由于只保存了五个指尖点，所以采用平均的方法计算出中心点。由于指尖位置存在一定程度的跳变，所...
2018-06-13 13:02:13
483
原创 #基于VR环境下的手指识别键盘输入# 利用OpenCV for Unity初步完成的手指识别效果（二）
在前一篇文章中，我们完成了对手指肌肤颜色的检测。检测到肌肤颜色之后，接下来就是要确定手掌的范围。在这个过程中，将要使用到的核心函数是Opencv中的convexityDefects。如上图所示，黑色的轮廓线为convexity hull, 而convexity hull与手掌之间的部分为convexity defects. 每个convexity defect区域有四个特征量：起始点（startP...
2018-06-12 18:13:56
3022
2
原创 #基于VR环境下的手指识别键盘输入# 利用OpenCV for Unity初步完成的手指识别效果（一）
前面几篇文章中介绍了OpenCVforUnity的使用方法，在导入了这个包之后，我们就可以在C#代码当中利用opencv的库了。以下是在unity中编写OpenCV图像处理代码所用的一般格式：using UnityEngine;using UnityEngine.EventSystems;using System.Collections;using System.Collections.Ge...
2018-06-12 17:25:33
3867
1
转载 #基于VR环境下的手指识别键盘输入# 在Unity中实现对图像的前后背景分离的效果
因为项目中需要完成对手部的摄像头识别，识别过程中，需要将指尖识别为五个点，并且映射到VR环境中去。需要对摄像头欧拍到的内容进行图像处理。主要用到的方法是 grabCut方法。GrabCut函数说明void grabCut(InputArray img, InputOutputArray mask, Rect rect, InputOutputArraybgdModel, InputOutputAr...
2018-06-06 13:41:54
573
1
原创 #基于VR环境下的手指识别键盘输入# Unity Opencv教学
OpenCV for unity是一套支持unity游戏引擎的程序，可以协助我们在Unity内部开发Opencv。（1）下载地址：https://download.csdn.net/download/yzx5452830/10192686（2）OpenCV for unity的主要功能：- 由于opencvforunity的包是OpenCV Java的克隆，所以您可以使用与OpenCV Java ...
2018-06-06 13:30:55
1176
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人