华人教授研发交互式屏幕阅读器，帮助盲人轻松操作键盘

下载贤集网APP看更多精彩视频

视频介绍

看过《假如给我三天光明》书的朋友都知道，盲人的世界生活是多么困难，一个四肢健全的盲人固然有触觉，但却因为眼盲、而无法操作那些常人可以轻松操作的键盘，比如微波炉和电饭煲的物理操作界面。对他们来说，这些操作界面的按钮，不仅在触觉上难以区分，并且屏幕上还有他们无法阅读的视觉信息。对此，华人教授郭安鸿研发出一款人机交互系统，来帮助盲人读取、以及使用物理操作界面上的内容。该系统包含三大块：VizLens、Facade 和 StateLens。其中 VizLens 帮助盲人通过音频指示去使用物理操作界面，Facade 使用3D打印技术给其提供盲文标签，而StateLens则可以帮助他们识别动态操作界面。VizLens是用于静态物理操作界面的交互式屏幕阅读器，它结合了按需众包和实时计算机视觉技术。当盲人遇到某个无法阅读的静态界面时，使用手机对操作界面进行拍照，之后VizLens会把照片发送给网络众包人员。众包人员收到盲人的信号后，就会标记界面布局、并注释相关元素如按钮或其他控件，随后会描述每个元素，描绘出的图片也会成为参考图像，进而帮助计算机视觉更好地工作。之后，当盲人要操作界面时，只需打开 VizLens 应用程序，把手机摄像头对准界面，接着把手指悬停在界面上，这时 VizLens会使用基于SURF的对象匹配技术，将众包标记的参考图像、与实时捕获的图像进行匹配，并跟踪用户的手指，进而去做检索、提供音频反馈和指导用户。有了这种即时反馈，VizLens 就能实时地把界面内容告诉给盲人。而Facade，是一款可让盲人独立读取的3D打印触觉覆盖层。盲人拍摄操作界面照片时，照片中需要包含绝对尺寸的标记。拍摄以后，Facade可通过照片来恢复按钮标签尺寸信息。接着，Facade会用类似VizLens的众包方法对图像作出标记。这时，盲人可以使用Facade应用程序，来自定义触觉覆盖层，随后Facade可据此生成3D模型，这时使用家用3D打印机，即可制造出触觉覆盖层。换句话说，VizLens和Facade使盲人用户可以访问许多静态界面。研究人员又在此基础上，开发了StateLens，这是一种用于公众信息显示屏和支付终端等动态触摸屏。为解决盲人一旦触碰屏幕，就很容易带来误操作的问题，StateLens诞生了，StateLens可在不修改触摸屏基础硬件或软件的情况下，为公共触摸屏带来 “无风险使用”，这也是可访问触摸屏交互的核心。StateLens可从固定视频、手持视频和网络视频中准确地重建界面。在对14位盲人参与者做用户研究。这时，他们发现这款人机交互系统，可使盲人访问此前无法访问的动态触摸屏。对于残疾人的生活，我们虽不能感同身受，但是能够借助科技帮助他们更好地生活，这无疑是一件极大的好事，小编也希望能有越来越多的高科技，来帮助残疾人生活，让他们感受生活的温暖。你怎么看呢？