Open Source User Interface/zh

本页面列出了密歇根理工大学开源硬件企业开源用户界面项目的文档、进展和成果。

是一款开箱即用的键盘控制、鼠标控制和语音软件，专为行动和语言障碍人士设计。

这款软件是开源且免费的，但仅支持 Windows 系统。它可以通过鼠标、键盘或多种眼动追踪设备（例如 Tobii EyeX、Eye Tribe 和 ITU Gaze Tracker）进行操作。

是一款帮助残障人士与周围环境和网络进行沟通和互动的软件。它拥有众多功能，例如文本转语音、预设句子和单词、读写电子邮件、浏览网页、观看视频、收听音乐、阅读电子书等等。

这是一个免费、开源且易于定制的软件。它仅支持 Windows 系统，可与鼠标、网络摄像头或多种眼动追踪设备（例如 Tobii EyeX、Eye Tribe 和 ITU Gaze Tracker）配合使用。

这也是一款开源软件，它可以使用任何能够移动光标的设备（包括眼动追踪器）来控制键盘和鼠标。

这是一个免费开源软件，它可以随着你的头部移动而移动电脑屏幕上的光标。它易于使用，并且兼容任何网络摄像头。它可以在 Windows 和 Linux 系统上运行。

这是另一款利用头部移动来控制光标的程序。它是一款免费程序，但只能在Windows系统上运行。

另一款免费但非开源的软件，用于键盘控制、鼠标控制和文本转语音。它采用 SwiftKey 的预测引擎，并提供可移动和自定义的屏幕键盘。该软件仅支持 Windows 7 和 8 系统。它支持任何可以控制鼠标光标的硬件。此外，它还支持 Tobii EyeX、Tobii Rex、Tobii X2-30（不包括 X2-60）、Tobii PCEyeGo（固件版本需为 1.1.5 或更高版本）以及 The Eye Tribe 等眼动追踪设备。

Tobii EyeX 控制器是一款低成本的眼动追踪器，用于追踪眼球运动轨迹，适用于互动和娱乐用途。配合电脑上的相应软件，该设备可以精确追踪眼球运动。

它只能在配备 USB 3.0 接口的 Microsoft Windows 7、8 或 10 系统上运行。遗憾的是，它至少需要酷睿 i5 处理器和 8GB 内存才能发挥最佳性能。该硬件可以与 OptiKey、Click2speak、Gazespeaker 和 BKB 等开源软件配合使用。

这款低成本的商用眼动追踪器采用红外照明技术来检测眼球运动。它至少需要酷睿 i5 处理器、1GB 内存和 USB 3.0 接口。此外，它仅支持 Windows 7、Windows 8、Windows 10 或 macOS Mountain Lion 10.8.4 系统。该硬件可与 OptiKey、Click2speak、Gazespeaker 和 BKB 等开源软件配合使用。

这是一个开源硬件项目，旨在帮助患有肌萎缩侧索硬化症（ALS）的艺术家和涂鸦艺术家仅用眼睛作画。网站上提供了如何组装头戴式头部追踪器的清晰说明。他们还在网站上表示，该项目已被涂鸦艺术家成功使用。

他们声称这套硬件加上PS3 Eye和一副太阳镜只需50美元。但该项目提供的软件仅支持绘图功能，目前尚不清楚我们是否能将OptiKey、Click2speak、Gazespeaker或BKB等现有软件与这套硬件配合使用。

EyeWriter 2.0 是该设备的升级版，它提高了精度，并允许用户在使用时移动头部。相比之下，初代 EyeWriter 的设计是头部保持静止状态。新版本并非佩戴在头部，而是安装在电脑屏幕附近。它的售价约为 200 美元。

OpenEyes是一个用于眼动追踪的开源硬件和开源软件项目。他们的网站上提供了多种硬件和软件设计方案。硬件组件的成本约为500美元。他们的硬件是一款采用红外照明技术的头戴式眼动追踪器。

Pupil是一个开源的头戴式移动眼动追踪平台。他们使用了3D打印的头戴设备以及两台采用红外照明技术的摄像头。

他们的硬件采用模块化设计，并准备了组装指南，指导用户如何用组件组装硬件。缺点是他们的硬件比其他解决方案贵得多。

eyeCan 是一个用于头戴式眼动追踪的开源软硬件项目。他们使用了与 EyeWriter 1 版项目相同的硬件，区别在于他们开发了自己的软件。目前看来，他们只开发了控制鼠标光标的软件，而没有开发键盘控制软件。项目主页上提供了视频教程和源代码。

初次尝试时，我们发现 Tobii Eyex 搭配 Optikey 使用起来既困难又不准确。但经过多次尝试和配置调整后，我们找到了一些使其更易于使用的方法。使用一段时间后，我们逐渐熟练掌握了它的使用方法，并确信这是一个可以接受的解决方案，只是存在一些缺点，我们将在下文中详细讨论。

如何将 Tobii Eyex 与 OptiKey 配合使用：

1. 使用更大、更高分辨率的屏幕。这样做的目的是为了让OptiKey上的按钮看起来更大。如果使用更大的屏幕，您可以增大按钮尺寸，从而减少Tobii Eyex精度不足的问题。
2. 将 OptiKey 的尺寸增大到屏幕的 60% 左右。这将提高准确率，但会遮挡屏幕上的内容。
3. 不使用 OptiKey 键盘时，切换到鼠标模式即可将其隐藏。这样，OptiKey 键盘在屏幕上的占比将减少到大约 15%。
4. 务必开启鼠标模式的放大镜功能。这将使点击图标和菜单变得更加容易。
5. 从鼠标模式切换到键盘模式时，有时文本框会失去焦点，导致无法在该文本框中输入内容。有一种方法可以解决这个问题。在切换到键盘模式之前，先展开鼠标侧键。之后再切换到键盘模式，这样就不会失去文本框的焦点了。

我们提供了一个视频，演示如何使用 Tobii EyeX 和 Optikey 编写电子邮件，链接如下：YouTube

该方案的缺点：

1. 它并不能真正替代键盘和鼠标，因为你需要先启动 Windows 系统，等待 Tobii Eyex 引擎启动，然后再等待 OptiKey 启动，之后才能使用 OptiKey 进行操作。
2. OptiKey 在打字时会遮挡屏幕的大部分区域。

本学期我们致力于开发自己的开源眼动追踪摄像头。设计理念源于上文提到的 EyeWriter 项目，我们以 EyeWriter 作为系统的基础开发平台。眼动追踪系统的主要改进在于采用了屏外键盘。传统的屏幕键盘体积庞大，会占用大量屏幕空间，而这些空间原本可以用于其他用途。我们认为，解决这个问题的一个好办法是设计一个可以从显示器或笔记本电脑屏幕后方伸出的实体键盘。这样就能很好地配合眼动追踪摄像头使用，未来我们计划将摄像头和屏外键盘整合到一个设计中。如果您对这个项目感兴趣，可以查看我们撰写的相关报告。报告中详细介绍了如何搭建我们的眼动追踪器和屏外键盘原型。

报告中的搭建说明要求使用 3D 打印机打印几个 CAD 模型。以下是所需文件的链接！

眼动追踪器部件网络模型：M12镜头接口PS3Eye外壳

由于我们只开展这个项目一个学期，还有很多工作需要完善和完成。以下是我们眼动追踪器方面尚未完成的一些工作：

• 编写自定义辅助功能软件，使该设备能够用作独立的眼动追踪器。
• 集成板载设备驱动程序，以便设备只需一次初始安装即可使用，无需其他设置。
• 将摄像头及相关硬件移至屏幕外键盘设计组件中。

至于屏幕外键盘：

• 将物理设计融入眼动追踪器设计中，使两种设计合二为一。
• 移除滑杆上的限位器，并将弹簧机构更换为行程更大的机构，即可增加屏幕高度。

这是我们用树莓派、Arduino 和 Pi Noir 摄像头制作完成的头部追踪系统。

其工作原理是，用户在前额佩戴一个圆形红外反射贴片。当用户在摄像头前移动头部时，系统会检测到头部运动并将其转化为鼠标光标的移动。

它采用红外照明技术。我们使用了带有滤光片的 Pi Noir 摄像头，该滤光片可以阻挡可见光，但允许红外光通过。这样，Pi Noir 摄像头就只能接收到红外光。然后，我们使用红外 LED 灯自带红外照明。这种方法可以确保系统在不受外部光照条件影响的情况下正常工作。

我们使用圆形红外反射贴片作为待跟踪目标。由于系统自带红外光源，摄像头会将该反射贴片识别为一个明亮的圆形物体，而周围区域则因无可见光通过而呈现黑暗状态。这使得目标跟踪更加便捷，同时也确保了在其他物体无法被检测到的情况下，目标仍能被可靠地检测到。

文件链接：

• tinyupload.com提供系统配置所需的源代码、固件和文件。
• tinyupload.com上的相机壳 3D 设计文件

请参阅本页“眼动追踪摄像头和离屏键盘”部分的项目报告，了解如何构建此系统。报告中提供了完整的逐步说明，以便您能够完全复现该系统。

未来发展方向：

• 设计一个可安装在屏幕顶部的3D打印外壳。所有组件都应能装入该外壳内。
• 减少所需组件数量并降低系统成本。一种方法是选择另一款也能作为 USB 设备使用的单板计算机，这样我们就不需要 Arduino Uno 了。
• 将头部追踪程序移植到 C 语言，以便运行速度更快并能够处理更高分辨率的视频。
• 实现滤波以实现平滑跟踪