Open Source User Interface/es
Esta página enumera la documentación, el progreso y los resultados del Proyecto de Interfaz de Usuario de Código Abierto de la Empresa de Hardware de Código Abierto en la Universidad Tecnológica de Michigan
Soluciones existentes
Software
OptiKey
Es un software funcional listo para usar de control de teclado, control de mouse y voz diseñado específicamente para personas con limitaciones motoras y del habla.
Este software es de código abierto y gratuito, pero solo es compatible con Windows. Funciona con el ratón, el teclado o varios dispositivos de seguimiento ocular, como Tobii EyeX, Eye Tribe y ITU Gaze Tracker.
Hablante de la mirada
Es un software que ayuda a las personas con discapacidad a comunicarse e interactuar con su entorno y la web. Tiene muchas funciones, como texto a voz, frases y palabras predefinidas, lectura y escritura de correos electrónicos, web, videos, música, libros electrónicos, etc.
Es una aplicación gratuita, de código abierto y fácilmente personalizable. Solo es compatible con Windows y se puede utilizar con un ratón, una cámara web o varios dispositivos de seguimiento ocular como Tobii EyeX, Eye Tribe y ITU Gaze Tracker.
BKB
Este también es un software de código abierto para controlar el teclado y el mouse usando cualquier dispositivo que pueda mover un cursor (incluido el rastreador ocular).
eViacam
Se trata de un software gratuito y de código abierto que mueve el cursor en la pantalla de la computadora a medida que mueves la cabeza. Es fácil de usar y funciona con cualquier cámara web. Puede ejecutarse en Windows y Linux.
Cámara Ratón
Este es otro programa para controlar el movimiento del cursor con la cabeza. Es un programa gratuito que solo funciona en Windows.
Hacer clic para hablar
Otro software gratuito, pero no de código abierto, para el control del teclado, el control del ratón y la conversión de texto a voz. Incluye el motor de predicción de Swiftkey, un teclado en pantalla movible y personalizable. Es compatible únicamente con Windows 7 y 8. Admite cualquier hardware que pueda controlar el cursor del ratón. También es compatible con dispositivos de seguimiento ocular como Tobii EyeX, Tobii Rex, Tobii X2-30 (no el X2-60), Tobii PCEyeGo (con firmware 1.1.5 o posterior) y The Eye Tribe.
Hardware
Controlador Tobii EyeX
Tobii EyeX Controller es un rastreador ocular de bajo costo que rastrea la ubicación de la mirada con fines interactivos y de entretenimiento. Junto con el software adecuado en la computadora, este dispositivo puede rastrear con precisión el movimiento del ojo.
Solo puede funcionar con Microsoft Windows 7, 8 o 10 con USB 3.0. Lamentablemente, necesita al menos un procesador Core i5 y 8 GB de RAM para un rendimiento óptimo. Este hardware se puede utilizar con software de código abierto como OptiKey, Click2speak, Gazespeaker y BKB.
Rastreador Eye Tribe Pro
Este también es un rastreador ocular comercial de bajo costo que utiliza iluminación infrarroja para detectar el movimiento del ojo. También requiere al menos un procesador Core i5, 1 GB de RAM y USB 3.0. Además, solo funcionará en Windows 7, Windows 8, Windows 10 o MAC Mountain Lion 10.8.4. Este hardware se puede utilizar con software de código abierto como OptiKey, Click2speak, Gazespeaker y BKB.
Escritor de ojos
Se trata de un proyecto de hardware de código abierto diseñado para ayudar a los artistas y grafiteros que padecen ELA a dibujar utilizando únicamente sus ojos. En el sitio web se ofrecen instrucciones claras sobre cómo construir el rastreador de cabeza montado en la cabeza. En su sitio web, afirman que el proyecto ya ha sido utilizado con éxito por grafiteros.
Afirman que el hardware costaría solo 50 dólares con PS3 Eye y un par de gafas de sol, pero el software proporcionado con este proyecto solo admite la función de dibujo y no está claro si podríamos usar software establecido como OptiKey, Click2speak, Gazespeaker o BKB con este hardware.
Una versión mejorada del dispositivo, EyeWriter 2.0, añade precisión y permite a las personas mover la cabeza mientras utilizan el dispositivo. En comparación, el EyeWriter original está diseñado para usarse con la cabeza inmóvil. La nueva versión no se monta sobre la cabeza, sino cerca de la pantalla del ordenador. Cuesta unos 200 dólares.
Ojos abiertos
OpenEyes es un proyecto de hardware y software de código abierto para el seguimiento ocular. En su sitio web se pueden encontrar varios diseños de hardware y software. Las piezas del hardware cuestan unos 500 dólares. Su hardware es un dispositivo de seguimiento ocular con casco que utiliza una técnica de iluminación infrarroja.
Alumno
Pupil es una plataforma de seguimiento ocular móvil de código abierto que se monta sobre la cabeza. Utilizaron un casco impreso en 3D y dos cámaras con técnica de iluminación infrarroja.
Su construcción de hardware es modular y han preparado una guía para construir su hardware a partir de componentes. El inconveniente es que su hardware es considerablemente más caro que otras soluciones.
ojoPuede
eyeCan es un proyecto de hardware y software de código abierto para el seguimiento ocular en la cabeza. Utilizaron el mismo hardware que el proyecto EyeWriter versión 1. La diferencia es que desarrollaron su propio software. Parece que solo desarrollaron el software para controlar el cursor del mouse, pero no el teclado. En la página de inicio del proyecto se ofrecen instrucciones en video y el código fuente.
Resultados
Tobii Eyex con Optikey
En un primer intento, nos pareció que Tobii Eyex con Optikey era difícil de usar e impreciso. Pero después de experimentar con varias opciones y configuraciones, encontramos varias formas de hacerlos más fáciles de usar. Después de usarlos durante un tiempo y de volvernos bastante expertos en el tema, estamos seguros de que es una solución aceptable con solo algunos inconvenientes, como analizaremos a continuación.
Cómo utilizar Tobii Eyex con OptiKey:
- Utilice una pantalla más grande con una resolución mayor. El objetivo es hacer que los botones de OptiKey parezcan más grandes. Si utiliza una pantalla más grande, puede aumentar el tamaño de los botones, lo que hará que la imprecisión de Tobii Eyex sea un problema menor.
- Aumente el tamaño de OptiKey a aproximadamente el 60 % de la pantalla. Esto mejorará la precisión, pero tapará elementos de la pantalla.
- Cuando no utilice el teclado OptiKey, ocúltelo cambiando al modo ratón. Esto reducirá la parte de OptiKey que cubre la pantalla a aproximadamente el 15 % de la misma.
- Active siempre la función de lupa del modo ratón. Esto hará que hacer clic en los iconos y los menús sea mucho más fácil.
- Cuando cambias del modo ratón al modo teclado, a veces perderás el foco del cuadro de texto. Por lo tanto, se vuelve imposible escribir en ese cuadro de texto. Hay una manera de hacer esto. Antes de cambiar al modo teclado, expande primero el dock del ratón. Después de eso, puedes cambiar al modo teclado. De esta manera, no perderás el foco del cuadro de texto.
En el siguiente enlace tenemos un vídeo que muestra cómo utilizar Tobii EyeX con Optikey para escribir correos electrónicos.Youtube
Desventajas de esta solución:
- No es un sustituto real del teclado y el mouse porque necesita que Windows se inicie primero, esperar a que se inicie el motor Tobii Eyex y esperar a que se inicie Optikey hasta que pueda usar sus ojos en OptiKey.
- OptiKey cubre gran parte de la pantalla al escribir
Nuestro Desarrollo
Cámara con seguimiento ocular y teclado fuera de pantalla
Este semestre trabajamos en la creación de nuestra propia versión de código abierto de una cámara de seguimiento ocular. El concepto de diseño se inspiró en el proyecto EyeWriter mencionado anteriormente, y utilizamos EyeWriter como plataforma de desarrollo básica para nuestro sistema. La principal mejora que se ha realizado en el sistema de seguimiento ocular adopta la forma de un teclado fuera de la pantalla. Un teclado en pantalla tradicional que se utilizaría con un rastreador ocular es grande y ocupa mucho espacio en la pantalla que podría utilizarse para otras cosas. Decidimos que una buena solución a este problema sería un teclado físico que pudiera extenderse desde la parte posterior del monitor o la pantalla del portátil. Esto funcionará bien con una cámara de seguimiento ocular y, en el futuro, planeamos combinar la cámara que construimos y el teclado fuera de la pantalla en un solo diseño. Si te interesa este proyecto, consulta el informe que escribimos al respecto. Tiene instrucciones paso a paso sobre cómo construir nuestros prototipos de rastreador ocular y teclado fuera de la pantalla.
Las instrucciones de construcción del informe requieren la impresión 3D de varios modelos CAD. ¡Aquí tienes los enlaces a los archivos que necesitarás!
Piezas de rastreador ocular modeladas en Internet:Montura de lente M12 Carcasa PS3Eye
Dado que solo hemos estado trabajando en este proyecto durante un semestre, todavía queda mucho trabajo por hacer para pulirlo y terminarlo. Estas son algunas de las cosas que aún tenemos que hacer con el rastreador ocular:
- Escriba un software de accesibilidad personalizado que permita utilizar el dispositivo como un rastreador ocular independiente.
- Incorporar controladores de dispositivo integrados para que el dispositivo pueda usarse sin configuración más allá de una instalación inicial única
- Mueva la cámara y el hardware asociado al paquete de diseño del teclado fuera de la pantalla.
Y para el teclado fuera de pantalla:
- Incorporar el diseño físico al diseño del rastreador ocular para que los dos diseños se conviertan en un solo dispositivo.
- Aumente la altura de la pantalla quitando los topes de las varillas deslizantes y reemplazando el mecanismo de resorte por uno que permita un mayor movimiento.
Cámara de seguimiento de cabeza
Este es nuestro sistema de seguimiento de cabeza completo hecho con Raspberry Pi, Arduino y cámara Pi Noir.
El funcionamiento es el siguiente: el usuario lleva un parche reflectante infrarrojo circular en la frente. Cuando mueve la cabeza frente a la cámara, el sistema detecta el movimiento de la cabeza y lo traduce en el movimiento del cursor del ratón.
Funciona mediante la técnica de iluminación infrarroja. Usamos la cámara Pi Noir con un filtro adicional que bloquea la luz visible pero transmite luz infrarroja. Por lo tanto, la cámara Pi Noir solo verá luz infrarroja. Luego agregamos nuestra propia iluminación infrarroja mediante LED infrarrojos. Este método garantizará que el sistema funcione sin depender de las condiciones de la luz externa.
Utilizamos un parche reflectante de infrarrojos circular como objeto a rastrear. Debido a que el sistema tiene su propia fuente de iluminación infrarroja, la cámara verá el parche reflectante como un objeto redondo y brillante, mientras que el resto de los alrededores estarán oscuros porque no pasa luz visible a través del filtro. Esto facilitará el seguimiento del objeto y también garantizará una detección sólida en la que no se detectará ningún otro objeto.
Enlaces de archivos:
- Código fuente, firmware y archivos necesarios para configurar el sistema tinyupload.com
- Archivo de diseño 3D para estuche de cámara tinyupload.com
Consulte el informe del proyecto en la sección "Cámara de seguimiento ocular y teclado fuera de pantalla" de esta página para obtener instrucciones sobre cómo construir este sistema. Allí se describen instrucciones paso a paso completas para permitir la recreación completa del sistema.
Direcciones futuras:
- Diseñar una carcasa impresa en 3D que se pueda montar sobre la pantalla. Todos los componentes deben caber dentro de la carcasa.
- Reducir la cantidad de componentes necesarios y el coste del sistema. Una forma de hacerlo es elegir otro ordenador de placa única que también pueda funcionar como dispositivo USB, de modo que no necesitemos Arduino Uno
- Portar el programa de seguimiento de cabeza al lenguaje C, para que se ejecute más rápido y permita procesar videos de mayor resolución.
- Implementar filtrado para un seguimiento fluido