По данным Всемирной организации здравоохранения около 285 миллионов человек во всем мире имеют нарушения зрения, что составляет 4,2 % всего населения планеты. 39 миллионов из них являются слепыми (нарушения зрения одного или обоих глаз 3-5 категорий по МКБ-10). Одним из возможных средств коммуникации, которым пользуются незрячие, является мобильное устройство с аппаратной цифровой клавиатурой (ISO/IEC 9995-8). В настоящее время доля таких устройств сокращается, уступая место более популярным сенсорным телефонам. В связи с этим, актуальной задачей является разработка метода сенсорного ввода текста для людей с ограниченными возможностями зрения.
Существующие решения
Для простоты будем считать, что любое взаимодействие пользователя с сенсорной поверхностью является росчерком. В случае единичного прикосновения, к примеру, нажатия на виртуальную клавишу, росчерком единичной длины. За основу классификации примем значимые характеристики взаимодействия, то есть такие свойства росчерка (абсолютное положение, траектория, скорость и пр.), изменения которых приводят к вводу другого символа.
Можно выделить системы с абсолютным положением виртуальных клавиш, к примеру, No-Look Notes [7] и Eyes-free keyboard. Основной проблемой методов данной группы является сложность выбора клавиш небольшого размера (площади) при использовании полных раскладок (QWERTY/ЙЦУКЕН), в то время как увеличение площади клавиши заставляет использовать сокращенную раскладку. Использование сокращенных раскладок ведет за собой ряд новых проблем, одной из которых является необходимость изобретения способа выбора конкретного символа. Другой проблемой при использовании нестандартной раскладки является необходимость ее изучения. Существует несколько способов выбора конкретного символа, но все они ведут к уменьшению скорости ввода по причине необходимости выполнения дополнительных действий.
Системы, основанные на определении направления относительно первой точки росчерка, как например Adaptive Blind Interaction Technique [10], подвержены схожей проблеме. Как показало исследование [4], оптимальным с точки зрения количества ошибок является использование 8-ми секторов радиального меню (менее 5 % ошибок). В соответствии с этим встает вопрос о размещении символов алфавита на секторах радиального меню и способе их выбора.
Системы (MDITIM [3], Eyes-free Graffiti [9]), основанные на распознавании траектории движения указательного устройства (стилуса), подвержены другой проблеме. Учитывая реалии российского образования, слепые от рождения (ослепшие в раннем детстве) не знают плоскопечатного шрифта. В некоторых специализированных школах людей с ограниченными возможностями зрения обучают плоскопечатному письму, но по причине отсутствия необходимости его частого применения данный навык быстро забывается. С другой стороны, использование произвольного набора росчерков увеличивает усилия, которые нужно затратить пользователю для того, чтобы начать пользоваться методом ввода.
Предлагаемое решение
Предлагаемый метод позволяет вводить символы, используя простую для запоминания систему относительных росчерков (рис. 1). Под «относительными росчерками» подразумевается независимость результата ввода от начальной позиции росчерка.
Рис. 1. Схема соответствия росчерков предлагаемого метода символам русского алфавита
Для ввода текста используются две схемы: побуквенная и схема с предикативной системой. С использованием предикативной системы пользователю достаточно лишь последовательно вычерчивать росчерки, система сама предложит наиболее подходящее слово. В этом случае выбранная последовательность наборов символов используется в качестве маски для подбора слова, подстановка дополнительных (не введенных пользователем) символов для завершения слова не осуществляется. Для ввода конкретной буквы после вычерчивания росчерка необходимо коснуться экрана определенное количество раз в любом месте. Количество касаний соответствует позиции буквы в группе (символы, ассоциированные с одним росчерком). К примеру, чтобы ввести букву «б» нужно вычертить росчерк «вверх», а затем коснуться экрана два раза. Таким образом, отличительной особенностью предлагаемого метода ввода является то, что обе схемы могут быть использованы одновременно.
Для ввода символов алфавита другого языка, знаков препинания и специальных символов используется технология определения множественного касания экрана. В предлагаемом методе результат ввода зависит не только от вида росчерка, но и от росчерка вводимого второй рукой, то есть система росчерков, вводимых второй рукой, будет определять раскладку для первой [1].
Действия пользователя могут озвучиваться посредством встроенного синтезатора речи, что дает дополнительную обратную связь.
Сравнительное тестирование
Для сравнения с предлагаемым решением были выбраны следующие способы слепого ввода текста: MDITIM и Eyes-free keyboard.
Для ввода текста использовался планшет Samsung Galaxy Tab 7 (P1000). Мобильное устройство было расположено так, что участники не могли видеть его экран, но им было удобно вводить росчерки. В качестве синтезатора речи использовался стандартный для ОС Android Pico TTS.
Авторами было разработано два прототипа методов ввода (предлагаемое решение и MDITIM) и тестовое приложения для замера скорости ввода и количества ошибок, которое вычислялось при помощи расстояния Левенштейна (цена замены, вставки и удаления символа равняется 1). Замер времени набора фразы начинался с момента ввода первого символа и останавливался, когда длины тестовой и вводимой фраз становились равны.
Предикативный алгоритм, используемый в предлагаемом решении, всегда «угадывал» правильное слово, то есть не было слов, которые вводились бы одинаковыми последовательностями росчерков. Тестовые фразы для эксперимента были позаимствованы из работы [6] и дополнены точкой в конце предложения. Причиной выбора английских фраз послужил тот факт, что алфавит MDITIM представлен только символами английского алфавита [3], и авторам хотелось избежать модификации метода ввода для последующего сравнения результатов с оригинальной работой. Уровень знания английского языка участников эксперимента был не ниже среднего.
В задачу испытуемых входило изучение и запоминание предложенной тестовой фразы. Во время набора текста пользователь смотрел на схему используемого способа ввода. Это позволило свести задачу ввода к так называемой «задаче с одним фокусом внимания» [5].
Перед началом серии замеров участникам давалось по 10 минут на каждый метод ввода, чтобы познакомится с ним и потренироваться вводить тестовые фразы. В совокупности было произведено 162 опыта. После выполнения всех тестов участников просили оценить каждый из способов по 5-ти бальной шкале (можно было называть один знак после запятой).
После статистической обработки результатов были получены результаты, приводимые в табл. 1.
Таблица1. Результаты сравнительного тестирования 3-х методов ввода
|
|
Eyes-free keyboard |
MDITIM |
Предлагаемый метод |
|
Максимальная скорость (слов/мин) |
5,7 |
8,5 |
20,8 |
|
Последний замер скорости (слов/мин) |
4.0 |
6.8 |
16,3 |
|
Первый замер скорости (слов/мин) |
2,8 |
4,0 |
9,4 |
|
Рост скорости (%) |
43 |
70 |
73 |
|
Среднее количество ошибок (%) |
7,0 (σ = 2,3) |
12,0 (σ = 2,7) |
11,2 (σ = 3,3) |
|
Субъективная оценка |
2,1 |
3 |
4,8 |
Тестовое приложение замеряло скорость ввода в символах в минуту. Для перевода единиц измерения в более распространенные «слова в минуту» было принято, что в среднем для английского языка длина слова составляет 5 символов [5].
В табл. 1 указано среднее количество ошибок, поскольку исследование [5] показало, что данная величина неизменна для конкретного способа ввода текста.
Для оценки скорости обучения воспользуемся классической кривой обучения 
, где N - это номер сессии, SN - скорость ввода во время N-ой сессии, a и b - коэффициенты, полученные методом наименьших квадратов, причем a ≈ S1, первому замеру скорости ввода. Кривые обучения исследуемых методов выглядят следующим образом:
- Eyes-free keyboard:
; - MDITIM:
; - Предлагаемый метод:
.
Оценка максимальной скорости предлагаемого метода
Для оценки пиковой скорости пользователя-эксперта воспользуемся методикой, предложенной в работе [2].
Для проведения эксперимента были выбраны испытуемые из предыдущего эксперимента с наибольшими показателями скорости ввода с использованием предлагаемого решения.
Аппаратное обеспечение соответствовало таковому в предыдущем эксперименте. Тестовое приложение было доработано с учетом требований эксперимента из работы [2]. Кроме того, программное обеспечение записывало время подготовки пользователя (с момента отрыва указательного устройства от сенсорного экрана до начала следующего росчерка) и время вычерчивания самого росчерка.
Были выбраны росчерки 9-ти типов, соответствующие символам английского алфавита и пробелу. Испытуемым предлагалось как можно быстрее вычертить росчерк одного типа следующий за вводом росчерка другого типа (всего 81 пара). Наименьшее значение из серии вводов записывалось в таблицу, а затем усреднялось между двумя участниками, в соответствии с рекомендацией в работе [2].
Результаты произведённых замеров представлены в табл. 2.
Таблица 2. Время парных действий предлагаемого метода в секундах
|
|
↑ |
↑→ |
← |
↑← |
→ |
↓← |
↓ |
↓→ |
→← |
|
↑ |
0,222 |
0,292 |
0,204 |
0,395 |
0,187 |
0,32 |
0,144 |
0,297 |
0,388 |
|
↑→ |
0,295 |
0,326 |
0,268 |
0,343 |
0,236 |
0,359 |
0,261 |
0,364 |
0,338 |
|
← |
0,223 |
0,304 |
0,173 |
0,352 |
0,175 |
0,333 |
0,226 |
0,342 |
0,361 |
|
↑← |
0,306 |
0,431 |
0,228 |
0,384 |
0,246 |
0,351 |
0,261 |
0,398 |
0,383 |
|
→ |
0,204 |
0,319 |
0,15 |
0,349 |
0,167 |
0,334 |
0,196 |
0,32 |
0,358 |
|
↓← |
0,302 |
0,353 |
0,224 |
0,312 |
0,248 |
0,382 |
0,238 |
0,347 |
0,371 |
|
↓ |
0,213 |
0,285 |
0,162 |
0,329 |
0,197 |
0,377 |
0,157 |
0,316 |
0,316 |
|
↓→ |
0,262 |
0,378 |
0,237 |
0,328 |
0,206 |
0,368 |
0,256 |
0,376 |
0,375 |
|
→← |
0,252 |
0,372 |
0,231 |
0,385 |
0,274 |
0,384 |
0,263 |
0,324 |
0,336 |
Частоты появления диграфов для английского языка взяты из работы [8]. В результате расчетов пиковая скорость эксперта составила 40,8 слов в минуту.
Обсуждение результатов
Сравним значения скоростей, полученные в первом эксперименте, с данными других авторов. Известные значения скоростей слепого ввода на мобильных устройствах с сенсорным экраном сведены в табл. 3.
Таблица 3. Значения скоростей ввода различных методов
|
Наименование метода |
Скорость слепого ввода последнего замера (слов/мин) |
Максимально достигнутая скорость (слов/мин) |
|
No-Look Notes |
1,32 |
1,67 |
|
Eyes-free keyboard (данные эксперимента) |
4,0 |
5,7 |
|
MDITIM (данные эксперимента) |
6,8 |
8,5 |
|
Adaptive Blind Interaction Technique |
7,0 |
12,0 |
|
Eyes-free Graffiti |
9,5 |
- |
|
Предлагаемый метод (данные эксперимента) |
16,3 |
20,8 |
Данные для MDITIM из табл. 3 соответствуют данным, полученным его автором для сенсорной панели [3].
Заметим, что значение количества ошибок предлагаемого решения в табл. 1 является несколько завышенным. Причиной тому послужил тот факт, что в случае ошибки предикативный алгоритм, не найдя в словаре нужной последовательности росчерков, генерировал слово, состоящее из первых символов всех выбранных групп. Для оценки реального количества ошибок предлагаемого метода ввода был проведен дополнительный эксперимент, где в ходе 48 опытов испытуемый использовал побуквенный вариант предлагаемого метода. Количество ошибок данного способа составило 9,4 % (σ = 5,7). Данный показатель не является низким, но его значение находится между соответствующими значениями Eyes-free keyboard и MDITIM.
Выводы
По результатам проделанной работы можно сделать следующие основные выводы: применение угловых росчерков взамен диагональным позволяет сократить количество ошибок при слепом вводе алфавитно-цифровой информации; использование знакомой раскладки позволяет добиться высоких показателей первых замеров скорости ввода; использование коротких росчерков увеличивает абсолютную скорость набора и лишь незначительно влияет на параметр роста скорости.
Заключение
Следует непременно отметить преимущества предложенного решения, которые заключаются в следующих положениях: самая высокая скорость набора среди всех существующих методов слепого ввода текста; возможность ввода при угле наклона устройства вплоть до 45°, а с использование датчика положения - при любом угле наклона; возможность комфортного ввода одной и/или обеими руками.
По нашему мнению, одним из возможных путей развития предлагаемого решения является разработка техники, которая позволит существенно уменьшить временной интервал между вводом отдельных росчерков, что обеспечит большую эффективность человеко-машинного взаимодействия.
Рецензенты:
- Шептунов С. А., д.т.н., проф., заместитель директора по научной работе Федерального государственного бюджетного учреждения науки Института конструкторско-технологической информатики Российской академии наук, г. Москва.
- Митрофанов В. Г., д.т.н., профессор, зав. кафедрой «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО МГТУ «СТАНКИН», г. Москва.