Программа для сурдоперевода на айфон
Описание продукта:
SaaS - облачный сервис, функционирующий как сурдопереводчик, пользовательский интерфейс которого встроен в мобильное устройство. Может быть использован для удаленного или непосредственного общения глухого и слышащего человека.
На экране мобильного устройства отображается жестовый язык, визуализированный посредством анимационного аватара. Анализ, обработка и преобразование звучащей речи ведется на удаленном сервере, используя разработанное ПО, через Интернет.
Основой (ядром) продукта является программный код, основанный на уникальном алгоритме смыслового анализа текста и преобразования звучащего языка в жестовый язык. Алгоритм использует международно-признанную Гамбургскую Систему Нотаций (HamNoSys) жестового языка и может быть доработан для сурдоперевода на любые жестовые языки мира.
Аналогов у нашего программного обеспечения, насколько нам известно, нет. В свое время был запущен проект по созданию компьютерного сурдопереводчика, который финансировала IBM. В нем принимали участие и российские специалисты. Но идея развития не получила. Последние известия о проекте были в 2007 году, и с тех пор о нем ничего не слышно. Думаю, они споткнулись о ключевую проблему, которую нужно было решить для реализации этой идеи, — как перевести смысл звучащей речи на язык жестов. Ее решение — технологическое ядро всех наших дальнейших разработок. Работа с семантическим блоком была самым сложным этапом. У нашей программы есть своя стратегия перевода — среди возможных вариантов она выбирает оптимальный. И делает это именно по правилам языка глухонемых, а не так, как обычно переводят на язык жестов: кто-то произнес какое-то слово — его показали. Люди, которые говорят на жестовом языке, не понимают такую речь.
Андрей Старков, исполнительный директор УК «Ломоносов Капитал», SmartNews
Уже через полгода создатели планируют вывести революционный продукт на рынок. С его помощью может быть решен целый спектр более чем актуальных проблем.
Самый очевидный вариант использования программы — создать плагин для телестудий. Телередакторы смогут загружать письменный текст передач, программа будет переводить его на язык жестов, а виртуальный сурдоперводчик в углу экрана телевизора переведет текст для зрителей с ограниченными возможностями.
Подавляющее большинство каналов на отечественном телевидении не утруждает себя сурдопереводом. И в итоге лишенные возможности слышать люди оказываются в информационном вакууме. Разве справедливо, что они не могут узнать, что им хочет сказать президент России?
Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews
Инновационная разработка откроет инвалидам по слуху доступ на публичные лекции и выступления. Текст, который лектор или политик произносит в микрофон, после программной обработки можно будет синхронно выводить на большой экран. Что особенно важно, дети с ограниченными возможностями смогут не только полноценно воспринимать уроки в коррекционной школе, но даже посещать обычную школу.
То, как у нас сейчас проходят уроки в коррекционных школах для детей, лишенных слуха, — огромная проблема. Учителя не знают языка глухонемых, в классах работают сурдопереводчики. Грамотных специалистов катастрофически не хватает, возникают трудности перевода. В результате дети не могут понять, что им говорит учитель. О каком качестве обучения может идти речь? С таким образованием они не то что русский язык, даже язык жестов зачастую выучить нормально не могут.
Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews
На следующем этапе создатели программы по сурдопереводу планируют создать desktop-приложение, которое позволит инвалидам по слуху пользоваться интернет-радио.
Одним из наиболее социально значимых результатов использования программы может стать установка в госучреждениях специальных коммуникаторов. Государственные служащие, к которым обращается инвалид по слуху, смогут с его помощью донести до него всю нужную информацию. Госслужащие будут произносить нужный текст в коммуникатор, а виртуальный переводчик на большом экране коммуникатора перескажет на языке глухонемых все, что они говорят. Это поможет решить поставленную государством стратегическую задачу – сделать государственные услуги доступными для всех слоев населения.
Сегодня инвалиды по слуху вынуждены при каждом обращении в государственное учреждение брать с собой сурдопереводчика. Максимум, на что они способны самостоятельно, – это отнести какую-нибудь справку. А вот с врачами, нотариусами, работниками ЖКХ, сотрудниками милиции, прокуратуры, суда, регистрационной палаты люди с ограниченными возможностями без посторонней помощи объясниться не могут. На сегодняшний день каждый инвалид по слуху по закону имеет право на 40 часов бесплатных услуг сурдопереводчика в год. Иметь-то он имеет, но вот только сурдопереводчиков на всех не хватает. Да и что такое 40 часов? Это очень мало. Приходится просить о помощи родственников, друзей. А если человек одинок? Или семья состоит из двух инвалидов по слуху? Что им тогда делать? Если новосибирская разработка поможет решить эту наболевшую проблему, то я считаю, ее создателям надо Нобелевскую премию дать!
Николай Кондратьев, председатель Красноярского регионального отделения Общероссийской общественной организации инвалидов «Всероссийское общество глухих», SmartNews
По замыслу разработчиков программы, финальным этапом станет создание мобильного приложения для смартфона. Установив его, человек, лишенный слуха, сможет принять звонок – он будет преобразован в видеоизображение.
Вот такие фантастические перспективы открывает изобретение ООО «Сурдофон». И это только в первом приближении – с началом коммерческого использования программы наверняка появится множество новых идей, как и где ее применить.
Все идеи и технологии, использованные при разработке программного обеспечения по переводу на язык жестов, принадлежат российским ученым.
Единственное программное обеспечение, которое разработано не нами – это открытый сервис Google по переводу звучащей русской речи в письменную. Если раньше с ним возникали проблемы, то теперь оно работает все лучше и лучше. Ошибок при переводе устной речи в письменную практически нет. Все остальные разработки – наше ноу-хау. И главной проблемой было, разумеется, создание программного обеспечения для перевода письменного текста в язык жестов. Это наша главная ценность, то, на чем базируются все последующие разработки. Ведь в чем здесь сложность? Нужно сохранить семантику предложений и одновременно вычленить наиболее значимую информацию, чтобы минимизировать количество движений аватара-переводчика. Анализ текста основан на принципах математической лингвистики и состоит из трех основных этапов. Первый – синтаксический, на котором анализируется структура предложения. Второй – морфологический, когда вычленяются корни слов. Третий — сопоставление корней со словарем словоформ языка глухонемых, который на данный момент включает в себя порядка 110 000 слов, поиск аналогов в словаре жестов. Огромные сложности при переводе создает то, что русский разговорный язык и язык жестов основаны на совершенно разных принципах. У них разный синтаксис. Когда мы говорим, мы можем употреблять слова практически в любом порядке. А в языке жестов порядок слов жестко закреплен.
Евгений Гайслер, директор УК «Ломоносов Капитал», SmartNews
Много времени и усилий ушло у новосибирских ученых и на создание виртуального сурдопереводчика. Первоначально использовалась готовая компьютерная кукла, но как выяснилось, она не совсем подходила для перевода на язык глухонемых.
Готовая виртуальная кукла-переводчик была недостаточно управляемой. Поэтому мы создали собственного аватара, который может работать на разной скорости, у него более проработанные жесты, и особенно пальцы. Это очень важно при передаче языка глухонемых. Потом нам пришлось работать над совершенствованием системы нотаций – системы описания жестов. Таких систем несколько, мы использовали Гамбургскую Систему Нотаций (HamNoSys). Оказалось, этого языка описания пока не хватает, чтобы передать реальные жесты живого переводчика. Поэтому мы поставили цель расширить систему нотаций и достигли ее.
Евгений Гайслер, директор УК «Ломоносов Капитал», SmartNews
Полезно
Приложения для глухих и слабослышащих на андроид
5. Яндекс.Разговор: помощь глухим
Главная проблема для слабослышащего человека – общение с людьми. Приложение от Яндекса разработано для решения данной проблемы – оно переводит устную речь в письменную и обратно. Глухому достаточно набрать текст на дисплее, чтобы окружающие его услышали, а собеседнику нужно только произнести фразу.
Яндекс.Разговор помогает и другим способом. Для пользователя заранее созданы фразы, которые программа озвучит по надобности. В случае, если слабослышащему понадобится медицинская помощь, ему легко можно уведомить об этом людей с помощью одного клика. А чтобы легче вспомнить, о чем шел разговор, можно зайти в историю диалогов и освежить в памяти события, которые пользователь обсудил с собеседником.
Преимущества:
- Реплики записываются в виде диалогов, которые потом можно просмотреть
- Готовые реплики ускоряют и упрощают процесс общения
- Удобный и несложный интерфейс
Пожалуй, лучшее приложение для глухих на андроид, обучающее языку жестов людей со всего мира. Оно содержит более 200 000 движений для коммуникации с представителями разных стран. Не все знают, но один и тот же жест может неодинаково восприниматься жителями двух государств. Spread Signs учитывает эту особенность и указывает, какие движения по своему смыслу оскорбительны для собеседника.
В программе имеется поиск по фразам. Вводим первое слово – в поиске высвечиваются все доступные для жестов реплики. При просмотре фразы можно выбрать страну и увидеть движение, соответствующее высказыванию. Имеются даже жесты для маленьких детей, чтобы ускорить их развитие.
Преимущества:
3. Сурдофон
Не всегда слабослышащий человек способен объясниться на языке жестов или с помощью блокнота с ручкой. В таком случае на помощь придет Сурдофон, предоставляющий помощь живого ассистента по видеосвязи. Человек, работающий в центре сурдоперевода выйдет с пользователем на связь и поможет с движениями, в случае необходимости.
Среди программ для глухих данное выделяется тем, что в нем функционал предоставляют профессиональные переводчики, а не машинные алгоритмы. Единственная проблема – доступен только русский язык. Но это объяснимо – не все приложения для глухих бесплатные, а центр сурдоперевода не может иметь персонал для менее распространенных языков из-за финансов.
Преимущества:
- Профессиональные переводчики, говорящие на русском языке
- Видеосвязь, через которую оказывается помощь
- Постоянная работа персонала
Данное приложение для глухих и слабослышащих помогает не с общением, а с утренним пробуждением. Вместо будильника DeafWake включает мигание на мобильном телефоне, чтобы пользователю было легче проснуться. Главное, чтобы смартфон находился в зоне видимости, иначе толку не будет – человек просто может не увидеть мерцающего света.
Приложение платное, но стоимость оправдывает. В Google Play оно стоит 149 рублей и за свою цену позволяет настроить, как именно будет срабатывать аналог будильника. Мигание, вибрация и звук для слабослышащих – можно включить как все сразу, так и по отдельности.
Преимущества:
Расширенная настройка оповещения пользователяИндивидуальная настройка на каждый день неделиВозможность установить будильники с разными настройками на одну дату
1. Вспышка на звонок и приложения
Умный блокнот, переводчик, словарь и другие полезные программы для пользователей с особыми потребностями.
1. Яндекс.Разговор: помощь глухим
Глухим бывает сложно общаться с другими людьми. Часто приходится носить с собой блокнот и ручку, чтобы собеседники могли написать им своё обращение.
Приложение «Яндекс.Разговор» специально разработано для того, чтобы люди с нарушениями слуха не испытывали проблем в общении. Оно переводит устную речь в текст и обратно. Всё, что вам говорят, показывается на экране смартфона в виде текста. Можно также набрать нужные слова, после чего приложение озвучит их. Все реплики записываются в виде диалогов.
2. Deaf Pad Pro
Это приложение может служить умным блокнотом для людей с плохим слухом. Оно умеет распознавать слова собеседника и превращать их в текст. Если пользователь страдает также расстройством речи, то он может набирать свой ответ на клавиатуре в этом же приложении. Кроме этого, в Deaf Pad Pro есть функция перевода для общения на иностранном языке.
3. Spread Signs
Это самый большой в мире словарь жестов. Он содержит более 200 000 движений для общения с носителями самых разных языков, в том числе английского, немецкого, русского, испанского, шведского, турецкого, украинского и других.
4. Язык жестов — азбука
Одно из лучших приложений для обучения азбуке глухонемых. В его состав входят упражнения и тесты, а также несколько мини-игр, позволяющих в увлекательной форме изучить все необходимые для общения жесты. Приложение пригодится тем, кто хочет освоить язык глухонемых, получить практические навыки применения жестов в словах и фразах или просто открыть для себя нечто новое и интересное.
5. Сурдофон
Эта программа придёт на выручку, когда человеку с нарушениями слуха необходима помощь живого ассистента. Она предлагает функцию видеосвязи с диспетчерским центром сурдоперевода. Там в онлайн-режиме работают профессиональные переводчики на русский жестовый язык.
6. Руки говорят
Ещё одно обучающее приложение для тех, кто хочет освоить язык жестов. Оно предлагает начать с простейших слов, фраз и предложений, постепенно увеличивая сложность и объём материала. Для расширения словарного запаса используется несколько интересных техник, в том числе игры, интерактивные упражнения и тесты.
7. Переводчик глухих
Приложение помогает глухонемым общаться с другими людьми. Благодаря имеющимся в программе шаблонам можно быстро высказать свою просьбу, что пригодится в чрезвычайных случаях, требующих оперативных действий. Также в программу включена краткая история, некоторые интересные факты и мифы о языке жестов.
8. Переводчик ЖЯ
«Переводчик ЖЯ» обеспечивает доступ к специализированному онлайн-центру жестового перевода. Хотя его услуги стоят денег, каждому пользователю предоставляются бесплатные бонусные минуты для ознакомления. После этого можно приобрести удобный для вас тарифный план с круглосуточным доступом.
Хотите выучить ASL с помощью iPhone или iPad? Вот лучшие приложения для iPhone и iPad для изучения языка жестов в любом месте.
Язык жестов — одна из самых распространенных форм общения на планете. Знание его формы, например американского языка жестов (ASL), является полезным навыком даже для тех, кто не полагается на него.
Если у вас есть член семьи или друг, который глух или плохо слышит, выучить даже несколько слов языка жестов может быть полезным.
Есть много ресурсов для тех, кто хочет научиться подписывать, например YouTube и Lifeprint. Но вы также можете выбрать из множества приложений для iOS, которые помогут вам учиться где угодно. Хотя язык жестов не универсален, рынок приложений сильно смещен в сторону ASL. Вот лучшие приложения на языке жестов для изучения ASL на вашем iPhone или iPad.
Имейте в виду, что язык жестов очень сложен и работает с другим синтаксисом, чем устные языки. Если возможно, попрактикуйтесь в языке с кем-нибудь, кто свободно подписывает, и позвольте этим приложениям для iOS дополнить ваше образование. Это поможет вам выучить язык путем погружения в языковую среду.
1. Приложение ASL
Если вы ищете опыт Duolingo, попробуйте приложение ASL. Одна из лучших особенностей заключается в том, что он часто показывает, как два говорящих на ASL взаимодействуют друг с другом, чтобы имитировать настоящий разговор.
В каждом видео вы можете провести пальцем по экрану, чтобы контролировать скорость. Также есть опция замедленного воспроизведения.
Вы даже можете сохранить определенные знаки в папке «Избранное» для быстрого доступа. Хотя приложение предлагает несколько различных модулей обучения бесплатно, вы можете разблокировать все приложение с помощью покупки в приложении.
2. SignSchool
SignSchool — это отличное универсальное приложение ASL, которое предлагает ряд надежных функций. Один из лучших — SignBuilder, который показывает случайные знаки, чтобы вы могли улучшить понимание слов.
Знак дня ASL предлагает новый знак, который нужно учить ежедневно; вы можете получить уведомление, когда новое слово станет доступным для просмотра.
3. Американский язык жестов ASL
Хотя это приложение содержит часто используемые фразы и лексику, это также отличное место для изучения основ. Вы можете выучить полный алфавит и числа от 1 до 100.
Чтобы помочь проверить то, что вы узнали, есть также игра на сопоставление картинок для букв и цифр.
4. Signily
Если вы действительно хотите погрузиться в ASL, отличный вариант — Signily. Дополнительная клавиатура показывает знак для каждой буквы.
Это не самый интуитивно понятный способ научиться подписывать, так как он может лишить вас возможности выучить знаки для конкретных слов вместо того, чтобы писать пальцами.
Но большим преимуществом является то, что все знаки расположены знакомым узором и одним касанием возвращаются к обычным буквам. Переключение между ними должно облегчить запоминание отдельных букв.
5. Словарь ASL
Словарь ASL — это простой и полезный способ выучить язык. В нем есть словарь слов и фраз, который вы можете подписать. Когда вы коснетесь записи, вы увидите видеоклип с этой записью.
Хотя в нем не говорится о грамматике или структуре предложений, словарь ASL отлично справляется с задачей быть быстрым и легким справочником. Также есть режим викторины, который проверяет вас на основе видео.
Приятно то, что вы можете просматривать весь контент и видео без подключения к Интернету.
6. Знаки Марли
Актриса Марли Мэтлин, удостоенная премии Оскар, возглавляет это приложение. Она подписывает алфавит ASL вместе с такими фразами, как «Привет», «Извините» и «Я глухой». Это отличный выбор для тех, кто только начинает учиться у опытного учителя.
Мэтлин подписывает очень медленно, но приложение позволяет воспроизводить короткие образовательные гифки еще медленнее, что полезно для менее ловких учеников и неопытных новичков.
7. ASL с осторожными медведями
Поскольку он явно предназначен для детей, ASL с Care Bears — отличный способ заинтересовать младших школьников в изучении языка. Есть более 400 различных знаков популярных фраз и тематик, подходящих для детей.
В соответствии с его названием, дети также могут выучить имена всех медведей-заправщиков в ASL.
Два пакета поставляются бесплатно с приложением, в то время как значительное количество дополнительного контента можно разблокировать с помощью одной покупки в приложении.
8. Исследование ASL
Приложение ASL Study поможет вам выучить 450 повседневных разговорных предложений и более 8 500 общих слов на языке жестов.
Слова и предложения сгруппированы в разные наборы, охватывающие определенные темы. Вы можете добавить знаки в закладки, чтобы вернуться и попрактиковаться позже. Также есть функция тестирования, в которой вы проходите тест, чтобы узнать, насколько хорошо вы справляетесь.
С помощью покупок в приложении вы можете разблокировать дополнительные учебные пакеты или все слова в приложении.
9. Переводчик ASL
Используя приложение ASL Translator, вы можете переводить более 30 000 различных слов на язык жестов в режиме реального времени. Просто убедитесь, что у вас есть подключение к Интернету. Вы можете ввести до 50 слов за один раз и увидеть ASL на экране.
Приложение также научит вас подписывать более 110 фраз на английском языке.
10. MaxASL
MaxASL помогает родителям донести знания ASL до детей младшего возраста — младенцев до пяти лет. Каждая история предлагает два разных режима.
Родители и дети могут посмотреть историю на языке жестов или послушать, как ее читают вслух. Прочитав рассказ, перейдите в раздел словарного запаса, чтобы узнать больше на языке жестов о каждом слове.
С ежемесячной подпиской вы можете разблокировать все истории, загрузить их для просмотра в автономном режиме и многое другое.
Выучить любой новый язык, включая ASL, непросто. Но, надеюсь, эти приложения для iPhone и iPad помогут вам в успешном путешествии.
Не забывайте, что ваше устройство iOS может помочь вам выучить больше языков, чем только ASL.
Узнайте о некоторых удобных встроенных функциях Apple в iPhone, iPad и iPod touch для поддержки глухих, слабослышащих пользователей и пользователей с нарушениями слуха.
Устройства iOS оснащены следующими функциями универсального доступа для глухих, слабослышащих пользователей и пользователей с нарушениями слуха:
Слуховые аппараты
Слуховые аппараты Made for iPhone помогают лучше слышать собеседника и другие звуки на iPhone, iPad и iPod touch. После создания пары со слуховым аппаратом им можно управлять с помощью устройства iOS.
Настройка слухового аппарата Made for iPhone
Live-прослушивание
Благодаря функции «Live-прослушивание» iPhone, iPad или iPod touch можно использовать в качестве удаленного микрофона, который передает окружающие звуки на слуховой аппарат Made for iPhone или наушники AirPods.
Использование устройства в качестве микрофона с помощью функции «Live-прослушивание»
Визуальные оповещения
Светодиодная вспышка на iPhone или iPad Pro может мигать, когда на заблокированное устройство приходит уведомление. Это может пригодиться при получении уведомлений при заблокированном устройстве.
Включение визуальных оаовещений
Вызовы RTT
Начало работы с вызовами RTT
Видеовызовы FaceTime
На всех устройствах iOS установлена программа FaceTime, поэтому вы можете совершать видеовызовы другим пользователями iOS, где бы они ни находились. Благодаря высокому качеству видео и высокой частоте кадров FaceTime идеально подходит для общения языком жестов.
Осуществление видеовызовов в FaceTime
Видеосубтитры
Некоторые видеоматериалы iTunes Store содержат дополнительные аудиодорожки или другие функции универсального доступа, например скрытые субтитры (CC) и субтитры для глухих и слабослышащих пользователей (SDH).
Просмотр видео с субтитрами CC или SDH
Адаптация наушников
Используйте функцию «Адаптация наушников» для индивидуальной настройки звука в наушниках, усиления тихих звуков и регулировки уровня громкости отдельных звуковых частот в соответствии с особенностями вашего слуха. Для индивидуальной настройки звука также можно использовать аудиограмму из приложения «Здоровье».
Читайте также: