Provodyr: ШІ асистент для незрячих і людей зі слабким зором 

Зрячі люди не часто стикаються з такими труднощами, як секунда вагання перед переходом вулиці, пошук прилавка в аптеці наосліп, спроба зрозуміти, на якому поверсі щойно зупинився ліфт. Для незрячих і людей зі слабким зором такі моменти трапляються по кілька десятків разів на день. І розв’язувати їх доводиться тростиною, завченим напам’ять маршрутом або проханням про допомогу до першого-ліпшого перехожого. 

Свою назву мобільний додаток Provodyr отримав від українського слова «проводир» – той, хто веде за собою. Про застосунок уже розповіло американське видання Entrepreneur. Він перетворює камеру, мікрофон, компас і барометр телефону на голос, що описує світ навколо простою мовою, без зайвої інформації. Так само Provodyr працює й через розумні окуляри – для тих, хто хоче залишити руки вільними. Жодних меню для гортання, жодного екрана, в який треба вдивлятися. Просто запитання і відповідь на нього. 

Запитання замість меню 

Взаємодія з Provodyr гранично проста: наводиш камеру, ставиш запитання вголос і чуєш відповідь. Можна запитати, що написано в меню ресторану, куди відчиняються двері – на себе чи від себе, якого кольору сорочка. Асистент розуміє контекст, оскільки пам’ятає кілька останніх запитів, тож наступне запитання, скажімо, «а що на вивісці поруч?» – не потребує пояснень спочатку. 

Запустити асистента можна кнопкою або голосом, адже достатньо сказати «Асистент». А ярлики Siri дозволяють викликати основні функції, навіть не відкриваючи застосунок. Це особливо зручно, коли руки зайняті або телефон лежить у кишені, – а з розумними окулярами діставати телефон не потрібно взагалі. 

І що найголовніше – Provodyr не залежить від хмари. Є з’єднання – запит іде до хмарної моделі; немає – вмикається локальна, на самому пристрої. Вибір за користувачем, а не за мережею. Усі запити й фото можна зберігати в історії, щоб не питати про те саме двічі. А перш ніж відповісти, асистент повторює запитання – так легше вчасно помітити, якщо він щось розчув неправильно. 

Напрямок – мовою циферблата 

Другий режим Provodyr – це про те, як дістатися з точки А в точку Б. Пошук голосом або текстом, категорії поруч (аптеки, зупинки) і покрокові підказки, які самі оновлюються, щойно людина збивається з курсу. 

Замість градусів чи сторін світу Provodyr говорить мовою, звичною для сприйняття, – позиціями на циферблаті годинника. «Рухайтеся у напрямку другої години» зрозуміти набагато легше, ніж «поверніть на 60 градусів праворуч», відповідно, не треба подумки перекладати абстрактні кути на напрямок руху. А якщо маршрут суттєво порушено, застосунок перебудовує його сам, без запиту. 

Навігація не змушує зупинятися заради запитання: «Де я?» чи «Скільки ще йти?» можна спитати просто на ходу. А маршрути, якими люди ходять регулярно, запускаються одним дотиком. 

Там, де GPS безсилий, працює барометр 

Навігацію на вулиці асистивні технології здебільшого вже опанували. А ось усередині будівель – і особливо в ліфтах – ні. GPS туди не дістає, кнопки поверхів не завжди підписані шрифтом Брайля, а голосові оголошення поверхів є далеко не скрізь. 

Тому третій режим Provodyr покладається на барометр телефону: він фіксує найменші перепади тиску під час руху ліфта й перетворює їх на номер поверху – голосом, звуком чи вібрацією. Будівлю достатньо відкалібрувати один раз, і профіль збережеться в хмарі. Таким чином, наступного разу калібрувати заново не доведеться. Система враховує й різноманітні відмінності, такі як нульові поверхи, пропущений тринадцятий поверх, нерівну висоту поверхів. А регулярні маршрути, скажімо, з вестибюля на дев’ятий поверх, можна зберегти як пресет і запускати одним дотиком або через голосового асистента. 

Працює і без мережі 

Усі три режими мають одну ідею: зв’язок може зникнути, а Provodyr – ні. 

• Активаційне слово розпізнається повністю на пристрої, тож запустити асистента можна й без сигналу. 

• Фото обробляються локально ще до відправлення – це економить і час, і трафік. 

• А там, де мережі взагалі немає, як-от у підвалі, в літаку, під час збою, локальна модель ШІ, розпізнавання мовлення й синтез голосу продовжують працювати самі. 

Додаток створений доповнювати звичні інструменти доступності, а не замінювати їх. Повна підтримка VoiceOver і TalkBack означає ті самі жести й той самий тактильний відгук, що й у решті телефону – вчити новий інтерфейс не доведеться. А оскільки журнал запитань і фото потрібен не всім, логування можна залишити лише текстовим, додати до нього фото або вимкнути повністю. 

Створений разом із незрячими, а не просто для них 

За рішеннями Provodyr – циферблат замість градусів, барометр замість GPS там, де GPS не працює, офлайн-режим замість залежності від мережі – стоїть один принцип: додаток будували, відштовхуючись від того, як незрячі і люди зі слабким зором, серед них цивільні та ветерани, насправді проживають свій день, а не від абстрактних уявлень про доступність. 

У цьому ж напрямку рухається й розвиток застосунку. Provodyr готується вийти на iOS та Android, і команда особливо чекає на відгук реабілітаційних центрів, ветеранських програм і фондів, які працюють із спільнотами для незрячих і людей зі слабким зором напряму. Адже показати застосунок їм важливіше, ніж просто розповісти про нього. 

Утім, технології, на яких побудований Provodyr, корисні не лише у сфері доступності. Голосові інтерфейси, комп’ютерний зір на самому пристрої та ШІ, що працює без зв’язку, знаходять застосування далеко за межами навігації, і команда Agiliway розробляє подібні рішення для компаній з інших галузей. Тож якщо хочеться дізнатися більше про те, як створювали застосунок, або як впровадити схожі технології у власний продукт, команда відкрита до розмови.