私は視覚に障害があり、郵便物や商品パッケージの文字などを読むことが難しく、近くですれ違った人の顔もわからないくらいの見え方です。しかし、近年、AI技術を利用することで文字やモノ、風景などの認識精度が飛躍的に向上したさまざまな視覚支援アプリが登場しています。今回はその中から「Envison AI」を紹介します。
アプリ開発のきっかけ
アプリを開発したのは、インド出身でデルフト工科大学卒業生であるプロダクトデザイナーのカールティク・マハーデーヴァンさんとエンジニアのカールティク・カナンさんです。マハーデーヴァンさんが母国のインドにある盲学校を訪れたとき、視覚障害を持つ学生たちを見て、自立した生活をするためのサポートが必要だと感じました。
そこでカールティク・マハーデーヴァンさんはプロダクトデザイナーとして何か助けになれないだろうかと考え、大学在学中にアプリの開発をスタートし、卒業後カールティク・カナンさんと共にスタートアップ企業を立ち上げられました。
「Envision AI」ってどんなアプリ
「Envision AI」は、スマートフォンのカメラを通して視覚障がい者に音声で周囲の状況を教えてくれるアプリです。
アプリには、文字を音声で読み上げてくれる「インスタントテキスト」「スキャンテキスト」、何かを識別するときに使う「風景を説明する」「色を検出する」「バーコードをスキャンする」「アクセシブルなQRコードをスキャンする」、何かを探したり見つけたいときに使う「人を見つける」「物を見つける」「探索」の９つのモードがあります。
機能の紹介と活用法
それぞれの機能で何ができるのか、私がどんなときに活用しているのかを紹介します。
1.インスタントテキスト
商品名などちょっと確認したいときに使用する機能で、カメラを文字にかざすとすぐに音声読み上げが開始されます。私はお店で買い物をするときに使っていて、おにぎりやお菓子を選ぶときに便利です。
2.スキャンテキスト
カメラで撮影した文字をAIが解析してくれるのでインスタントテキストよりも精度が高いです。長い文章を確認するのに向いていて、私は仕事の書類や郵便物の内容、飲食店でメニューを確認するときに活用しています。
見えなくても書類などがカメラに収まるよう音声ガイドがあり、画面に対象物が収まると自動でシャッターが切られるのでほとんど見えていない私でも使うことができます。
3.風景を説明する
カメラで撮影した画像に何が写っているのか、また、どのような様子なのかを知ることができます。
「簡単な説明を見る」と「詳しい説明を見る」のどちらかを選ぶとシャッターが切られ、画像をAIが解析し教えてくれます。
試しに、わかさ生活のキャラクターであるブルブルくんを「詳しい説明を見る」で撮影してみました。するとAIでは
「画像はビデオゲームからキャラクターに似ている緑色の目を持つ紫色のぬいぐるみを特徴としています。ぬいぐるみは白い表面に座っている、おそらくテーブルぬいぐるされた動物の紫色と緑色の色は活気に満ちて、人目を引くものです。」
と解析結果がでました。言葉にもミスがあり、AI解析は不十分でわかりづらいものでした。今後さらに進化してより良いものになることを期待しています。
4.色を検出
色の確認をしたいときに対象物にカメラを向けると何色なのかがすぐにわかります。私は服や靴下の色を確認したいときに使用しています。
5.バーコードをスキャンする
商品の詳細情報を確認出来るということだったので、いくつか商品のバーコードを読み取ろうとしましたが、どれもうまくいきませんでした。どうやら登録されている商品が少ないようで残念です。
6.アクセシブルなQRコードをスキャンする
こちらも商品の詳細を確認できるそうですが、身近なものにQRコードがついたものを見つけることができませんでした。
7.人を見つける
カメラで周囲を見渡し、人が写るとビープ音※が鳴ります。しかも、事前に友人や仕事仲間などの顔と名前を登録しておくと、名前もわかります。私は人の顔が見えていないので、職場で人を探すときに役立っています。
※電子機器が通知のために発する音
8.物を見つける
電気のスイッチ・階段・ドア・コーヒーカップなどアプリに登録されているものの中から探したいものを1つ選び、カメラで周囲を見渡して探しているものが写ると、ビープ音で知らせてくれます。
9.探索
「物を見つける」のように1つの物を探すのではなく、テーブルや椅子、階段などカメラに何が映っているのかを教えてくれます。
私はまだ、「物を見つける」も探索も使ったことはないのですが、初めていく場所で「風景を説明する」と組み合わせることで、周囲の状況を知ることができるのではと考えています。
「エンビジョングラス」との連携も可能
「エンビジョングラス」は、「Envision AI」と連携して使用する視覚障がい者向けメガネ型高性能ウェアラブル端末です。
本体はGlass Enterprise Edition 2を採用した軽量チタニウムフレームで、カメラ、ディスプレイ、スピーカー、ＵＳＢポート、タッチパネル、電源ボタンが搭載されています。エンビジョングラスがあればスマートフォンのカメラで手がふさがることなく上記で紹介した機能を利用することができます。
最後に
実際にアプリを使用してみて、もう少しAIの能力がアップして欲しいと感じる部分はありましたが、買い物のときに誰かに頼らず一人で好きなものを選ぶことができたり、仕事で今まで読むことができなかった書類などが確認できるようになるなど、このアプリのおかげで一人でできることが増えたので、とても嬉しく思っています。
さらにアプリが進化して出来ることが増えた未来を想像すると、とてもわくわくします。
参考URL
エンビジョングラス
メノコト365「見えない、見えづらい方をサポートする技術が次々登場！注目のアイウェアを紹介」
アプリのダウンロード
androidの方はこちら
iPhoneの方はこちら
※アプリのダウンロードは無料です。
※アプリを利用するためにはアカウント登録が必要です。
