Bingアプリで画像の内容を把握。VoiceOverと音声入力で使う時はちょっとしたコツが

BingアプリがGPT-4に対応したようです。

iPhoneのBingアプリで試したところ、たしかにGPT-4を選択できるようになっていました。実際に使ってみると、以前よりもかなり詳細な回答が長文で返ってくることもあり、なかなか良さげな感じがします。

表題の件について、Bingに画像を読み込ませて説明してもらうことは以前にもブログで書いたことがありましたが、その時はPCのブラウザで試したときのでした。今回改めてiPhoneのBingアプリで試したところ、同様に問題なく使えました。

驚いたのが、Bingへの質問をBingのマイクボタンから音声で行うと、回答も音声で返ってくること。これが流暢な発音でびっくり。音声を使う視覚障害の方にとってはかなり便利かもしれません。

であるなら、「iPhoneのVoiceOver（音声読み上げ機能）を使ってBingアプリで画像を読み込み説明してもらえたらかなり便利なのでは？」と思い、実際にiPhoneのVoiceOverを起動して一連の操作を行ってみました。

結論から言うと、できる。ただしちょっとしたコツが必要という感じです。

Bingアプリからチャットを開き、画像を読み込ませるかカメラで写真を撮って読み込ませるところまでは、VoiceOverを使っても順調にできました。

問題は、読み込ませた写真について「この写真について説明して」といったお願いを音声入力で行った場合です。このときBingは自分の声だけでなくVoiceOverの音声も拾ってしまったので、「写真の説明をして」というお願いが正常に入力されず、画像の説明をしてもらえませんでした。

これに対する対処法はいくつか考えられます。ひとつは、音声入力ではなくキーボード入力で「この写真について説明して」といったお願いを入力する方法。

もうひとつは、音声入力の前に一時的にVoiceOverの読み上げをオフ（3本指2回で切り替えられます）にした上で、Bingに「写真の説明をして」というお願いを入力する方法。入力が完了したあとでVoiceOverの読み上げをオンに戻せば元通りです。

いずれにせよ、Bingなど生成AIによる画像解析機能の進化はめざましく、視覚障害のある方がこれを使わない手はないと思います。もちろんすべてが正しく解析されるとは限りませんが、以前より格段に詳しい情報を画像から読み取れるこの機能は本当にすごいと思います。