生成AI使う時は悪意のある無しに関わらずデータポイズニングに注意

ChatGPTをちょいちょい使ってますが、最近気になるのは出力した文章の内容というかその引用元のあたりです。

ChatGPTでアクセシビリティ関係の情報を収集してみていた時のこと。ChatGPTが出力した文章の中に次のような一文が。

「リアルタイムで手話をテキストに変換するアプリが導入され、聴覚障害者が聴覚を持つ人々と容易にコミュニケーションを取れるようになりました」

これを見たとき「？」と思い。自分が知る限り、日本の「シェアトーク」が近いといえば近いけど、まだ一般には実用化されていないはず。ひょっとしたら海外の方ではすでに手話をテキストに変換できるアプリが発表されていたのかな？と思い、その一文の引用元にアクセスしてみました。

引用元は一般の方が運用しているnoteのページ。その文章の中にはたしかに上の記述に該当する一文があり、手話をテキストに変換できるアプリとして「AVA」というものが紹介されていました。

そこで「AVA」について調べてみたのですが、どうも手話をテキストに変換する機能については出てこない。

他にも手話をテキストに変換すると言われるようなアプリはいくつかあり、それらも調べてみたのですが、はっきりと手話をテキストに変換する機能を明記していたり、デモンストレーションの動画などを公開しているページはありませんでした。

悪意のないデータ・ポイズニング

この一連の状態を見た時にふと思い浮かんだ言葉が「データ・ポイズニング」です。

データ・ポイズニングとは、AIモデルの学習に用いられるデータセットに、意図的に誤った情報や誤導的なデータを混入させる攻撃手法のことを言います。

こうしたデータをAIに読み込ませると、事実ではない情報をあたかも本当のようにChatGPTが出力する場合があると言うことになります。

今回の例はまさにデータ・ポイズニングによって、必ずしも真実とは言えない情報を生成AIが出力した状態だと感じました。

ちなみに手話をテキストに変換するアプリについて記述があったnoteのページは、続きを読む場合に課金が必要な設定になっていました。

ひょっとしたら私の調べ不足によって真実が語られている可能性もありますが、もしそうでないとしたら、事実ではないコンテンツを有料で販売しているというかなりたちの悪いサイトが多数存在するということになります。

運営者に悪意はないのかもしれませんが、なまじ生成AIによって、膨大な文章量のコンテンツを、事実かどうかの裏付けも取らずさも真実かのように公開してしまう一般サイトは、今後も増えてくると思います。そうなると個人など一般人が発信する情報の信頼性は、さらに低評価を受ける可能性が高まると思います。

折しも最近ではAIで作成された首相の偽動画が話題になっていることもあり、文章だけでなく映像も含めあらゆるコンテンツの真偽が分かりにくくなりつつあります。

こうした事実ではないコンテンツが増え、そうしたコンテンツを生成AIが読み込むことで、どんどん真実から遠く離れた出力をしてしまう。いわゆるデータ・ポイズニングのスパイラルは、すでに身近なものになりつつあるのかもしれないと感じた今日でした。