生成AI(人工知能)サービスが急速に普及する中、犯罪組織がAIを悪用するため、インターネットの検索結果を不正操作していることがわかった。誤った情報を収集したAIが詐欺の宣伝文句を肯定したり、利用者を偽のショッピングサイトなどに誘導したりしたケースが確認され、警察やセキュリティー会社が注意喚起している。(立原朱音、木村雄二)
「詐欺ではありません」「儲(もう)かったと定評があります」――。警視庁が6月、実際の投資詐欺で宣伝文句にされていた「資産倍増計画」などの単語を大手検索エンジンで検索すると、「AI要約」として、こんな肯定的な言葉が並んだ。
AI要約は検索された単語について、複数のウェブサイトを参照して自動的に情報収集するプログラムで作成されている。
警視庁によると、詐欺グループは、国営公園や官公庁などのウェブサイト内の検索バーに「資産倍増計画はもうかる」などと入力し、この文章を含むURLを作成。インターネット上で拡散し、AIに誤った情報を学習させたとみられる。
これは「サイト内検索スパム(迷惑)」と呼ばれる手口で、架空の投資の勧誘を受けた人がネット検索してAI要約を見ることを想定し、ネット上に肯定的な言葉を並べて信じさせる狙いがあるとみられる。
警視庁はこの手口の作業を請け負っていた業者を確認。中国語で宣伝し、秘匿性の高い通信アプリ「テレグラム」の連絡先が提示されていたという。捜査幹部は「AI要約をうのみにせず、情報元を確認し、慎重に真偽を見極めてほしい」としている。
人気商品のシールやブランド品の販売元を聞かれた生成AIのチャットサービスが、偽サイトを紹介したケースも確認された。
情報セキュリティー会社「トレンドマイクロ」(東京)が9月にウェブ上で実施した調査では、対話型AIサービス「チャットGPT」とグーグルのAIモデル「ジェミニ」が今年1~8月、チャットサービスの利用者を偽のショッピングサイトや金融機関を装ったフィッシングサイトなどの危険サイトに誘導したケースが、少なくとも6969件に上った。「公式サイト」を尋ねたケースでも同じ現象が起きたという。
なぜ、こうした事態が起きたのか。調査を担当したトレンドマイクロ社の詐欺対策チーフアナリスト・本野賢一郎氏は「犯罪組織は、偽サイトが検索結果の上位に表示されるように不正操作するなどして、AIをだましている」と分析する。
閲覧者やAIに「公式」と信じ込ませるために、SNSの偽アカウントを作成して偽サイトへのリンクを張ったり、古くからある無関係のサイトを改ざんして偽サイトを埋め込み、閲覧者を誘導したりしているという。
チャットGPTが人気ブランドのバッグの販売元として紹介した大手百貨店の偽サイトでは、百貨店のロゴや商品画像が正規のものに酷似しており、誘導された閲覧者が詐欺サイトと見抜くのは難しい。
警察庁によると、今年上半期(1~6月)にインターネットを利用した詐欺などの被害額は、前年同期比45%増の1755億円に上り、深刻な状況だ。
同庁は詐欺サイトへの接続をブロックする防犯アプリやソフトウェアの活用を呼びかけている。本野氏も防犯アプリの有効性を強調した上で、「AIは便利だが、事実と異なることをもっともらしく答える『ハルシネーション(幻覚)』が発生するリスクを理解することも重要」と指摘する。
人気の商品名など詐欺グループが目を付けやすいキーワードを検索すると偽サイトに誘導されるリスクが高まるといい、本野氏は「品薄の商品を破格で販売するとうたうショッピングサイトは詐欺を疑うべきだ。大事な買い物は、公式サイトやアプリを利用することも有効だろう」と話した。
大手検索エンジンのグーグル日本法人は「悪質な詐欺からユーザーを守ることは最優先事項。システムやAIの精度を継続的に向上させ、迅速に対応している」などとしている。