調査によると、市内の企業が運営する動画アカウント（フォロワー数約88万人）のライブ配信で、「深海魚由来フィッシュオイル」を販売し、目まい・頭痛・手足のしびれ・記憶力低下など、さまざまな疾患に効果があると宣伝していた。配信中には、中国中央電視台（CCTV）の人気キャスター李梓萌氏が登場し、あたかも商品の推薦コメントを行っているかのように見えた。

しかし当局の調べでは、当該製品は実際には「糖果（キャンディー）」規格の一般食品に過ぎず、医療効果は一切認められていなかった。また、動画内に登場するキャスターの映像はAIによる合成動画（ディープフェイク）であることが判明。李梓萌氏の公開映像を編集・加工し、自作のナレーションを加えて虚偽の宣伝と製品販売を行っていたという。

ライブ配信の様子

これは北京市の監督当局が、生成AIを悪用した虚偽広告に対して初めて実施した取り締まり事例だとされる。AI技術の普及に伴い、有名人の肖像を無断で使用した偽広告やニュース報道の改ざん、権威機関を装うなどが容易になり、社会的なリスクが高まっている。専門家は、AI生成コンテンツ利用に関する法的責任の明確化と、識別技術の整備が急務だと指摘している。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

有名人の「顔」70万円で販売。ディープフェイク技術で金儲け、中国で事例報告

顔写真が20円で取引される中国。犯罪者が顔認証データ偽造、詐欺に悪用

中国で続出する芸能人の不祥事によるお蔵入り問題、AIで顔交換して別人が熱演

（36Kr Japan編集部・茶谷弥生）

The post AI生成の「CCTVキャスター」が商品宣伝　北京市で初のAI虚偽広告を摘発 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

人工知能（AI）で作られた偽コンテンツの検出技術を手がけるスタートアップ企業「中科睿鑑（Smart Insight）」がこのほど、達晨財智（Fortune Capital）から1億元（約140億円）近くを調達した。資金は製品ラインの拡大、検出AIの開発に充てられるという。

Smart Insightは2020年に設立され、ディープフェイクやAI生成コンテンツ（AIGC）、改ざんされたソフトウエアなど、AIで作られた偽の音声・動画・画像コンテンツの検出技術に注力する。AIによる偽コンテンツの検出、フェイクニュースの識別、マルチメディアコンテンツのセキュリティ審査、大規模言語モデルのセキュリティ評価などの技術を有し、政府や企業、個人にソリューションと製品を提供している。

同社は偽コンテンツ検出分野で中国を代表する1社だ。創業者の曹娟氏は、中国科学院計算技術研究所でデジタルコンテンツ合成・偽造検出研究室の主任を務めている。チームは、複数の国際会議や権威ある学術誌で70本を超える論文を発表し、偽造検出に関する50件余りの特許を保有している。

各AIモデルのアルゴリズムには、人間の指紋のようにそれぞれ異なる固有の特徴があり、アルゴリズムが合成したデータをAIで解読するための手がかりとなる。

例えば、同社の画像検出ツール 「睿図」を使って調べた顔画像のうち3枚は、生成AIで作られた画像と判定され、アルゴリズムの特徴から画像生成AIのMidjourneyが使用されたとの結果が出た。

「睿図」がMidjourneyの生成画像を検出（画像：企業提供）

しかし、生成AI技術が飛躍的に進歩したため、従来の検出技術ではもはや十分に対応できなくなっている。

曹氏は、これまでは特定の分野に特化した小規模な検出モデルを使っていたが、大規模言語モデル（LLM）の発展により、アルゴリズムの汎用性と汎化性が大きく向上したと説明する。つまり、特定の分野にしか対応できない小規模な検出モデルでは、AIが無限に生み出す偽コンテンツに対処できなくなったのだ。

これを受けて、同社も高い汎化能力を持つ大規模な検出モデルでディープフェイクに対処しようと考え、2023年3月に独自開発のコンテンツ検出マルチモーダル基盤モデル「睿鑑図霊」を発表した。

曹氏によると、60億のパラメータを持つ「睿鑑図霊」は、200テラバイト（TB）に上る高品質の生成データとシーンデータをもとに訓練されている。また、検出分野のMoE（混合専門家）アーキテクチャを採用することで、40余りの小規模な検出モデルを統合し、より効率的で正確な検出を可能にした。さらに、高い汎化能力を持つため、新たに出現する生成AI技術に応じて、検出能力を迅速に進化させられるという。

同社はさまざまな偽コンテンツの検出やマルチモーダルデータの生成、コンテンツのコンプライアンス審査などのコア技術をベースに、モデルからデータ、ハードウエアに至るAI技術を公共や金融、メディア、教育のセキュリティに活用し、テキスト、画像、動画、音声の偽コンテンツ検出を進めている。

「睿鑑図霊」をベースとする検出エンジンは、Stable Diffusion、Midjourney、DALL-E、VideoPoet、Soraなど主要な画像・動画生成AIで作られたコンテンツを平均90％以上の精度で検出できる。また、Gen-2やPikaなど10種類以上の動画生成AIによるコンテンツに対しても、検出精度が90％を超える。

「睿鑑図霊」によるAI生成動画（左）とリアル動画（右）の検出結果（画像：企業提供）

曹氏によると、ディープフェイク検出技術が大きく広がったのは2023年だ。それ以前は、生成AIの量が少なく種類も限られていたことから、検出技術は特定の分野でしか効果を発揮できなかった。そのため、同社は政府や企業向けのサービスに注力していた。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

今ではAIが作った偽コンテンツの数と種類が増え、検出技術を消費者向けに提供する必要性が高まった。同社は2022年にWeChatミニアプリ「睿鑑AI」をリリースし、消費者向けにテキストや画像、動画の検出サービスを開始している。曹氏は今後について、PC用ソフトウエアやアプリなどさまざまな形で、消費者向け検出ツールを提供していく方針を示した。

＊1ドル＝144円で計算しています。

（翻訳・大谷晶洋）

※本記事は2024年9月30日初出の記事を再配信します。

The post ディープフェイク対策にAI検出ツール、90％以上の精度で偽写真や動画を見破る中国テック【人気記事再掲】 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

Smart Insightは2020年に設立され、ディープフェイクやAI生成コンテンツ（AIGC）、改ざんされたソフトウエアなど、AIで作られた偽の音声・動画・画像コンテンツの検出技術に注力する。AIによる偽コンテンツの検出、フェイクニュースの識別、マルチメディアコンテンツのセキュリティ審査、大規模言語モデルのセキュリティ評価などの技術を有し、政府や企業、個人にソリューションと製品を提供している。

同社は偽コンテンツ検出分野で中国を代表する1社だ。創業者の曹娟氏は、中国科学院計算技術研究所でデジタルコンテンツ合成・偽造検出研究室の主任を務めている。チームは、複数の国際会議や権威ある学術誌で70本を超える論文を発表し、偽造検出に関する50件余りの特許を保有している。

各AIモデルのアルゴリズムには、人間の指紋のようにそれぞれ異なる固有の特徴があり、アルゴリズムが合成したデータをAIで解読するための手がかりとなる。

例えば、同社の画像検出ツール 「睿図」を使って調べた顔画像のうち3枚は、生成AIで作られた画像と判定され、アルゴリズムの特徴から画像生成AIのMidjourneyが使用されたとの結果が出た。

「睿図」がMidjourneyの生成画像を検出（画像：企業提供）

しかし、生成AI技術が飛躍的に進歩したため、従来の検出技術ではもはや十分に対応できなくなっている。

曹氏は、これまでは特定の分野に特化した小規模な検出モデルを使っていたが、大規模言語モデル（LLM）の発展により、アルゴリズムの汎用性と汎化性が大きく向上したと説明する。つまり、特定の分野にしか対応できない小規模な検出モデルでは、AIが無限に生み出す偽コンテンツに対処できなくなったのだ。

これを受けて、同社も高い汎化能力を持つ大規模な検出モデルでディープフェイクに対処しようと考え、2023年3月に独自開発のコンテンツ検出マルチモーダル基盤モデル「睿鑑図霊」を発表した。

曹氏によると、60億のパラメータを持つ「睿鑑図霊」は、200テラバイト（TB）に上る高品質の生成データとシーンデータをもとに訓練されている。また、検出分野のMoE（混合専門家）アーキテクチャを採用することで、40余りの小規模な検出モデルを統合し、より効率的で正確な検出を可能にした。さらに、高い汎化能力を持つため、新たに出現する生成AI技術に応じて、検出能力を迅速に進化させられるという。

同社はさまざまな偽コンテンツの検出やマルチモーダルデータの生成、コンテンツのコンプライアンス審査などのコア技術をベースに、モデルからデータ、ハードウエアに至るAI技術を公共や金融、メディア、教育のセキュリティに活用し、テキスト、画像、動画、音声の偽コンテンツ検出を進めている。

「睿鑑図霊」をベースとする検出エンジンは、Stable Diffusion、Midjourney、DALL-E、VideoPoet、Soraなど主要な画像・動画生成AIで作られたコンテンツを平均90％以上の精度で検出できる。また、Gen-2やPikaなど10種類以上の動画生成AIによるコンテンツに対しても、検出精度が90％を超える。

「睿鑑図霊」によるAI生成動画（左）とリアル動画（右）の検出結果（画像：企業提供）

曹氏によると、ディープフェイク検出技術が大きく広がったのは2023年だ。それ以前は、生成AIの量が少なく種類も限られていたことから、検出技術は特定の分野でしか効果を発揮できなかった。そのため、同社は政府や企業向けのサービスに注力していた。

今ではAIが作った偽コンテンツの数と種類が増え、検出技術を消費者向けに提供する必要性が高まった。同社は2022年にWeChatミニアプリ「睿鑑AI」をリリースし、消費者向けにテキストや画像、動画の検出サービスを開始している。曹氏は今後について、PC用ソフトウエアやアプリなどさまざまな形で、消費者向け検出ツールを提供していく方針を示した。

＊1ドル＝144円で計算しています。

（翻訳・大谷晶洋）

The post ディープフェイク対策にAI検出ツール、90％以上の精度で偽写真や動画を見破る中国テック first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

とくに悪質な組織は、複数のMCNを運営しているという名目で800以上のアカウントを管理しており、1日で最大7000本以上の記事を投稿し、1日あたり1万元（約22万円）以上の報酬をプラットフォームから受け取っていたという。

記事作成には音声対話機能を持つ生成AIソフトが使われた。キーワードを言うと、ネット上の関連情報を検索し、数百～1000文字の記事が自動生成される仕組みだ。「XXが爆発！」「XXが逮捕！」、「XXが不祥事件！」といった刺激的なタイトルの記事に、事件と関連があるかのようなフェイク画像を添え、ネットユーザーの関心を集めていた。

法執行機関は、悪質なフェイクニュースで公共の秩序を乱したとして、複数の個人に行政拘留3～5日間の処罰を科した上で、不法所得を没収し、アカウントを閉鎖した。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

目下、生成AIツールはさまざまな業界で幅広く活用されているが、生成されたコンテンツが物議を醸すこともしばしばあるため、コンプライアンスを守る仕組みを強化し続ける必要がある。

現時点では、最先端のAI技術を持つテクノロジー企業であっても、基本的には人の目でコンテンツのチェックとフィルタリングを行ってしている。現在は、関連事例を蓄積して総括しながら、人間とAIが補完しあう審査メカニズムを構築している段階だという。

中国ネット大手の騰訊控股（テンセント）は2024年6月に発表した公告で、傘下のSNSアプリ「微信（WeChat）」を通じて国内外の時事や公共政策、社会事件などに関連する情報を発信する際は、根拠とした権威あるメディアの記事や科学論文などを注記しなければならないとした。また、AIを用いて生成した情報を発信する場合は、AIが生成したコンテンツであることを必ず明記するよう求めた。

中国で続出する芸能人の不祥事によるお蔵入り問題、AIで顔交換して別人が熱演

＊1元＝約22円で計算しています。

（36Kr Japan編集部）

The post 1日7000件投稿、最大22万円稼ぐ・・中国、生成AIによる偽ニュース急増、逮捕されるケースも first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

2015年に設立された有光科技は、香港大学からスピンオフした企業で、香港特別行政区政府が直轄してテクノロジー企業などを支援する「香港科技園（HKSTP）」の支援を受けている。AIを活用した音声認識（ASR）、話者分離、声紋照合、音声合成、自然言語処理（NLP）などの技術を開発・提供し、銀行・金融サービス業界や公共部門で数多くの法人顧客を獲得している。

世界では現在、電話を使った詐欺などの被害が深刻化している。有光科技のスマート音声分析システム「Callinter」は、詐欺に関連する会話を自動的に検出し、銀行などのリスク管理部門が最も緊急性の高い問い合わせを可能な限り迅速に解決できるようにする。また、リアルタイム分析機能により、関連部門への報告時間を半分に短縮することができる。さらに、音声認識機能を用いて詐欺師の身元を特定し、発話の文型パターン、キーワード、フレーズを分析することで、詐欺師が属するグループを追跡することも可能だという。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

同社は、ディープフェイクを使ったオンライン詐欺やサイバー攻撃の検知にAI技術を活用する研究にも積極的に取り組み続けている。

（36Kr Japan編集部）　　

The post 音声認識で詐欺電話撃退、香港発AIベンチャー「Fano Labs」がシリーズBで資金調達 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

中国人俳優の顔が欧米人風の顔に入れ替わっているにもかかわらず、表情も動きも極めて自然だったのだ。このショートドラマを見た業界関係者たちからは、どよめきの声が上がった。中国で制作したショートドラマを海外向けに翻訳し、AI顔交換技術と組み合わせれば、低コストなリメイクが可能なうえ、視覚的なローカライズがさらに一歩進む可能性がある。

「Heygen」のAI顔交換技術を用いたショートドラマに驚きの声（「X」ユーザーの投稿）

話題のショートドラマは、AI動画制作ツールを提供する「Heygen」の技術を利用して制作された。同社のAI顔交換技術を使えば瞬く間に俳優の顔を入れ替えることができ、口元の動きも外国語のセリフに合わせられるという。

中国では数多くのショートドラマが制作されているが、業界大手でも海外向けのショートドラマを現地制作する能力は不十分で、1か月に4〜5本が限界とされる。しかし、AI顔交換技術を活用すれば、中国で制作したショートドラマを迅速に「輸出」できるようになる。一見すると完璧な解決策のようだが、AI顔交換技術を提供する複数の企業に取材した結果、やや厳しい現実が見えてきた。

まず、AI顔交換技術のコストは低くない。現在のところ、ショート動画の登場人物の顔をAI技術で交換する費用は5万〜10万元（約100万〜200万円）またはそれ以上となっている。口元の動きを翻訳済みの外国語に合わせるには追加費用が求められるため、全体では20万元（約400万円）ほどが必要になる。しかし、資金投入に見合う収入が得られるかは分からない。海外向けショート動画を提供する企業は、費用対効果の点で懸念を示す。

次に、俳優の顔を入れ替えても、海外の視聴者に受け入れられるとは限らない。ショートドラマでは、ビジュアル面で寄せる以上に、文化的背景や取り扱うテーマが重要になる。世界共通のテーマならば別だが、海外になじまないストーリーであれば、AI顔交換も解決策にはならない。将来的な収益化の点でも、費用対効果を検討する必要があるだろう。

中国で続出する芸能人の不祥事によるお蔵入り問題、AIで顔交換して別人が熱演

海外でショートドラマを撮影・制作するには多額の費用が必要になる。各社とも米国を避け、ルーマニアなど比較的経済規模の小さい欧州の国の映像制作会社に業務を委託し、コスト削減を図ってきた。

取材を進めるなかで、AI顔交換技術を利用し、費用対効果をより大きく引き上げる方法があることが分かった。海外向けの脚本をもとに中国人俳優が演じるショートドラマを中国で撮影し、オリジナルを国内向けに、俳優の顔を外国人風に入れ替えたバージョンを海外向けに配信するというものだ。AI顔交換技術のコストは、海外での制作費に比べれば安い。しかも、この方法ならば文化的背景やストーリーに対する違和感も払拭できる。

AI顔交換技術を提供する「円夢空間」によると、海外でショートドラマを制作する費用は15万〜25万ドル（約2200万〜3700万円）かかるが、国内で制作すれば制作費50万元（約1000万円）にAI顔交換の費用20万元を加えても70万元（約1400万円）で済み、大幅なコスト削減が可能になるという。

1話3分で楽しめるショートドラマが熱い。中国発の人気アプリは月間190万DL、日本発「BUMP」も勢い

＊2024年1月21日のレート（1元＝約21円、1ドル＝約148円）で計算しています。

原文：白鲸出海（WeChat公式ID：baijingapp）

（翻訳・田村広子）

The post AI顔交換で中国発ショートドラマを海外向けにリメイク。制作コスト削減で世界展開を加速 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

昨今、中国ではミャンマーをはじめ東南アジア諸国を拠点とした中国人の特殊詐欺が問題視され話題になり、その風評被害で中国人の東南アジア旅行の足が鈍るほどになっている。中国人がナーバスになる原因となったミャンマーを拠点とする特殊詐欺グループのトップに杜旭東氏がお祝いのビデオメッセージを送っていたことが判明し、瞬く間にネットで炎上案件となり、出演した作品の顔を変更する事態へと発展した。

芸能人や有名人のスキャンダルにより、出演したバラエティ番組やドラマでその顔をAIによって別人に変えられることはこれが初めてではない。顔へのモザイク処理を含めればさらに前例は多い。

例えば2020年に放映された「三千鴉殺」というドラマでは、出演した若き女優・劉露氏が駅でトラブルを起こし拘束され、顔がAIにより別人にかわった。だが色合いやサイズがおかしく、ときに首長族かのように首が不自然に長く、その画像処理の酷さも話題になった。また2019年に公開された「光栄時代」では、演じる男優・趙立新氏は不適切な発言が原因で顔が別人になるも、入れ替えた顔と場面の光源がおかしかったり、歩いているシーンで首から上が全く動かず、その違和感がネットでシェアされツッコミの対象になった。

顔交換で不自然に首が長い演者（ネットより）

一方、個人が作成した顔変換の作品も中国の動画投稿サイトに多く出回っている。テクノロジーが好きな人が集うビリビリ動画には、たとえば2019年に登場した顔変換アプリ「ZAO」を使った実験動画などが多数アップされた。ZAOが話題になるや中国政府はこうした動画作成について中国民法典の編さんに動いた。

ディープフェイクアプリ「ZAO」の炎上が示す顔認証技術の利点と課題

昔からAIによる顔交換はあるが、冒頭で紹介した「似火流年」の場合、クオリティが高いのは明らかで、「明らかに見た目がおかしい」「アンバランスだ」「雑だ」といった意見はあまり見られなかった。つまり以前のスキャンダル対応よりもAIが進歩してより自然に近づいたといえる。一方で杜旭東氏は実績多数の名脇役とあって、どんなに顔を変えても「演者の動きは杜旭東氏そのものだ」という。今後どこまでAIが演技能力も含め画面上の人を替えられるかが焦点のひとつになっていくだろう。

ところで杜旭東氏はお祝いのビデオメッセージを犯罪組織に送ったことで炎上した。この手のビデオメッセージの類もAIで作成されるようになったことも問題視されている。淘宝（タオバオ）などのECサイトでは、芸能人や人気インフルエンサーをはじめ様々なタイプの有名人や美女によるお祝いメッセージ動画の作成サービスを販売するショップがあり、それも仕事として行っている著名人は少なくない（当然有名であれば相応の価格となる）。お祝い動画は安いものでは無名の人が演じる数十元（数百〜数千円）といったものから、有名人のものでは数万元（数十万円〜数百万円）や、それ以上の価格のものもある。

さらに業者の中にはAIを活用し、あたかも芸能人が本当に撮ったかのような動画を生成して販売する業者も出てきている。その中には非公認のものもあるが、芸能人本人公認の上で生成しているものもある。非公認にしろ公認にしろ、現在確認できるAI動画では音声と画像の間に微妙なずれがあったり、顔や口の形に違和感が残る。

有名人の「顔」70万円で販売。ディープフェイク技術で金儲け、中国で事例報告

AIの進歩で今後はさらに自然な動画が増えていく一方、本人非公認のAI作成映像のトラブルも増えそうだ。不祥事対応も含め芸能人とAIはより密接になっていくだろう。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

（作者：山谷剛史）

The post 中国で続出する芸能人の不祥事によるお蔵入り問題、AIで顔交換して別人が熱演 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

中国の一部のライブコマース・プラットフォームでは、AIによる顔交換技術を用いた有名芸能人の成りすましが商品を紹介している。顔交換モデル一式は3万5000元（約70万円）で購入でき、素材を自由に入れ替えることもリアルタイムで表情などを変化させることも可能で、ほとんどの主要ライブ配信プラットフォームに対応している。

業界関係者は、AIによる顔交換で有名人に成りすまして商品を紹介する行為は、詐欺やプライバシー侵害にあたる可能性があると指摘する。

中国では2023年1月、AIで作った偽動画「ディープフェイク」を利用した偽情報の発信などを禁止する規定が施行された。規定では、AIによる顔の交換や声の合成をサービスとして提供する場合、消費者の混乱を避けるため、ディープフェイクであることを明確に表示しなければならないとしている。

本人に無断で有名人の肖像をライブコマースに利用した場合は、肖像権やプライバシー権の侵害に問われる可能性もある。

早くも中国でAIが生成した美人ブロガーが多数登場。その前例に学ぶことは

ここ数年、AIによる顔交換や声の合成を利用したディープフェイクを判別する技術、とくに自動検知技術の開発が進んでいる。中国国外では、米IT大手のメタやグーグル、マイクロソフトなどが動画の真贋を判別する方法や関連プロダクトを発表。国内では、清華大学や中国科学技術大学などがディープフェイクの判別で目覚ましい成果を上げている。

AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国

＊2023年6月5日のレート（1元＝約19.7円）で計算しています。

（36Kr Japan編集部）

The post 有名人の「顔」70万円で販売。ディープフェイク技術で金儲け、中国で事例報告 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

警察によると、被害に遭った福建省福州市のテック企業の経営者Ａ氏は4月20日午前11時40分、SNSアプリの微信（WeChat）で連絡してきた友人とビデオ通話を始めた。ちょっとした会話の後、友人は「知り合いが入札の保証金として430万元を必要としているが、法人口座同士で口座振替手続きをしないとならない。あなたの会社の法人口座を利用させてくれないか？」と切り出した。

Ａ氏がなんの疑いもなくキャッシュカードの番号を伝えると、友人は「お金はもうあなたの口座に振り込んだよ」と言って、振込み伝票のスクリーンショットを送ってきた。A氏は着金を確認することなく、11時49分に430万元を2回に分けて指定された口座に振り込んだ。

振込みが完了し、A氏がチャットで「手続きは終わったよ」とメッセージを送ると、友人からは「？」の一文字だけが返ってきた。何かがおかしいと気づいたA氏がすぐさま友人に電話をかけたところ、友人は一連の出来事について何も知らないことが分かった。ついさっきまでビデオ通話で話していた相手は、詐欺師がAIを使って友人の顔と声を複製した偽物だったのだ。

不幸中の幸いだったのは、A氏の通報を受けた警察が銀行と連携して即座に行動したため、336万8400元（約6700万円）を回収できたことだった。残りの93万1600元（約1800万円）の行方についても現在、捜査が進められている。

＊2023年5月29日のレート（1元＝約19.9円）で計算しています。

（36Kr Japan編集部）

The post AIがビデオ通話で「友達」になりすまし。会社社長が8500万円の振り込め詐欺被害：中国 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.

2014年に敵対的生成ネットワーク（GAN）の技術が登場して以来、コンピュータによる画像や映像の合成技術は、次々と目覚ましい成果を上げている。技術そのものは中立的だが、2017年にはアメリカの投稿サイト「Reddit（レディット）」のユーザーが、映画「ワンダーウーマン」主演女優を使ったフェイクポルノ動画をネットにアップするなど、ディープフェイクは政治、エンターテインメント、マスメディアなど多くの分野に浸透し、米大統領選にも脅威をもたらした。

ディープフェイクの検出を手がける「Sensity」の調査によると、2018年12月以来、ディープフェイクによる偽動画は年々増加し、その数は半年で倍増している。2020年6月には、偽動画の本数は前年同期比330%の4万9000本に達した。中でもポルノ動画が最も多く、ターゲットとなるのは映画やエンタメ業界、政治や経済界の著名人だ。

昨年、マレーシアの政治家が同性愛行為の疑いで捜査されたが、騒動の元になった動画がディープフェイクであることが後に判明した。この技術を基にしたコメディ動画など娯楽として楽しめるものもあるが、現在の状況から言うとディープフェイク技術が人々に与える弊害は利益を上回っている。

このためフェイスブックやグーグル、マイクロソフトなどIT大手はディープフェイクに対抗する検出技術の開発に取り組んでいる。フェイスブックは過去最大規模のディープフェイクデータベースをリリースし、さらにディープフェイクの検出コンテスト「Deepfake Detection Challenge」を開催した。このコンテストを通じて、AIによるディープフェイクを識別する製品とそのAPIが誕生した。

より巧妙になっているディープフェイク動画を肉眼で識別するのは難しく、AIによるディープフェイクを見破るにはAIに頼る必要がある。新しいアプローチとしては、動画の中の人物の心拍数や血流など生物学的信号を検出し、信号の残差を分析することによって、動画の真偽を判別できる方法がある。この方法による判別精度は97.29%に達している。

中国国内でも、バイドゥがAI技術プラットフォーム「百度大脳」上で「顔検出」「H5動画生体識別」「オンライン生体識別」などのAPIをリリースするなど、ディープフェイク検出に関連するアプリが次々と登場している。深層学習アルゴリズムに基づいて、画像が合成される時に生じるモアレパターンやジャギーなどの特徴を識別し、静止画像や動画における顔偽装の不正攻撃を防止し、業務の安全性を向上させることができる。現在、この機能は不動産取引の身分認証、保険の加入、契約査定、請求の際の補助的チェック、通信キャリアの実名登録制によるSIMカードの発行、レンタカー業務などに広く利用されている。

AI研究を行うアリババの「安全図霊実験室（Alibaba Turing Lab）」も、マルチインスタンス学習（MIL）に基づく検出アルゴリズム、Sharp-MIL（S-MIL）を作成した。

テンセント（騰訊）のクラウドサービス「騰訊雲（テンセントクラウド）」は、ディープフェイク検出技術「AntiFakes」をリリースし、画像アルゴリズムとAIビジョンに基づいて、画像または動画の中の人物の顔がAIによって入れ替えられたものかどうか、アプリによって生成されたものかどうかを判別し、画像または動画のリスクレベルを評価することができる。

感情認識ネットワーク（Emotion Recognition Network）も測定方法のひとつであり、顔の表情がその場面の状況や音声内容と一致するかどうかを検出することで、動画の真偽を判別する。ほかにも人物の顔と背景の領域を比較し、微妙な差異を見つけ出して真偽を判別する方法もある。さらにディープフェイクで偽装された顔画像を学習データに混ぜて、偽装によって生じる画像内の差異の境界線と位置を特徴量として判別を行うFace X-rayという検出モデルもある。ディープフェイク検出をサポートするデータセット「FaceForensis」でテストを行ったところ、Face X-rayの精度は99%以上に達した。

ディープフェイクによる顔交換技術は巨大なトラフィックを獲得し、マーケティング方法としても活用できる可能性がある。しかしこのような技術を適切に管理できる制度ができるまでは、ユーザーの個人情報に対する安全リスクがあるアプリとして、アプリマーケットから削除される可能性が高い。ディープフェイクを作り出すアプリより、それを防止するアプリの方がより多くのチャンスを秘めている。上述の製品以外にディープフェイク検出技術を手掛ける「Sensity（センシティ）」、「Deepware」が手掛ける製品や、マイクロソフトのディープフェイク検出技術「Video Authenticator」など商用化が進んでいる製品がある。

AIによる顔交換技術はパンドラの箱を開いたと言える。この技術は一部の人にとっては格好の暇つぶしのツールとなり、また悪意を持った人にとっては他人を傷つける道具にもなる。この諸刃の剣のような技術をどのように適切に扱い、娯楽とプライバシー保護のバランスをどう取っていくか、これは人類がテクノロジーの発展過程において向かい合わなければいけない問題だ。

作者：智能相対論（WeChat ID：aixdlun）、離離
（翻訳・普洱）

The post ディープフェイク検出技術に新たなビジネスチャンス 　アリババやテンセントも参入 first appeared on 36Kr Japan | 最大級の中国テック・スタートアップ専門メディア.