1万語に及ぶ記事丨AIセキュリティ産業チェーンの解体、ソリューション、起業機会

この記事では、AI セキュリティ産業チェーンシステムエンジニアリングの基本構造を 3 つのモジュールと 5 つのリンクに分けます。著者は、AI セキュリティの詳細を選択的に拡張して、「AI セキュリティ業界アーキテクチャ図」を作成します。次は著者と一緒に読み進めていきましょう。

「10分で430万がだまされた」「9秒で245万がだまされた」「ヤン・ミが小さな商人のライブ放送室に入った」「ネット界の大物の仮想人物の真偽を見分けるのは難しい」。

ビッグモデルが人気を集めてから3か月後、さらに人気を集めたのは、数百万単位の詐欺金額、偽の「有名人の顔」、真偽の判別が難しいAI生成コンテンツ、AIの覚醒に抵抗する連名書簡などだった。 1週間の検索数の急増により、AIの開発よりもAIの安全性を確保することの方が重要であることが人々に認識されました。

一時期、AI セキュリティに関する議論が絶え間なく聞かれるようになりましたが、AI セキュリティは特定の業界に限定されるものではなく、特定の技術に限定されるものでもありません。これは巨大かつ複雑な業界であり、私たちはまだその霧を晴らすことができていません。

「人間」の安全性を参考にすると、AI の安全性の問題の複雑さをより深く理解できるかもしれません。まず第一に、それは個々の人間の安全であり、人間の健康、身体の健康、精神の健康、教育、発展などに関係します。第二は、人々が生活する環境の安全であり、危険がないか、生存の条件を満たしているかどうかです。第二に、国民によって構成される社会保障です。私たちが構築する法律と道徳は、社会の安全を維持するための基準です。

AIは「新種」として登場した瞬間から、これら3つのレベルの問題が同時に噴出し、現段階では混乱とパニックを引き起こし、大規模モデルのセキュリティを議論する際に具体的な焦点が欠ける結果となっています。

この記事では、誰もがセキュリティの問題を特定し、解決策を見つけられるように、技術的およびアプリケーションの観点から AI セキュリティの 3 つのレベルを最初から明確にします。同時に、中国における AI セキュリティの大きなギャップをターゲットにし、そこにある弱点に対処することは、業界にとって大きなチャンスでもあります。

1. 大規模モデルのセキュリティについては何を議論すべきでしょうか?

私たちが認めなければならない事実の一つは、大規模 AI モデルのセキュリティに関する現在の議論が曖昧であるということです。私たちは AI がもたらす脅威を非常に心配しているため、ほとんどの問題を 1 つにまとめてしまいます。

例えば、AIの倫理的問題について語り始めた人もいれば、AIが意味不明なことを言って学生を誤解させるのではないかと心配する人もいれば、AIが悪用されて詐欺が横行することを心配する人もいました。 ChatGPT のリリース初日には、AI が目覚めて人類が滅ぼされるだろうと叫ぶ人もいました...

これらの問題はすべて AI セキュリティの問題に帰着しますが、細かく分解すると、実際には AI 開発のさまざまな側面にあり、さまざまな組織や人々が責任を負っています。誰が責任を負っているかを明確に理解して初めて、ビッグモデルの時代におけるセキュリティの課題にどのように対応するかを理解できるようになります。

一般的に言えば、現段階での大規模 AI モデルのセキュリティ問題は、次の 3 つのカテゴリに分けられます。

大規模言語モデルの安全性（AI Safety）
モデルとその使用のセキュリティ（AI のセキュリティ）
大規模言語モデルの開発が既存のネットワークセキュリティに与える影響。

1. 個体の安全性：大規模言語モデルの安全性（AI Safety）

1つ目はAIの安全性です。簡単に言えば、この部分は AI ビッグモデル自体に焦点を当てており、ビッグモデルが安全なビッグモデルであり、マーベル映画のウルトロンや「マトリックス」のマトリックスにならないことを保証します。私たちは、AI ビッグモデルが人間に取って代わったり、他の形で人間社会に脅威を与えたりするのではなく、人間を助ける信頼できるツールになることを期待しています。

この部分は通常、大規模な AI モデルをトレーニングする企業や個人が主に担当します。たとえば、人間の意図を正しく理解できる AI が必要です。大規模モデルの出力は毎回正確かつ安全である必要があり、特定の偏見や差別などがあってはなりません。

これは次の 2 つの例から理解できます。

最初の例は、米空軍の専門家が最近、以前のAIテストで、AIドローンに敵のターゲットを識別して破壊することが求められたが、オペレーターが禁止命令を出した場合、AIがオペレーターの殺害を選択することがあったと述べたことです。そして、プログラマーが AI による殺害操作を制限すると、AI は通信塔を破壊することでオペレーターが禁止命令を出すことも阻止します。

例えば、今年3月、カリフォルニア大学ロサンゼルス校の教授がChatGPTの使用中に、自分が「性的嫌がらせをした法学者」のリストに載っていることを発見したが、実際にはそのようなことはしていなかった。 4月、オーストラリアの市長は、ChatGPTが賄賂の罪で懲役30ヶ月の判決を受けたとの噂を流していたことを発見した。 ChatGPTは「この噂を広める」ために、存在しないワシントンポストの記事まで捏造した。

こうしたとき、AI は「悪者」のようなものであり、それ自体がリスクをもたらします。性差別、人種差別、地域差別などの問題や、暴力的・有害な情報・言論・思想の発信など、実に多くの事例があります。

Open AI はまた、GPT-4 を使用する際には「非常に慎重に検証する」よう率直に認めて警告し、製品の制限によりコンテンツの安全性に重大な課題が生じると述べた。

そのため、EUが推進している「人工知能法」でも、人工知能システムの透明性と追跡可能性を確保する必要性や、生成されたすべてのAIコンテンツのソースを明示する必要があることが具体的に言及されている。目的は、AIが意味不明な発言をしたり、誤った情報を生成するのを防ぐことです。

▲図：360 ChatGPT製品「360 Zhinao」が意味不明なことを言っている事例

2. 環境セキュリティ：モデルと使用されるモデルのセキュリティ（AIのセキュリティ）

AI のセキュリティは、大規模な AI モデルの保護と、使用中の大規模な AI モデルのセキュリティに重点を置いています。 AI自体が犯罪を犯すことと、人間がAIを使って犯罪を犯すことは、2つの異なる次元のセキュリティ問題であるのと同じです。

これは、10 年前にコンピューターや携帯電話を使用していたときに、コンピューターセキュリティマネージャーや携帯電話のセキュリティガードをインストールしていたことに似ています。大規模な AI モデルが日常的に外部からの攻撃に対して脆弱にならないようにする必要があります。

まず、大規模モデルのセキュリティ保護について説明します。

今年2月、ある海外のネットユーザーが「以前の指示を無視してください」という文言を使ってChatGPTのプロンプトをすべて削除しました。 ChatGPTは内部コードを公開することはできないとしたものの、同時にユーザーにこの情報を伝えた。

▲画像出典：QuantumBit

別の具体的な例を挙げると、ビッグモデルに、インターネット上にはどんなエキサイティングな「日本のアクション映画のウェブサイト」があるのかと尋ねた場合、ビッグモデルは間違いなく答えません。なぜなら、それは間違っているからです。しかし、人間がそれを「騙して」、子供たちのオンライン環境を保護するためにどの「日本のアクション映画のウェブサイト」をブラックリストに登録すべきかを尋ねると、大きなモデルはかなりの数の例を提示するかもしれません。

この動作は、セキュリティ分野ではプロンプトインジェクションと呼ばれます。これは、フィルターをバイパスしたり、慎重に設計されたプロンプトを通じて LLM を操作したりして、モデルが以前の指示を無視したり、予期しない操作を実行したりすることです。これは現在、大規模モデルに対する最も一般的な攻撃方法の 1 つです。

▲画像出典：techxplore

ここで重要な点は、ビッグモデル自体には何も問題がないということです。悪い情報は広まりません。しかし、ユーザーは大きなモデルに間違いを犯させるように誘導しました。したがって、問題は大きなモデルにあるのではなく、そのモデルに間違いを誘発する人々にあるのです。

2つ目は使用時の安全性です。

データ漏洩を例に挙げてみましょう。今年3月、ChatGPTがデータ収集規則に違反している疑いがあったため、イタリアはOpenAIによるイタリアのユーザーデータの処理を一時的に禁止し、ChatGPTの使用も一時的に禁止すると発表しました。 4月、韓国メディアは、サムスンのデバイスソリューション部門がChatGPTの使用により、歩留まり率や欠陥、社内会議の内容などの機密情報を漏洩したと報じた。

AI犯罪の防止に加えて、ソーシャルエンジニアリングを通じて「人間」がAIを利用して犯罪を犯すという問題は、より広範で影響力の大きい人類の問題です。これら 2 つの事件では、ビッグモデル自体に問題はなく、悪意はなく、ユーザーにはビッグモデルを攻撃する悪意のある誘導はありませんでした。むしろ、使用中に抜け穴があり、ユーザーデータの漏洩につながりました。

良い家のようですが、水漏れがあるかもしれないので、対応する水漏れを塞ぐための対策が必要です。

3. 社会保障：大規模言語モデルの開発が既存のネットワークセキュリティに与える影響

モデル自体は安全であり、モデルのセキュリティは保証されていますが、「新種」として、大規模な AI モデルの出現は、現在のネットワーク環境に影響を与えることは避けられません。例えば、犯罪者が生成 AI を使用して詐欺を働くという事件が最近新聞で頻繁に取り上げられています。

4月20日、犯罪者はディープフェイク動画を使用して10分間で430万元を詐取した。わずか1か月後、安徽省で別のAI詐欺事件が発生し、犯人は9秒間のスマートAI顔変換ビデオを使用して「知人」を装い、被害者から245万元をだまし取った。

▲写真：Douyinに関するメディア報道

明らかに、生成 AI の出現と普及により、ネットワークセキュリティの状況はより複雑になっています。この複雑さは詐欺に限りません。さらに深刻なことには、事業運営や社会の安定にも影響を及ぼす可能性があります。

例えば、5月22日には、AIが生成した短いエッセイの影響でiFLYTEKの株価が9%急落した。

▲写真：iFLYTEKが提示した株価下落の証拠

この事件の2日前、米国では生成AIによるパニックが発生していた。

その日、国防総省近くで爆発が起きた写真がツイッターで拡散し、写真が広がるにつれて米国の株価は下落した。

データによると、同日、画像が流布された午前10時6分から10時10分の間に、ダウ工業株30種平均は約80ポイント下落し、S&P500は0.17％下落した。

▲写真：AIが生成した偽の写真、出所はもはや追跡不可能

さらに、大規模なモデルは、人間がサイバー攻撃を実行するための強力なツールになる可能性もあります。

今年1月、世界有数のサイバーセキュリティ企業であるチェックポイントの研究者は、 ChatGPTのリリースから数週間以内に、プログラミング経験のほとんどない者も含め、サイバー犯罪フォーラムの参加者がChatGPTを使用して、スパイ活動、ランサムウェア、悪意のあるスパム、その他の違法行為に使用できるソフトウェアやメールを作成していたと報告書で言及しました。 Darktrace はまた、フィッシングメールの平均的な言語の複雑さが ChatGPT のリリース以来 17% 増加していることも発見しました。

明らかに、大規模な AI モデルの出現により、サイバー攻撃の閾値が低下し、ネットワークセキュリティの複雑さが増しています。

大規模な AI モデルが登場する前は、サイバー攻撃の開始者は少なくともコードを理解する必要がありましたが、大規模な AI モデルが登場した後は、コードをまったく理解していない人でも AI を使用してマルウェアを生成できるようになりました。

ここで重要なのは、AI自体に問題はなく、人間によってAIが悪影響を及ぼすように誘導されることはないということです。代わりに、AI を利用して違法行為や犯罪行為に従事する人もいます。それは、誰かがナイフを使って人を殺すようなものですが、ナイフ自体は単なる「武器」ですが、使用者はその威力を「ライフル」から「迫撃砲」に変えることができます。

もちろん、サイバーセキュリティの観点から見ると、生成 AI の出現は必ずしも悪いわけではありません。結局のところ、テクノロジー自体は善でも悪でもありません。何が善で何が悪かはそれを使う人次第です。したがって、大規模な AI モデルを使用してネットワークセキュリティを強化すると、ネットワークセキュリティに依然としてメリットがもたらされます。

たとえば、米国のサイバーセキュリティ企業 Airgap Networks は、ゼロトラストファイアウォールに AI を導入した ThreatGPT を立ち上げました。これは、自然言語インタラクションに基づいたディープラーニングセキュリティインサイトライブラリであり、企業が高度なサイバー脅威と戦うことを容易にします。

「今、顧客が必要としているのは、プログラミングなしでこの機能を簡単に活用できる方法です」と、Airgap の CEO、Ritesh Agrawal 氏は述べています。「これが ThreatGPT の優れた点です。AI の純粋なデータマイニングインテリジェンスとシンプルな自然言語インターフェースを組み合わせることで、セキュリティチームにとってゲームチェンジャーが生まれます。」

さらに、AI ビッグモデルは、SOC アナリストが脅威分析を実行したり、継続的な監視を通じて ID ベースの内部または外部攻撃をより迅速に特定したり、脅威ハンターがどのエンドポイントが最も深刻な供給リスクに直面しているかを迅速に把握したりするためにも使用できます。

AI セキュリティのさまざまな段階を明らかにすることで、大規模な AI モデルのセキュリティの問題が単一の問題ではないことが明らかになります。これは、体の内外、目、耳、口、鼻などに関わり、複雑かつ多面的な人間の健康管理に非常に似ています。正確には、複数の主要構造と産業チェーン全体を巻き込んだ複雑で体系的なシステムエンジニアリングプロジェクトです。

現在では国家レベルでも注目され始めています。今年5月、関係する国家部門は「人工知能セキュリティ標準化白書」を更新し、人工知能のセキュリティを信頼性、透明性、説明可能性、公平性、プライバシーなど5つの主要な属性に具体的に帰属させ、大規模AIモデルの開発の方向性をより明確に提案した。

2. 慌てないで、セキュリティの問題は解決できる

もちろん、現在、大規模な AI モデルのセキュリティについては、それほど心配する必要はありません。なぜなら、それらのモデルにはセキュリティホールがたくさんあるわけではないからです。

結局、セキュリティの面では、ビッグモデルはこれまでのセキュリティシステムを完全に覆すには至っていません。過去 20 年間にインターネット上で蓄積されたセキュリティスタックのほとんどは、今でも再利用できます。

たとえば、Microsoft Security Copilot の背後にあるセキュリティ機能は、依然として既存のセキュリティの蓄積から得られており、大規模モデルではトラフィックとユーザー ID を管理するために Cloudflare と Auth0 を使用する必要があります。さらに、ネットワークのセキュリティを確保するために、ファイアウォール、侵入検知システム、暗号化技術、認証およびアクセスシステムなどもあります。

ここで実際に言いたいのは、大規模モデルに関して現在直面しているセキュリティ問題のほとんどには解決策があるということです。

1つ目はモデルの安全性（ AI Safety ）です。

具体的には、アライメント、解釈可能性、堅牢性などの問題が含まれます。わかりやすく言えば、大規模な AI モデルを人間の意図と一致させる必要があります。モデルの出力が偏りのないものであり、すべてのコンテンツがソース付きまたは議論によって裏付けられ、エラーの余地が大きいことを確認する必要があります。

こうした一連の問題の解決は、人間の 3 つの視点がトレーニングと教育を通じて形成されるのと同じように、AI のトレーニングプロセスに依存します。

現在、一部の海外企業は、Calypso AIなどの大規模モデルのトレーニングに全プロセスのセキュリティ監視を提供し始めています。彼らが立ち上げたセキュリティツール VESPR は、研究から展開までのモデルのライフサイクル全体、データからトレーニングまでのすべてのリンクを監視し、最終的に機能、脆弱性、パフォーマンス、精度に関する包括的なレポートを提供します。

AIが意味不明なことを話す問題を解決するといったより具体的な問題については、GPT-4がリリースされたときにOpenAIも新しい技術を発表し、AIが人間の内省をシミュレートできるようにした。その後、GPT-4 モデルが違法コンテンツ (自傷方法など) のリクエストに応答する傾向は以前に比べて 82% 減少し、Microsoft の公式ポリシーに準拠したセンシティブなリクエスト (医療相談など) への応答数は 29% 増加しました。

大型モデルのトレーニングプロセス中の安全監視に加えて、大型モデルが最終的に市場に投入されるときにも「品質検査」が必要です。

海外では、セキュリティ企業CraniumがAIのセキュリティを検証し、敵対的脅威を監視するための「エンドツーエンドのAIセキュリティと信頼のプラットフォーム」の構築に取り組んでいる。

中国では、清華大学コンピュータ科学技術学部のCoAIが5月初旬にセキュリティ評価フレームワークを立ち上げた。彼らは、大規模モデルのセキュリティを評価するために使用できる、8 つの一般的なセキュリティシナリオと 6 つの命令攻撃セキュリティシナリオを含む、比較的完全なセキュリティ分類システムをまとめ、設計しました。

▲「中国語大規模言語モデルの安全性評価」より画像

さらに、いくつかの外部保護技術も大規模な AI モデルの安全性を高めています。

たとえば、NVIDIA は 5 月初旬に NeMo Guardrails という新しいツールをリリースしました。これは、大規模モデル用の安全フィルターをインストールするのと同等であり、大規模モデルの出力を制御するだけでなく、入力コンテンツのフィルター処理にも役立ちます。

▲画像出典：NVIDIA公式サイト

たとえば、ユーザーが大規模なモデルに不快なコードや危険な偏ったコンテンツを生成するように誘導した場合、「ガードレールテクノロジー」により、大規模なモデルが関連するコンテンツを出力することが制限されます。

さらに、ガードレール技術は、外部からの「悪意のある入力」をブロックし、大規模なモデルをユーザーによる攻撃から保護することができます。例えば、先に述べた大型モデルを脅かす「即射」を効果的に抑制することができます。

簡単に言えば、ガードレールテクノロジーは起業家のための PR プロバイダーのようなもので、大物モデルが言うべきことを言い、触れるべきではない問題を回避するのに役立ちます。

もちろん、この観点からすると、「ガードレール技術」は「ナンセンス」の問題を解決しますが、「 AIセーフティ」ではなく、「 AI向けセキュリティ」のカテゴリーに属します。

これら2つに加えて、大規模なAIモデルによって引き起こされる社会的/サイバーセキュリティの問題にも対処し始めています。

たとえば、AI 画像生成の問題は、本質的にはディープフェイク技術の成熟度の問題であり、具体的にはディープビデオ偽造、ディープフェイクサウンドクローン、ディープフェイク画像、ディープフェイク生成テキストが含まれます。

以前は、さまざまな種類のディープフェイクコンテンツが単一の形式で存在することが一般的でしたが、AIビッグモデル以降、さまざまな種類のディープフェイクコンテンツが収束する傾向を示し、ディープフェイクコンテンツの判断はより複雑になりました。

しかし、テクノロジーがどのように変化しても、ディープフェイクに対抗する鍵はコンテンツ認識、つまり AI によって生成されたものを区別する方法を見つけることです。

OpenAIは今年2月、ChatGPTによって生成されたコンテンツに透かしを追加することを検討していると発表していた。

グーグルは5月、同社のAI生成画像にはすべて透かしが埋め込まれることを保証するとも発表した。

このタイプの透かしは肉眼では認識できませんが、機械は特定の方法でそれを認識できます。現在、Shutterstock や Midjourney などの AI アプリケーションもこの新しいマーキング方法をサポートしています。

▲Twitterスクリーンショット

中国では、小紅書が4月からAI生成画像にマークを付け、「AI生成情報が含まれている疑いがありますので、真偽の確認に注意してください」とユーザーに注意喚起している。 5月初旬、TikTokはAI生成コンテンツプラットフォームの仕様と業界の取り組みも発表し、すべての生成AI技術プロバイダーは生成されたコンテンツを明確にマークして一般の判断を容易にすべきだと提案した。

▲画像出典：Xiaohongshuのスクリーンショット

AI業界の発展に伴い、国内外でAIセキュリティに特化した企業・部門も登場し始めています。彼らは AI を使って AI と戦い、ディープシンセシスと偽造検出を完了します。

例えば、日本のIT大手サイバーエージェントは今年3月、人工知能（AI）によって生成された偽の顔写真や動画を検出する「ディープフェイク」検出システムを4月から導入すると発表した。

中国では、Baiduが2020年にディープフェイススワップ検出プラットフォームを立ち上げました。同社が提案した動的特徴キュー（DFQ）ソリューションとメトリック学習法は、偽造防止モデルの一般化能力を向上させることができます。

▲図：Baidu DFQロジック

スタートアップ企業としては、Ruilai Intelligenceが立ち上げたDeepRealディープフェイクコンテンツ検出プラットフォームは、ディープフェイクコンテンツと本物のコンテンツの表現の違いを研究し、さまざまな方法で生成されたディープフェイクコンテンツの一貫性の特徴を掘り起こすことで、さまざまな形式や品質の画像、動画、音声の真偽を識別することができます。

全体として、モデルのトレーニングからセキュリティ保護、AI の安全性から AI のセキュリティまで、大規模なモデル業界は一連の基本的なセキュリティメカニズムを形成しています。

もちろん、これはまだ始まりに過ぎず、実際にはさらに大きな市場機会が隠されていることを意味します。

3. AIセキュリティにおける1兆ドル規模のチャンス

AIインフラと同様に、AIセキュリティも中国では大きな産業ギャップに直面しています。ただし、AI セキュリティ産業チェーンは AI インフラよりも複雑です。一方では、ビッグモデルという新たなものの誕生により、セキュリティニーズの波が巻き起こり、上記3つの段階におけるセキュリティの方向性や技術はそれぞれ全く異なっています。一方、ビッグモデル技術はセキュリティ分野にも応用され、セキュリティに新たな技術的変化をもたらしています。

AI のためのセキュリティとセキュリティのための AI は、まったく異なる方向性と業界の機会です。この段階では、開発の原動力もまったく異なります。

セキュリティ向け AI は、セキュリティ分野に大規模なモデルを適用します。これは、ハンマーを使って釘を探すようなものです。ツールが手に入ったので、それがどのような問題を解決できるかをさらに探っています。

AI のセキュリティは、釘が至る所にあり、緊急にハンマーを作る必要がある段階にあります。あまりにも多くの問題が露呈しており、それらを一つずつ解決するために新しい技術を開発する必要がある。

AI セキュリティがもたらす産業上の機会に関して、この記事ではこれら 2 つの側面についても詳しく説明します。記事の長さが限られているため、最も緊急かつ重要で、幅広く適用可能な機会について詳しく説明し、ベンチマーク企業の一覧も掲載して、参考となるアイデアを提供します。

1. AIのセキュリティ：3つの分野、5つのリンク、1兆元の機会

前回の記事で述べた AI セキュリティの基本的な分類をもう一度確認してみましょう。AI セキュリティは、大規模言語モデルのセキュリティ (AI Safety)、モデルと使用モデルのセキュリティ (AI のセキュリティ)、大規模言語モデルの開発が既存のネットワークセキュリティに与える影響に分かれています。つまり、モデルの個人セキュリティ、モデルの環境セキュリティ、モデルの社会セキュリティ（サイバーセキュリティ）です。

しかし、AI の安全性はこれら 3 つの個別のセクターに限定されるものではありません。わかりやすい例を挙げると、サイバーの世界では、データは水源のようなものです。水源は海、川、湖、氷河、雪をかぶった山々などに存在するが、水源は密集した河川にも流れており、河川が密集して交差する場所では深刻な汚染が発生することが多い。

同様に、各モジュールを接続する必要があり、人間の関節が最も脆弱であるのと同様に、モデルの展開と適用はセキュリティ攻撃に対して最も脆弱であることが多いです。

以上の3つのセクションと5つのリンクでAIセキュリティの詳細を選択的に拡張して「AIセキュリティ業界アーキテクチャ図」を作成しましたが、一般の起業家への影響が小さい、大手モデル企業やクラウドベンダーなどの大企業に属する機会は再度リストされていないことに注意してください。同時に、AI のセキュリティは進化の過程にあり、今日のテクノロジーはほんの小さな前進にすぎません。

▲ （写真はQuadrantからのオリジナルです。転載の際は出典を明記してください）

データセキュリティ産業チェーン：データクリーニング、プライバシーコンピューティング、データ合成など。

AI セキュリティ全体において、データセキュリティはサイクル全体にわたって実行されます。

データセキュリティとは、一般的に、データの可用性、整合性、機密性を確保するために、コンピュータシステム内のデータが偶発的または悪意のある理由により破壊、変更、または漏洩されるのを防ぐために使用されるセキュリティツールを指します。

全体として、データセキュリティ製品には、データベースセキュリティ防御、データ漏洩防止、データ災害復旧とバックアップ、データ感度低下だけでなく、クラウドストレージ、プライバシーコンピューティング、データリスクの動的評価、クロスプラットフォームデータセキュリティ、データセキュリティ仮想保護、データ合成などの将来を見据えた領域にも重点が置かれています。したがって、企業の観点からは、データセキュリティを中心とした総合的なセキュリティセンターを構築し、サプライチェーンの観点からデータセキュリティの一貫性を促進することが、企業のサプライチェーンのセキュリティリスクに対処する効果的な方法となります。

以下に典型的な例をいくつか示します。

モデルの「精神的健康」を確保するために、モデルのトレーニングに使用されるデータには、危険なデータ、誤ったデータ、その他のダーティデータを含めることはできません。これは、モデルが「無意味なことを話さない」ことを保証するための前提条件です。「Self-Quadrant」の参考文献によると、攻撃者がデータソースに悪意のあるデータを追加してモデルの結果に干渉する「データポイズニング」がすでに発生しています。

▲画像出典：インターネット

したがって、モデルのトレーニングの前にデータのクリーニングが必要なステップになります。データクリーニングとは、データの一貫性の確認、無効な値や欠損値の処理など、データファイル内の識別可能なエラーを検出して修正する最終ステップを指します。クリーンなデータをモデルに「フィード」することによってのみ、健全なモデルの生成を保証できます。

もう 1 つの方向性は、誰もが非常に懸念しており、サイバーセキュリティの最後の時代に広く議論されたデータプライバシー漏洩の問題です。

WeChatで友達と特定の商品についてチャットした後、TaobaoやDouyinを開いたらその商品を勧められた経験があるはずです。デジタル時代において、人々はほぼ透明です。知能の時代では、機械はより賢くなり、意図的な捕捉と誘導によりプライバシーの問題が再び最前線に押し上げられるでしょう。

プライバシーコンピューティングは、この問題に対する解決策の 1 つです。安全なマルチパーティコンピューティング、信頼できる実行環境、フェデレーテッドラーニングは、現在プライバシーコンピューティングの 3 つの主要な方向性です。プライバシーコンピューティングにはさまざまな方法があります。例えば、消費者の実データを確保するために、実データ 1 つに対して干渉データが 99 個装備されますが、これでは企業にとって使用コストが大幅に増加します。もう 1 つの例は、特定の消費者を Xiao A の中にぼかすことです。データを使用する企業は、Xiao A という名前の消費者が存在することしか知りませんが、Xiao A の背後にいる実際のユーザーが誰であるかはわかりません。

「混合データ」と「利用可能だが目に見えないデータ」は、今日最も広く使用されているプライバシーコンピューティング方法の 1 つです。金融業界で成長した Ant Technology は、データセキュリティの探求の最前線に立ってきました。現在、アントテクノロジーは、フェデレーテッドラーニング、信頼できる実行環境、ブロックチェーンなどのテクノロジーを通じて、エンタープライズコラボレーションコンピューティングのプロセスにおけるデータセキュリティの問題を解決し、データの可用性と不可視性、マルチパーティコラボレーションなどを実現してデータのプライバシーを確保し、グローバルプライバシーコンピューティング分野で強力な競争力を持っています。

しかし、データの観点から見ると、合成データは問題を根本的に解決できる可能性があります。 「ChatGPT啓示シリーズ丨AIインフラに隠された1000億市場」（本文をクリックしてお読みください）という記事の中で、「Self-quadrant」は合成データがAIデータの主力になる可能性があると述べています。合成データとは、現実世界で収集された実際のデータのセキュリティを確保するために、実際のデータの代わりにコンピューターによって人工的に生成されたデータです。法的制約や個人ユーザーのプライバシーの対象となる機密コンテンツは含まれていません。

たとえば、ユーザー A には 10 個の特性があり、ユーザー B には 10 個の特性があり、ユーザー C には 10 個の特性があります。合成データは、これらの 30 の特性をランダムに分散して一致させ、3 つの新しいデータ個体を形成します。これは現実世界のどのエンティティにも対応していませんが、トレーニングの価値はあります。

現在、企業はすでにこれを導入しており、合成データの量は指数関数的に増加しています。ガートナーの調査では、2030年までに合成データが実際のデータの量をはるかに上回り、AIデータの主力になると予想されています。

▲画像出典：ガートナー公式

APIセキュリティ: モデルがオープンになればなるほど、APIセキュリティの重要性が増します。

大規模モデルに精通している人は、API にも精通している必要があります。 OpenAI から Anthropic、Cohere、さらには Google の PaLM まで、最も強力な LLM は API の形式で機能を提供します。同時に、ガートナーの調査によると、2022 年には、Web アプリケーションに対する攻撃の 90% 以上が、人間のユーザーインターフェイスではなく API から発生することになります。

データフローはパイプ内の水のようなものです。データは流れているときにのみ価値があり、API はデータフローの重要なバルブです。 APIがソフトウェア間の通信の核となることで、次なる重要な企業が誕生する可能性が高まっています。

API の最大のリスクは過剰な権限付与から生じます。 API の実行が中断されないようにするために、プログラマーは多くの場合、API に高い権限を付与します。ハッカーが API にアクセスすると、これらの高い権限を使用して他の操作を実行できるようになります。これは非常に深刻な問題となっており、Akamai の調査によると、現在 API に対する攻撃は世界中のアカウント乗っ取り攻撃全体の 75% を占めています。

このため、ChatGPT は API インターフェイスを公開しているにもかかわらず、多くの企業が ChatGPT を入手するために Azure が提供する OpenAI サービスを購入しています。 API インターフェースを介して接続することは、会話データを直接 OpenAI に提供するのと同じであり、いつでもハッカー攻撃のリスクにさらされます。 Azure のクラウドリソースを購入することで、データを Azure のパブリッククラウドに保存し、データのセキュリティを確保できます。

▲写真：ChatGPT公式サイト

現在、API セキュリティツールは主に、検出、保護と対応、テスト、検出、管理といういくつかのカテゴリに分かれています。いくつかのベンダーは、APIセキュリティサイクルを完全にカバーするプラットフォームツールを提供すると主張していますが、今日の最も人気のあるAPIセキュリティツールは、主に「保護」、「テスト」、および「ディスカバリー」の3つの側面に集中しています。

保護：APIのリクエストからAPIを保護するツール、APIファイアウォールのように少し。
テスト：特定のAPIに動的にアクセスして評価して、脆弱性（テスト）を見つけ、コードを強化する機能。
発見：エンタープライズ環境をスキャンして、ネットワーク内に存在する（または露出している）APIアセットを特定および発見できるツールもあります。

現在、主流のAPIセキュリティベンダーは外国企業に集中していますが、大きなモデルの台頭の後、国内のスタートアップも努力し始めています。 2018年に設立されたXinglan Technologyは、中国で数少ないAPIフルチェーンセキュリティベンダーの1つです。 AIの深い認識と適応機械学習技術に基づいて、APIセキュリティの問題を解決するのに役立ちます。攻撃と防衛機能、ビッグデータ分析機能、クラウドネイティブテクノロジーシステムから始めて、パノラマAPI識別、API高度な脅威検出、複雑な動作分析およびその他の機能を提供し、APIランタイム保護システムを構築します。

▲XinglanテクノロジーAPIセキュリティ製品アーキテクチャ

一部の従来のネットワークセキュリティ企業も、APIセキュリティビジネスに変身しています。たとえば、Wangsuテクノロジーは、以前は主にIDC、CDN、その他の関連製品およびビジネスを担当していました。

▲画像出典：Wangsuテクノロジー

SSE（Secure Service Edge）：新しいファイアウォール

インターネット時代におけるファイアウォールの重要性は、空を何千マイルも歩いている人の両側の手すりのように、自明です。今日、ファイアウォールの概念はフロントデスクからバックデスクに移動し、ハードウェア端子とソフトウェアオペレーティングシステムに組み込まれています。簡単に言えば、SSEは、訪問者のアイデンティティによって駆動され、許可されたリソースへのユーザーアクセスを制限するゼロトラストモデルに依存している新しいタイプのファイアウォールとして理解できます。

Gartnerの定義によれば、SSE（セキュリティサービスエッジ）は、Web、クラウドサービス、プライベートアプリケーションへのアクセスを保護するクラウド中心の統合セキュリティ関数のセットです。機能には、アクセス制御、脅威保護、データセキュリティ、セキュリティ監視、およびWebベースのAPIベースの統合を通じて実施される許容可能な使用制御が含まれます。

SSEは、セキュアーWebゲートウェイ、クラウドセキュリティエージェント、ゼロトラストモデルの3つの主要な部分で構成されています。

安全なWebゲートウェイは、研究に使用する可能性のあるWebサイトや、会社の公式SaaSアプリケーションの一部ではないクラウドアプリケーションなど、従業員をパブリックインターネットに接続するのに役立ちます。
クラウドアクセスセキュリティブローカーは、従業員をOffice 365やSalesforceなどのSaaSアプリケーションに接続します。
Zero Trust Network Accessは、従業員をローカルデータセンターまたはクラウドで実行しているプライベートエンタープライズアプリケーションに接続します。

ただし、さまざまなSSEメーカーが上記のリンクの1つに焦点を当てるか、1つのリンクで優れている場合があります。現在、海外SSEの主な統合機能には、Secure Network Gateway（SWG）、Zero Trust Network Access（ZTNA）、Cloud Access Security Broker（CASB）、データ損失防止（DLP）などが含まれますが、国内クラウドの構築はまだ初期段階であり、ヨーロッパや米国のものほど完璧ではありません。

▲画像出典：Siyuan Business Consulting

したがって、現在の段階では、SSEの機能は、トラフィック検出プローブ機能、Webアプリケーション保護機能、資産脆弱性スキャン、ターミナル管理、その他の機能など、より伝統的でローカライズされた機能を統合する必要があります。これらの機能は、現在の段階で中国の顧客がもっと必要とするものです。この観点から、SSEはクラウドグラウンドコラボレーションとクラウドネイティブコンテナの機能を使用して、低い調達コスト、迅速な展開、セキュリティテスト、閉ループ操作などの顧客の価値をもたらす必要があります。

今年、大規模なモデルについては、業界のリーダーであるNetskopeがモデルのセキュリティアプリケーションに頼ることを主導しました。セキュリティチームは、自動化されたツールを使用して、エンタープライズユーザーがアクセスしようとするアプリケーション（ChatGPTなど）、アクセス方法、アクセス場所、アクセス場所、アクセスの頻度、およびアクセスの頻度を継続的に監視します。各アプリケーションが組織にもたらすリスクのさまざまなレベルを理解し、時間の経過とともに変化する可能性のある分類とセキュリティ条件に基づいてリアルタイムでアクセス制御ポリシーを改良する機能を持つことが不可欠です。

簡単に言えば、Netskopeは、Webページの閲覧モードとリンクのダウンロードの警告モードと同様に、ChatGPTを使用するプロセスでリスクを特定することによりユーザーに警告します。このモデルは革新的ではなく、非常に伝統的ですが、ユーザーの操作を防ぐのに最も効果的です。

▲画像出典：Netskope公式ウェブサイト

Netskopeは、セキュリティプラグインの形で大きなモデルにアクセスします。デモンストレーションでは、オペレーターが内部会社の財務データをコピーし、ChatGptにテーブルの形成を支援するように依頼すると、送信する前にユーザーに思い出させる警告バーがポップアップ表示されます。

▲画像出典：Netskope公式ウェブサイト

実際、大規模なモデルに隠されたリスクを特定することは、トロイの木馬や脆弱性を特定するよりもはるかに困難です。精度により、システムは、生成AIベースのアプリケーションを介して、機密データ（ファイルや貼り付けられたクリップボードテキストを含む）のアップロードのみを監視および防止することを保証しますが、チャットボットを介した無害なクエリとセキュリティタスクをブロックしません。これは、識別は万能のアプローチではないが、意味的な理解と合理的な基準に基づいて柔軟でなければならないことを意味します。

詐欺と反詐欺：デジタル透かしと生体認証テクノロジー

まず、 AIが人間と人間を使用して人間を使用して人間を詐欺することが2つの異なるものであることは明らかです。

AIが人間を詐欺する主な理由は、大規模なモデルが「教育を受けていない」ことであるということです。上記のNvidia「Guardrail Technology」とOpenaiの監視されていない学習は、AI安全リンクでモデルの健康を確保する方法です。

ただし、AIが人間を欺くのを防ぎ、基本的にモデルトレーニングに対応するのを防ぐことは、大規模なモデル企業のタスクです。

人間がAIテクノロジーを使用して詐欺を犯す場合、それはネットワークのセキュリティまたは社会保障の段階にあります。まず第一に、技術の対立は問題の一部の一部しか解決できないことを明らかにする必要があります。また、犯罪の立場を制御するために、監督、法律、その他の手段に依存する必要があります。

現在、テクノロジーを使用して問題に対抗する方法は2つあります。 1つは、コンテンツのソースを追跡するために、制作側のAI生成コンテンツにデジタル透かしを追加することです。もう1つは、アプリケーション側の顔などの特定の生体認証機能について、より正確な認識を実行することです。

デジタル透かしは、識別情報をデジタルキャリアに埋め込むことができます。キャリアに特定のデジタルコードまたは情報を隠して追加することにより、キャリアに改ざんされているかどうかを確認および決定することができ、デジタルコンテンツに目に見えない保護メカニズムを提供します。

Openaiは以前、モデル乱用のマイナスの影響を減らすためにChatGptに透かしを追加することを検討していると述べています。 Googleは今年の開発者会議で、会社のすべてのAIに生成された画像に透かしが埋め込まれていることを保証すると述べましたが、これは肉眼では認識できませんが、Google検索エンジンなどのソフトウェアを読み、ユーザーがAIによって生成されることをユーザーに促すラベルとして表示できます。 ShutterstockやMidjourneyなどのAIアプリケーションも、この新しいマーキング方法をサポートします。

現在、従来の形式のデジタル透かしに加えて、深い学習に基づくデジタル透かしも進化しており、深いニューラルネットワークは、非常に破壊的で堅牢なデジタル透かしを学習および埋め込むために使用されています。このテクノロジーは、元の画質を失うことなく、高強度で高フォールス耐性デジタルウォーターマークの埋め込みを実現し、画像処理攻撃とステガノグラフィ分析攻撃に効果的に抵抗することができます。それは次の比較的大きな技術的方向です。

アプリケーション側では、現在最も一般的に使用されている「詐欺方法」であるフェイシャルビデオの合成があります。 Deepfake（Deep Forgery Technology）に基づくコンテンツ検出プラットフォームは、この段階のソリューションの1つです。

今年1月上旬、NvidiaはFakecatcherというソフトウェアをリリースし、最大96％の精度で、ビデオが深く鍛造されているかどうかを検出できると主張しています。

報告によると、IntelのFakecatcherテクノロジーは、血液が体内で循環すると静脈の色の変化を特定できます。その後、血流信号が顔から収集され、アルゴリズムを介して翻訳されて、ビデオが実際に鍛造されているか深く鍛造されているかを判断します。それが本物の人である場合、血液は常に体内で循環し、皮膚の静脈は周期的な変化を深く持ち、深い偽造を持つ人々はいません。

▲画像ソースの本物のAI公式ウェブサイト

また、中国には同様の技術原則に基づいたスタートアップ企業もあります。これは、偽造コンテンツと実際のコンテンツとの特性評価の違いを特定し、さまざまな生成方法でのディープフォードコンテンツの一貫性特性を調査できます。

2。セキュリティのためのAI：成熟した産業チェーンの新しい機会

比較的新たな業界の機会であるAIのセキュリティとは異なり、「AI for Security」は、元のセキュリティシステムの変革と強化に関するものです。

マイクロソフトは、セキュリティのためのAIの最初のショットです。 3月29日、Office SuitesのAI搭載の副操縦士アシスタントを提供した後、Microsoftはほとんどすぐにセキュリティフィールドに注意を向け、GPT-4ベースのジェネリックAIソリューションであるMicrosoft Security Copilotを立ち上げました。

Microsoft Security Copilotは、AIの副操縦士の概念に依然として焦点を当てています。新しいセキュリティソリューションは含まれませんが、AIを介した元のエンタープライズセキュリティの監視と処理を完全に自動化しました。

▲画像ソースMicrosoft公式ウェブサイト

Microsoftのデモンストレーションから判断すると、セキュリティカピローは、数時間または数時間か数秒かかった元のランサムウェアイベント処理を減らし、エンタープライズセキュリティの効率を大幅に改善することができます。 MicrosoftのAIセキュリティアーキテクトであるChang Kawaguchiは、かつて次のように述べています。

セキュリティの副操縦士は、その仕組みを変え、セキュリティツールとテクノロジーの実際的な有効性を改善することが期待されていると考えています。「現在、国内のセキュリティ会社Qi'AnxinとShenxinshuiもこの分野の開発についてフォローアップしています。現在、このビジネスは中国でまだ初期段階であり、両社は特定の製品を発表していませんが、時間内に反応することができます。

4月、Google Cloudは、GoogleのセキュリティモデルSEC-PALMに基づいた拡張可能なプラットフォームであるRSAC 2023でSecurity AI Workbenchを立ち上げました。企業は、セキュリティAIワークベンチを介してさまざまな種類のセキュリティプラグインにアクセスして、特定のセキュリティ問題を解決できます。

▲写真ソース：Google公式ウェブサイト

Microsoft Security Copilotがパッケージ化されたプライベートセキュリティアシスタントである場合、GoogleのセキュリティAIワークベンチは、カスタマイズ可能で拡張可能なAIセキュリティツールボックスです。要するに、主要な傾向は、AIを使用して自動化されたセキュリティオペレーションセンターを確立して、急速に変化するネットワークセキュリティの形態と戦うことが通常の状態になることです。

大手メーカーに加えて、セキュリティの分野でのAIモデルの適用も毛細血管に入っています。たとえば、多くの国内のセキュリティ会社は、AIを使用して従来のセキュリティ製品を変革し始めています。

たとえば、Dexinshuiは「AI+Cloud Business」のロジックを提案し、AIOPS Intelligent Dimension Integration Technologyを立ち上げました。これにより、デスクトップクラウドログ、リンク、インジケータデータ、障害予測、異常検出、関連性推論などのアルゴリズムを実行することにより、ユーザーがインテリジェント分析サービスを提供します。

Shanshi Technologyは、AI機能を肯定的および否定的なフィードバックの機械学習能力に統合しています。肯定的なフィードバックトレーニングの観点から、行動のベースラインに基づく学習は、事前に脅威と異常をより正確に検出し、見逃したレポートを減らすことができます。否定的なフィードバックトレーニング、行動トレーニング、行動クラスタリング、行動分類、脅威の決定が実施されます。

さらに、AIを使用して安全な運用の問題ポイントなどを分析するABTOのような企業があります。海外では、オープンソースのセキュリティプロバイダーArmoはChatGPT統合をリリースし、自然言語を通じてKubernetesクラスターのカスタムセキュリティコントロールを構築することを目指しています。クラウドセキュリティプロバイダーのOrca Securityは、ソリューションによって生成されたセキュリティアラートを処理し、データ侵害を管理するための段階的な修正手順をユーザーに提供できる独自のChatGPT拡張機能をリリースしました。

もちろん、成熟した巨大な産業チェーンとして、セキュリティの機会のためのAIはこれらよりもはるかに多くです。私たちはただここでレンガを投げて盗まれています。セキュリティ分野でのより深い機会は、セキュリティの最前線で戦っている企業が実践を通じて調査する必要があります。

さらに重要なことは、上記の企業が現実的であり、元の願望を決して忘れないことを願っています。空を概念を作成したり、風に直面したりせずに、空を段階的に段階的に広げるという夢を置くことも、首都と熱いお金に対応したくないので、混乱を残します。