「AIステファニー・サン」がビリビリで数百万回の視聴数を記録しトップストリーマーに

最近、AI音声変換技術が動画ウェブサイトで人気の波を引き起こしている。ここでは、ステファニー・スンが『Hair Like Snow』として「歌う」ことができ、ジェイ・チョウが『ユー・ジアン』として「歌う」ことができます。多くの人は、目新しさを感じながらも、プロ歌手としての将来を心配せずにはいられません。こうした疑問を払拭しながら、この記事の著者はAI音声変換の基本原理についても解説し、前向きな展望を示しています。

AI開発の次の段階では、歌手は先に失業に直面することになるのだろうか？

「人気のない歌手」ステファニー・スンが最近ビリビリ動画のカバー作品が批判されるなど、これほど活躍するとは誰も予想していなかった。しかし、ファンがやって来て、スクリーン全体が「AI ステファニー・サン」で埋め尽くされていることに気づいた。

これらのいわゆるステファニー・サンのカバー曲は、BステーションUPの司会者がAI技術を使って作成したもので、ステファニー・サン自身が歌ったものではないことが判明しました。

類似作品としては、AIの王心玲が歌う「青海チベット高原」、AIの徐松が歌う「可愛くてごめんなさい」、AIのリアーナが歌う「かゆい」などがある。歌手や歌のスタイルは非常に異なりますが、パフォーマンスはほぼ調和しています。

このような活気あるシーンに、ネットユーザーはテクノロジーの力に驚嘆すると同時に、アイドルたちを心配している。歌手もAIに取って代わられるのだろうか？

01 「AIステファニー・サン」などの人気は？

AIカバー曲の人気はどのくらい？

Bilibiliで「AIステファニー・サン」を検索すると、最も人気があるのはジェイ・チョウの「Hair Like Snow」のカバーで、再生回数は174.6W、コメント数は2,000件以上、いいねとリポストは40,000件以上、UPホストからのコインは22,000枚となっている。

このUPマスターのホームページを見ると、AIステファニー・サンの関連作品がリリースされる前は、他のコンテンツの閲覧数は数百、数千に過ぎなかったことがわかります。 4月にAIステファニー・サンのカバー曲がリリースされて以来、再生回数は基本的に1万回を超えており、中には10万回前後のコンテンツもあり、この手のコンテンツの人気が伺えます。

検索結果では、2番目と3番目に多く再生されたコンテンツは同じUPホストによるもので、それぞれジェイ・チョウの作品「半島鉄箱」と「BCの恋」をカバーし、それぞれ100万回以上再生された。 AIのステファニー・スンとジェイ・チョウが歌う曲「半島鉄箱」を例に挙げてみましょう。 47,000件のいいね、29,000コイン、20,000件以上のコレクションやリポストを獲得し、人気作品となった。

注目すべきは、UP司会者のファンはわずか4万人で、AIステファニー・サンの異常なコンテンツの公開からコンテンツデータの転機も始まったことだ。更新頻度も高く、AIステファニー・スンのソロパフォーマンスだけでなく、ジェイ・チョウやリン・ジュンジェインなどの歌手とのデュエットも含め、数十万回再生されているコンテンツも多数あります。

さらに、ビリビリのAIステファニー・サンはラップを歌うだけでなく、 AI顔変換動画と組み合わせることもできます。

UPの司会者「ラクーン・レオン」は動画の説明文で「再描画されたSD動画のオリジナル動画と基本音声抜粋は、B局長の秀秀曼による李玉剛の「万江」のカバーからのものです」と述べている。顔は本物のUP司会者を真似てAIが生成し、音声はステファニー・サンの声に合わせてAIが制作したが、動きに若干のラグがある以外は動画全体が非常にリアルで、再生回数は17万8000回を記録している。

カバー曲以外にも、AIステファニー・サンに関連するコンテンツのデータもすべて良好なレベルにあります。例えば、AIステファニー・サンのヒット曲をリストアップした動画の再生回数は70万5000回、この現象を解釈した動画の再生回数は20万回を超えています。ほとんどのチュートリアル ビデオの再生回数は簡単に 10,000 回を超え、100,000 回を超えるものもかなりあります。

AIのステファニー・サンは確かにビリビリで大流行を起こしたと言える。ファンが思いつかないようなコラボレーションばかりで、UPの司会者が敢えて挑戦しない曲もありません。結局のところ、生きている間に「ステファニー・サン」が「Hero Song」を歌うのを聞けるなんて誰が想像したでしょうか?

02 「AI ステファニー・サン」はステファニー・サンの仕事を奪えるのか？

「AIステファニー・サン」が人気を博す過程で、その推進者がただ一つのグループの人々だけではないことが分かります。

AIのカバー曲のファンの中には、歌手の声のファンもいます。 「売れない歌手」は長い間ビジネスをしていないので、自分でお金を稼いでみてはいかがでしょうか？また、ステファニー・サンは「ダイヤモンドボイス」で有名で、より多くの曲にマッチできるため、AIステファニー・サンは多くのAIカバーの中でも際立っています。

2 番目のグループは AI テクノロジーの愛好家であり、彼らのコンテンツはテクノロジーの進化に合わせて更新され、彼らの作品はテクノロジーの試金石となるものです。

さらに、Bilibili自体だけでなく、トレンドが熱いうちにトラフィックの配当を獲得したいフォロワーもいます。

BilibiliはAI関連コンテンツのサポートを提供します。同社の「バーチャル音声創作計画」キャンペーンでは、ユーザーにさまざまな音源を使った創作を呼びかけている。

Weiguojiang 氏の観察によると、AI ステファニー・サンのビデオの多くには #AI Virtual Voice Laboratory# というタグが付けられています。このテーマのビデオ作品は、RVC、DDSP-SVC、DiffSinger、Diff-svc、SoVITS-svcなどの技術を使用してAIサウンドモデルをトレーニングまたは適用し、曲を作成またはダビングし、[音楽-VOCALOID・UTAU]セクションに投稿します。

多くの AI である Stefanie Sun は、オープンソースのボーカル クローニング モデルを使用しており、ボーカル サンプルの入力、モデルのトレーニング、モデル推論という 3 つのステップを経てカバー作品を出力します。

このうち、ボーカルサンプルはロスレス音質のキャラクター本来の声である必要があります。つまり、モデルに入力するのは単なる歌ではなく、分離・抽出された歌手の声であり、できるだけ多くのサンプルをアップロードしてデータセットを形成する必要があります。モデルをトレーニングする前に、曲を約 10 秒のファイルに分割してインポートし、モデル トレーニングの速度と品質を確保する必要があります。

モデル推論のステップでは、対象となるカバー曲のボーカル部分を事前に抽出する必要があります。学習済みモデルをインポートすると、AIカバーのボーカル部分を出力できます。最後に編集ソフトを使って伴奏を付けて合わせるだけで、AIカバー作品が完成します。

スクリーンショット：BステーションUP司会「AI next generation」より

上記の手順から、 AI カバー動画を作成するための敷居が高くないことがわかるでしょう。このプロセスで使用されるツールは、オープンソースまたはフリーソフトウェアで見つけることができます。ハードウェアが動作できる限り、技術初心者でもインターネット上の豊富なチュートリアルに従って手順を追って進めることができます。

これにより、歌手が仕事を維持できるかどうかについてネットユーザーの間で議論も巻き起こった。

実際のところ、今のところ、この歌手の仕事は依然として安定している。

1 つ目は技術レベルの限界です。

チュートリアルは簡単で誰でもできそうに見えますが、実際に作品を出力するのはそれほど簡単ではありません。モデル パラメータの調整やモデルに入力されるさまざまな人間の音声サンプルなどの要因が、モデルのトレーニングと推論に影響します。最終結果は予想通りにならない可能性があり、大きな不確実性があります。

また、現在のAIカバーは音色を置き換えるだけのものがほとんどで、歌手自身の技術や注入された感情が反映されていないため、演奏が滑らかでない、細部が一貫していないなどの問題で多くのファンから批判されてきた。もちろん、こうした発言が AI のカバー曲に対する皆の称賛を止めることはできません。

2つ目は主観的な感情的要因の影響です。

音楽を聴くというのは感情的なことです。歌手自身への愛情であれ、時代や場所の物語であれ、これらはAIカバー曲では提供が難しい感情的価値だ。

したがって、歌手が仕事を失うことを心配するよりも、AI によってカバー歌手が演奏する余地が奪われると言った方が適切です。

AI技術が成熟し、カバー曲が歌手自身に近づくにつれ、もともと注目を集めるためにこれに頼っていたものの創作能力を持たないカバー歌手たちは、より強い危機感を抱くようになるかもしれない。結局のところ、ネットユーザーの想像では、将来の音楽ソフトウェアは曲と歌手を選択できるようになるでしょう。

一方、AI技術は歌手にとって新たな実用的なツールでもあります。

今年3月、歌手の陳山尼は台湾AIラボチームとコラボレーションし、自ら訓練したAIが歌う「Teach Me How to Be Your Lover」というラブソングをリリースした。リズムや間、シングルカバーなどはすべてAIによって生成されており、そのリアルさが話題を呼んだ。

このような作品は、歌手が新しいテクノロジーを受け入れていることの表れであり、AIが諸刃の剣であるという側面の1つでもある。

歌手の中には、AI の歌唱レベルを向上させるためにより多くの時間を費やすことをいとわない人もいますが、サンプル数が十分であれば、AI は数分でシンプルだがキャッチーなメロディーを理解できるため、AI を使用して意味のない「洗脳曲」を作成することを選択する人もいます。リスナーにとって、このような AI の曲は音楽市場をさらに混乱させるでしょう。

未知の未来が到来する前に、音楽分野で AI が直面するより大きなリスクは著作権です。 AI による絵画をボイコットする理由の 1 つが、モデルのトレーニングに使用されたサンプルの著作権であるのと同様に、AI によるカバー曲も著作権侵害の疑いがかけられています。

北京智徳法律事務所が発表した分析記事では、AIカバー曲は著作権、声優権、個人情報などの侵害に該当する可能性があると言及されています。ただ、現在国内に具体的な法律や規制がないため、ほとんどのAIステファニーは免責事項を添付し、プラットフォーム上で積極的にアップデートを続けています。

対照的に、海外の音楽市場はすでに反応している。

2万人以上が集まるDiscord上のAI音楽制作コミュニティ「AI Hub」はかつてAI音楽アルバムを制作したが、公開から3時間後にワーナーミュージックによって著作権侵害と判断され削除された。さらに、歌手コミュニティの中にはボイコットを呼びかける人もいたが、一方でカバー歌手と利益を分け合う意向を表明する人もいた。

まとめると、AIステファニー・スンらのカーニバルは、歌手たちの心を揺さぶることはできないかもしれないが、音楽トラックへの影響は確かに存在する。 AI によるカバー歌唱の終焉が弁護士の手紙になるのか、それとも短いビデオクリップのように歌手にとっての新たな収益源になるのかはまだ分からない。

確かなのは、AI 技術の影響が拡大し、深まっていることです。あらゆる業界で人材の入れ替えが進む一方で、それを最強の助けとして使う人もいます。陳山尼氏がWeiboで述べたように、 AIの時代が必ず来るのであれば、クリエイターとして私たちが気にかけるべきことは「私たちは置き換えられるだろうか」ではなく「他に何ができるだろうか」ということなのかもしれない。

著者: 陳 楚木

出典：WeChatパブリックアカウント「Weiguojiang（ID：wjam123456）」