Spotify の新しい「DJ」機能は、ストリーマーの AI を活用した未来への第一歩です

Spotify は、新機能に対する消費者の肯定的な反応を見て、新しい AI DJ 機能の背後にある技術についてより大きな計画を立てています。 先週 LA で開催された同社の Stream On イベントの直前にローンチされた AI DJ は、パーソナライズされた音楽のセレクションと、リアルなサウンドの AI 生成音声で提供される音声解説を組み合わせてキュレーションします。 しかし内部では、この機能は最新の AI テクノロジーと大規模言語モデル、生成音声を活用しています。これらはすべて、パーソナライズと機械学習に対する Spotify の既存の投資の上に重ねられています。

これらの新しいツールは、必ずしも 1 つの機能に限定される必要はないと Spotify は考えています。そのため、現在、この技術の他のアプリケーションを実験しています。

Spotify の Stream On イベントのハイライトは、音楽、ポッドキャスト、オーディオブックの TikTok のような発見フィードに焦点を当てたモバイル アプリの刷新でしたが、AI DJ はストリーミング サービスの新しい体験の重要な部分になりました。 2 月下旬に米国とカナダの Spotify の Premium サブスクライバーに導入されたこの DJ は、ボタンを押すだけで聴きたいものを何でも再生できるように、ユーザーをよく知るように設計されています。

アプリの刷新により、サブスクライバー向けの音楽サブフィードの下の画面上部に DJ が表示され、お気に入りの音楽をストリーミングする方法としても、無料ユーザーにアップグレードを促す手段としても機能します。

DJがストリーミングする音楽に付随する解説を作成するために、Spotifyは、社内の音楽専門家の知識ベースと洞察を活用したと言います. OpenAI のジェネレーティブ AI テクノロジを使用して、DJ はアプリのエンド ユーザーに合わせて解説を拡大できます。 また、幅広いウェブで見つかった情報を抽出して答えを作ろうとしている ChatGPT とは異なり、Spotify のより限られた音楽知識のデータベースにより、DJ の解説は適切で正確なものになります。

DJ によって選択される実際の音楽の選択は、ユーザーの好みや興味に関する既存の理解に基づいており、以前は Discover Weekly などのパーソナライズされたプレイリストにプログラムされていたものを反映しています。

一方、AI DJ の声は、Spotify が昨年ソナティックから買収したテクノロジーを使用して作成されたもので、Spotify のカルチャー パートナーシップの責任者であるザビエル “X” ジャーニガンの声に基づいています。 驚いたことに、声は信じられないほどリアルに聞こえ、まったくロボット的ではありません. (Spotify のライブ イベントで、Jernigan は自分の AI ダブルと一緒に話しましたが、違いを見つけるのは困難でした。「私は一日中自分の声を聞くことができます」と彼は冗談を言った)。

「これほど良い音に聞こえる理由は、実際には、私たちが買収したチームであるソナティック テクノロジーの目的です。 それは声に込められた感情に関するものです」と、Spotifyのパーソナライゼーション責任者であるZiad Sultanは、Stream Onが終了した後のTechCrunchとの会話で説明しています。 「AI DJ を聞くと、呼吸のためのポーズがどこにあるのかがわかります。 さまざまなイントネーションが聞こえます。 特定のジャンルの興奮を聞くことができます」と彼は言います。

もちろん、自然に聞こえる AI の声は新しいものではありません。Google は何年も前に、独自の人間に聞こえる AI の作成で世界を驚かせました。 しかし、Duplex 内での実装は批判につながりました。AI がエンド ユーザーに代わってビジネスにダイヤルしたため、最初はそれが実在の人物ではないことを明らかにしていませんでした。 Spotify の機能については、そのような懸念はないはずですが、 それが呼ばれることさえあるとすれば 「AI DJ」。

Spotify の AI 音声を自然に聞こえるようにするために、Jernigan はスタジオに入り、音声技術の専門家と協力しながら、高品質の音声録音を作成しました。 そこで、彼はさまざまな感情を使ってさまざまなセリフを読むように指示され、それが AI モデルに与えられました。 Spotify は、このプロセスにかかる時間や詳細を明らかにすることはなく、テクノロジーが進化していることを指摘し、それを「秘密のソース」と呼んでいます。

「多くの異なる順列を持つ高品質の入力から、 [Jernigan] その後、何も言う必要はありません。今では、純粋に AI によって生成された音声です」と、生成された音声について Sultan 氏は言います。 それでも、Jernigan は時々 Spotify のライター ルームに立ち寄り、自分が意見を継続できるようにするために、どのように行を読んだかについてフィードバックを提供します。

しかし、AI DJ は Sonatic と OpenAI テクノロジーの組み合わせを使用して構築されていますが、Spotify は最新の AI と大規模言語モデルをよりよく理解するために社内の研究にも投資しています。

「最新の言語モデルに取り組む研究チームがあります」とスルタンはTechCrunchに語った。 実際、パーソナライゼーションと機械学習に取り組んでいる人は数百人います。 AI DJ の場合、チームは OpenAI モデルを使用していると Sultan 氏は述べています。 「しかし、一般的に、大規模な言語モデル、生成音声、パーソナライゼーションにわたるすべての可能性を理解している大規模な研究チームがあります。 これは急速に進んでいます」と彼は言います。 「私たちは AI の専門知識で知られることを望んでいます。」

ただし、Spotify は独自の社内 AI 技術を使用して将来の開発を強化する場合としない場合があります。 現在 OpenAI で行っているように、パートナーと協力する方が理にかなっていると判断するかもしれません。 しかし、言うのは時期尚早です。

「私たちは常に論文を発表しています」とスルタンは言います。 「私たちは最新のテクノロジーに投資します。ご想像のとおり、この業界では LLM がそのようなテクノロジーです。 そのため、私たちは専門知識を開発します。」

この基本的なテクノロジーにより、Spotify は AI、LLM、ジェネレーティブ AI テクノロジーを含む他の分野に進出することができます。 これらの分野が消費者向け製品に関してどのようなものになるかについては、同社はまだ明らかにしていません。 (ただし、ChatGPT のようなチャットボットは、実験中のオプションの 1 つだと聞いています。しかし、これは他の多くの実験の 1 つであるため、ローンチに関しては何も決まっていません)。

「新しい市場や新しい言語などにいつ拡張するかについての正確な計画は発表していません。しかし、それはプラットフォームであるテクノロジです。 私たちはそれを行うことができ、進化するにつれてさらに共有したいと考えています」とスルタンは言います.

AIに対する初期の消費者フィードバックは有望である、とSpotifyは言う

同社は、DJ に対する消費者の反応がどうなるかわからないため、AI 製品の完全なスイートを開発することを望んでいませんでした。 人々は AI DJ を欲しがりますか? 彼らは機能に関与しますか? どれも明確ではありませんでした。 結局のところ、Spotify の音声アシスタント (「Hey Spotify」) は、採用されていないために廃止されていました。

しかし、DJ機能がうまく機能する可能性があるという初期の兆候がありました. Spotify はサービス開始前に社内で従業員を対象に製品をテストしており、使用率と再エンゲージメントの指標は「非常に良好」でした。

これまでの一般的な採用は、Spotify が内部で見たものと一致していると Sultan は語っています。 これは、同じ基盤を使用して将来の製品をスピンアップする可能性があることを意味します.

「人々は毎日何時間もこの製品に費やしています。選択や発見に役立ち、次に聞くべき音楽をナレーションし、その理由を説明します。そのため、反応 — さまざまなソーシャル メディアをチェックすると、非常に前向きで、感情的なものであることがわかるでしょう」とスルタンは言います。

加えて、 共有されたSpotify ユーザーが音楽を聴いた日には、25% の時間を DJ と一緒に聴いており、初めて聴いたユーザーの半分以上が、翌日には再びこの機能を使用していました。 ただし、この機能はまだ米国とカナダに 100% 展開されていないため、これらの指標は初期段階のものです。 しかし、彼らは有望であると同社は信じています。

「これは、本当に価値のある製品とユーザーとの関係を構築するための 1 つの素晴らしいステップだと思います」と Sultan 氏は言います。 しかし、今後の課題は「適切なアプリケーションを見つけて、それを正しく構築すること」になると警告しています。

「この場合、これは音楽用の AI DJ だと言いました。 そのためのライタールームを作りました。 私たちはそれをユーザーの手に委ね、それが意図したとおりの仕事をするようにしました。 それは非常にうまく機能しています。 しかし、他に何ができるか、どれだけ速くできるかを夢見るのは間違いなく楽しいことです」と彼は付け加えます。