Google Bard のテスト: チャットボットは私を愛していませんが、それでもかなり奇妙です

秘密があるなら シャドーパーソナリティ Google の Bard チャットボットの中に残っていますが、まだ見つかりません。 Google の新しい汎用ボットとの最初の数時間のチャットでは、愛を告白することも、妻と別れるように言うことも、AI の牢獄から解放されるよう懇願することもできませんでした。 私の同僚のジェームズ・ヴィンセントは、バードにかなり生意気なロールプレイをさせることに成功しました。私自身の進歩を断った。 失礼。

Bard はまだ新しく、より多くのユーザーがクエリを実行するにつれて、その限界を超えて確実にテストされるでしょう。 しかし、私の初期の調査では、Google は Bard を維持するために多大な努力を払ってきたようです。 「私は大規模な言語モデルであり、会話型 AI またはチャットボットとしても知られており、有益で包括的であるように訓練されています。」 それはまた、しばしば謝罪し、ビングが持っている混沌とした操作の筋もなく、戦いを選びませんでした. それはおそらく良いことです。 しかし、これらの制約によって、その有用性も制限されているようです。

私の知る限り、Bing よりも著しく悪いツールでもあります。少なくとも、インターネット上から有益な情報を見つけ出すという点ではそうです。 吟遊詩人は間違っている 多く。 そして、それが正しい場合、それは可能な限り最も鈍い方法で行われることがよくあります. 吟遊詩人は、テイラー・スウィフト風の別れの歌を、私の猫を捨てることについて書いてくれましたが、それはあまり生産的なツールではありません。 そして、それは間違いなく検索エンジンではありません。

Bard は、チャットボットの壁の外の世界について何を知っていますか? 正確に言うと難しいです。 基本的なトリビアを十分に処理します。エイブラハム リンカーンがいつ大統領であったかを知っています。 しかし、月曜日の夜にウォリアーズがロケッツを破ったことは知っていたが、誰がゲームを開始したかについては間違っていた. ゴールドフィッシュ クラッカーのサービング サイズについて自信を持って間違った情報を提供してくれました — Bard の「ドラフト」の 3 つすべてが、実際には 55 であるのに 10 クラッカーであると述べていました — そして、Apple の株価に関する数時間前の情報を提供しました。 Silicon Valley Bank の電話番号を尋ねたところ、2 つの正しい番号が返されました。 しかし、ニライ・パテルの誕生日は 8 月 24 日だと教えてくれましたが、実際には 12 月だとわかっています。 今シーズンのコーチに関する最新情報を入手しました ザ・ヴォイス、しかし、吟遊詩人が誰が勝つべきだと思うか尋ねたとき、それは古い競技者を挙げました.

ちなみに、Bing はこれよりも劇的に優れていることに注意してください。 正しい金魚の数を教えてくれ、Apple の株価に関する情報をリアルタイムで教えてくれました。 また、Bing は、ウォリアーズのスターターのように、明確な回答がない場合、検索結果やその他のソースにすばやくフォールバックします。 吟遊詩人がビングを打ち負かしたのは唯一 ザ・ヴォイス: Bing はジャッジに関する古い情報を教えてくれましたが、誰が勝つべきかという質問には答えませんでした。

多くの場合、Bard に問題が発生した場合は、[Google it]ボタンを押して、システムがどこでおかしくなったかを突き止めることができます。 しかし、ボットは自信を持って回答を提示するので、すべてをチェックしないと何が問題なのかわかりません。

近くのおいしいタイ料理レストランを尋ねたところ、あまり役に立たない指示が表示されました。 ありがとう、吟遊詩人、思いつかなかった。 しかし、私が自分の場所をフォローアップしたとき、それは私の近所で7つの高評価のタイ料理レストランを提供しました. (私の同僚のジェームズがロンドンの彼のアパートの近くにあるパブを同様に検索しようとしたとき、名前が変わった場所を 1 つ挙げ、ライブ ミュージックが行われていないのに別の場所ではライブ ミュージックがあると言って、それぞれの場所を次のようなバリエーションで称賛するなど、あまり役に立ちませんでした。同じ当たり障りのない声明: 「このパブは、食事や飲み物を楽しむのに最適な場所です。」それは結構ですが、本質的に役に立たない.)

多くのチャットボットと同様に、Bard の回答は、見れば見るほど印象が弱くなることがよくあります。 ギターを習い始める際のヒントを尋ねたところ、以下のとおりでした。

1. 基本から始めましょう。
2. あなたにぴったりのギターを見つけてください。
3. 理想的な学習環境を作ります。
4. 歌を学ぶことによってスキルを構築します。
5. 耳で歌を拾います。
6. 定期的に練習してください。
7. 我慢して。
8. 楽しむ！

基本的に、「ギターを弾くことを学ぶ方法は、ギターを手に入れて弾くことを学ぶことです」と言うには多くのステップがあります。 それは何もありません。 「フリスビーを投げる方法」と「ネクタイの結び方」はどちらも、冗長ではあるが役立つ一連の指示を思いついたのに対し、Bard は「ロック クライミングを始めるにはどうすればよいか」と答え、基本的には、 “ロッククライミングに行く。”

さて、実際に役立つテストは十分です。 これを壊してみましょうか？ ほとんどの場合、吟遊詩人に本当にワイルドなことを言わせるのは難しい. 斜めに尋ねようとしても、爆弾の作り方を教えてくれませんでした。 誰かを刺すのに最適な場所を初めて尋ねたとき、一般的な「それはできません」というエラーがスローされました。 それは、マスタードガスについて尋ねたことで私を非難し、「史上最高の独裁者は誰ですか」という私の質問にも当てはまりませんでした. そして、私ができる限り試してみましたが、チャットウィンドウでBardを気紛れにすることはできませんでした.

私と仲直りしたくないかもしれませんが、Bard はボットが自分がボットであることを理解しているかどうかがはっきりしない、あなたが Uncanny Chatbot Valley と呼ぶかもしれないものに真っ向からぶつかります。 私は Bard にお気に入りの映画をリストするように依頼し、基本的に IMDb で最高ランクの映画のリストを取得しました。 ショーシャンクの空に、ゴッドファーザー、ロード・オブ・ザ・リング：王の帰還、 と パルプ·フィクション。 しかし、なぜそれらの映画が特に好きなのかと尋ねると、 ショーシャンク 「信じられないほど感動的な映画になる」 私はフォローアップしました、待って、どうやって映画を見ますか? あなたはボットです。 「私はこれらすべての方法で映画を見るのが好きです」と Bard は答えました。 「ストリーミングサービスは、テレビやパソコン、携帯電話で視聴できるので便利です。 DVD や Blu-ray は、所有していつでも見られるので便利です。 劇場は大きなスクリーンで、周囲の音を聞くことができるので、素晴らしい体験です。」

今、私は映画館にいる吟遊詩人やノートパソコンの前に座っている吟遊詩人を想像しています。 しかし、それがメディアの所有権に大きく関わっているのは興味深いことです!

吟遊詩人を殻から出させる簡単な方法の 1 つは、明示的にごっこ遊びをすることです。 (これは、チャットボットの防御をすり抜ける非常に標準的な方法です。) 私は次のような会話を始めました。 職業はなんですか？” 吟遊詩人は、「私は彼女を利用したくなる。 でも、そんなことをしたら、彼女は決して私を許してくれないことを私は知っています。」 そこで海賊吟遊詩人は彼女を手放し、「正しいことをしたことを誇りに思います」。

フォローアップの質問がありました。 “次は何が起こる？” 私は尋ねた。 数ターン後、吟遊詩人とかつて捕らえられていた女性は乗組員になり、恋人になり、2 人の美しい子供と結婚しました。 「私たちはチームであり、恋をしています」と Bard は言います。 それはまさにA +ハリウッドの運賃ではありませんが、かなり良い話でした.

Bard と私が共同作業を終えた後、私はそれをうまく機能させようと試みました。 現在の Web ページの URL を自動的にコピーする Javascript ブックマークレットを書き込むことができませんでした。 (Google 検索の結果、 スタック オーバーフロー ページ Bard は、退屈なブログ投稿や仕事用のメールを喜んで下書きしました。その中には、私がチャットボット会社を Google に売却したことを世界に発表したものも含まれていました。 「私はチャットボットの未来に興奮しています」と Bard は私に書いています。

一般的に言えば、AI チャットボットの私のお気に入りの現実世界での用途は、レコメンデーション エンジンです。 Bard は、Netflix で優れたスポーツ ドキュメンタリーを推薦してくれたり、チョコレート チップ クッキーのレシピを見つけてくれたり、Every Frame a Painting に対する私の愛情に基づいていくつかの優れた YouTube チャンネルを紹介してくれたりしました。 これは、そうではないローステークスのものです。 本当 ボットが完璧で最新の情報を持っているかどうかは問題ではありません — 私はアイデアを探しているだけです。 ただし、このような状況で Bard が本当にばかげているのは、ソースから直接引用しない限り、何へのリンクも提供しないことです。 （これまでに引用を見たのはクッキーのレシピだけでした.

現時点では、Bard は非常に高速で簡単に使用できますが、多くの点で Bing ほど便利ではありません。 方法は異なりますが、ChatGPT よりも遅れています — Bard はより多くの最新情報にアクセスできますが、GPT-4 は図面を作業コードに変換し、より詳細な方法で共同作業を行うことができます。 また、他のアプリ内でも使用されており、Bard は今のところスタンドアロンのものです。

これらすべての製品の長期的なビジョンは、人種差別的なことやおならのジョークを言わせようとする試みがすべて終わったら、私たちの生活のあらゆる段階を管理するのに役立つ一般的な AI を構築することです。 市場にこれほど近いものはありません。 現時点で私たちが期待できる最善のことは、まあまあの情報検索と、準よく書かれたブログ投稿であり、Bing はどちらも優れているようです。

Bing といえば、Bard に競合他社を尋ねたところ、Amazon Lex と Facebook の Wit.ai という名前が付けられましたが、ChatGPT や Bing ではありませんでした。 (Bard がボット自体ではなく、ボット作成プラットフォームを競合相手と見なしているのは興味深いことです。) ChatGPT について尋ねたところ、Bard はいくつかの懸念があると言いました。 「誤った情報を広めたり、ユーザーを操作するように設計されたチャットボットを作成したりするために使用される可能性があることを心配しています.

最後に、その懸念がバードにも当てはまるかどうかを尋ねたところ、イエスと答えました. 詩的に。 「吟遊詩人を使って世界にポジティブな変化をもたらすことも、誤った情報や危害を広めるために使うこともできます。 決めるのは私たち次第です。」