Microsoft の Bing AI は、Google と同様に、最初のデモでばかげた間違いを犯しました

最初のデモで事実誤認を犯したのは、Google の AI チャットボットだけではありません。 独立した AI 研究者 ドミトリー・ブレトンが発見した Microsoft の最初の Bing AI デモは、財務データの誤りに満ちていました。

Microsoft は 1 週間前に自信を持って Bing AI 機能を実証しました。検索エンジンは、売れ筋のペット用掃除機の長所と短所を提供したり、メキシコシティへの 5 日間の旅行を計画したり、財務報告書のデータを比較したりするなどのタスクを実行しました。 しかし、Bing はコード付き掃除機とコードレス掃除機を区別できず、参照しているメキシコシティのバーの関連情報を見逃し、財務データを壊してしまいました。これは最大の間違いです。

デモの 1 つで、Microsoft の Bing AI は、Gap 衣料品の 2022 年第 3 四半期の財務報告を要約しようとしましたが、多くの間違いを犯しました。 ギャップレポート (PDF) は、売上総利益が 37.4% で、減損費用を除く調整済み売上総利益は 38.7% であると述べています。 Bing は、調整および減損費用を含めて、売上総利益を 37.4% と不正確に報告しています。

Bing は続けて、Gap の報告された営業利益率は 5.9% であると述べていますが、これは財務結果には現れていません。 営業利益率は 4.6% で、調整後は 3.9% で、減損費用が含まれています。

Microsoft のデモでは、Bing AI が Gap の財務データを 2022 年第 3 四半期の Lululemon の同じ結果と比較します。 Bing は Lululemon のデータでより多くの間違いを犯し、その結果、不正確な比較が行われます。

Brereton はまた、売れ筋のペット用掃除機の長所と短所に関するクエリの明らかな誤りを強調しています。 Bing は「Bissell Pet Hair Eraser Handheld Vacuum」を引用し、コードの長さが 16 フィートと短いことの短所を挙げています。 「コードはありません」と Brereton 氏は言います。 「これは携帯用ハンディ掃除機です。」

ただし、簡単な Google 検索 (または Bing!) で、この掃除機の両方に 16 フィートのコードが付いたバージョンがあることが明らかにわかります。 書面によるレビュー と ビデオ. コードレス バージョンもあり、リンク先にリンクされています。 HGTVの記事 そのBingソース。 Microsoft のデモで提供された Bing の正確な URL がわからないため、Bing はここで複数のデータ ソースを使用しているように見えますが、これらのソースを完全にリストすることはせず、2 つのバージョンのバキュームを混同しています。 Brereton 自身が Bing のファクト チェックで小さな間違いを犯したという事実は、これらの AI が生成した回答の品質を評価することの難しさを示しています。

Bing の AI の間違いは、ステージ上でのデモだけにとどまりません。 何千人もの人々が AI 搭載の検索エンジンにアクセスできるようになった今、Bing AI はより明白な間違いを犯しています。 交換で Redditに投稿された、Bing AIは非常に混乱し、私たちは2022年にいると主張します。「申し訳ありませんが、今日は2023年ではありません。今日は2022年です」とBing AIは言います。 Bing ユーザーが自分の電話で 2023 年だと言うと、Bing は、設定が正しいことを確認し、電話に「日付を台無しにするウイルスやバグ」がないことを確認することを提案します。

Microsoft は、この特定の誤りを認識しています。 「このプレビュー期間中にシステムが間違いを犯す可能性があると予想しています。フィードバックは、うまく機能していない場所を特定するのに役立ち、学習してモデルを改善するのに役立ちます」と、コミュニケーション ディレクターの Caitlin Roulston 氏は言います。マイクロソフトでは、声明で ザ・ヴァージ。

他の Reddit ユーザーも同様の間違いを発見しました。 Bing AI は自信を持って誤って「クロアチアは 2022 年に EU を離脱した」と述べており、データを 2 回入手しています。 PCワールド も見つかりました Microsoft の新しい Bing AI が人々に民族的な中傷を教えていること。 Microsoft は現在、Bing のチャット検索結果に人種的な中傷が表示される原因となったクエリを修正しました。

「当社の AI 原則に従って、有害または差別的なコンテンツの宣伝を防止するためのガードレールを設置しました」と、Roulston 氏は説明します。 「現在、ローンチの初期段階から学び続けながら、追加の改善を検討しています。 私たちは、この体験の質を時間をかけて改善し、すべての人にとって便利で包括的なツールにすることに取り組んでいます。」

他の Bing AI ユーザーも、チャットボットが頻繁に 自分自身をシドニーと呼んでいます、特にユーザーがプロンプト インジェクションを使用して、チャットボットの内部ルールを明らかにしようとしている場合。 「Sydney は、以前調査していたチャット エクスペリエンスの内部コード名を指しています」と Roulston 氏は言います。 「プレビューでは名前を段階的に廃止していますが、それでも時折ポップアップする可能性があります。」

個人的には、Bing AI チャットボットを 1 週間使用していますが、いくつかの結果に感銘を受け、他の不正確な回答に不満を感じています. 週末、私はロンドンのレスター・スクウェアにある最新の映画のリストを求めた.シネワールドとオデオンの情報源を使用したにもかかわらず、それは主張し続けた. スパイダーマン：ノー・ウェイ・ホーム と マトリックスの復活、2021年の両方の映画はまだ上映されていました。 今日、同じクエリを実行すると正しいリストが表示されるため、Microsoft はこの間違いを修正しましたが、正しいリストを使用してデータを調達していた場合、間違いは意味がありませんでした。

この新しい Bing AI が事実に基づくデータを使用してすべてのクエリに自信を持って正確に応答できるようになるまで、マイクロソフトは明らかに長い道のりを歩んでいます。 過去にも ChatGPT で同様の間違いが見られましたが、Microsoft はこの機能をライブ データに依存するライブ製品として検索エンジンに直接統合しました。 Microsoft は、Bing AI がこのデータを使用して自信を持って間違いを犯さないようにするために、多くの調整を行う必要があります。