オンライン コミュニティにピア ツー ピアのチャット サポート ネットワークを提供する無料のメンタルヘルス サービスは、同社が受信者に通知することなく、応答を生成するために AI チャットボットを使用することを簡単に実験したことを共同創設者が明らかにした後、精査に直面しています。 彼らはそれ以来持っていますが 軽視しようとした プロジェクトの欠陥を明らかにし、 評論家もユーザーも は、医療倫理、プライバシー、および騒々しく物議をかもしている AI チャットボット ソフトウェアの世界について深い懸念を表明しています。
火曜日にハイライトされたように 新しい科学者、 ココ 約 7 年前に MIT 卒業生の Rob Morris によって共同設立されました。 手形 このサービスは、オンラインのメンタルヘルス サポートを「誰もが利用できる」ものにするための斬新なアプローチです。 その主なサービスの 1 つは、ソーシャル ネットワーク プラットフォームなどのクライアントがキーワード フラグ ソフトウェアをインストールして、ユーザーを人間のチャット ポータルなどの心理学リソースに接続できるようにすることです。 Koko は、ソーシャル メディアの若いユーザーにとって特に役立つと宣伝されています。
[Related: OpenAI’s new chatbot offers solid conversations and fewer hot takes.]
先週の金曜日ですが、 モリスがツイート OpenAI が開発した人気の AI チャットボット プログラムである GPT-3 を使用して、約 4,000 人のユーザーが「メンタルヘルス サポートを提供されました」。 ユーザーは GPT-3 と直接チャットしていませんでしたが、「副操縦士」システムは、人間のサポート ワーカーが AI の提案された応答を確認し、関連性があると判断した場合に使用できるように設計されました。 として 新しい科学者 また、ココのユーザーは、少なくとも部分的にチャットボットによってメンタルヘルスのサポートが生成された可能性があることを知らせる事前のアラートを受け取っていないようです.
モリス氏は自身の Twitter スレッドで、視聴者は人工知能が共同で作成した回答を人間のみの回答よりも「大幅に高く評価した」と説明しましたが、人々がメッセージの人為的な出所を認識した時点で、プログラムをすぐに中止することに決めたと述べています。うまくいきませんでした。
「シミュレートされた共感は、奇妙で空っぽに感じます」とモリスは書いています。 それでも彼は、チャットボットと会話していることを最初からユーザーに警告する Woebot のような以前のプロジェクトを引用して、メンタルヘルスケアにおける AI の潜在的な役割について楽観的な見方を示しました。
[Related: Seattle schools sue social media companies over students’ worsening mental health.]
ココの試みに関するモリスの説明からのその後の副次的影響は、ほぼ即座にオンラインで反発を引き起こし、モリスは実験を取り巻く「誤解」について複数の説明を出した. 「私たちは、知らないうちに GPT-3 とチャットするために人々をペアリングしていませんでした。 （振り返ってみると、これをよりよく反映するために、最初のツイートを表現できたはずです）」と彼は言いました。 先週の土曜日に書いた、この機能が利用可能である間は「オプトイン」であったと付け加えました。
「AI コンテンツの作成がなくなるわけではないことは明らかですが、現在は急速に変化しているため、人々はそれを使用する最善の方法について批判的に考えていません」と、デジタル権利擁護団体 Fight for のキャンペーン ディレクターである Caitlin Seeley 氏は述べています。未来、書いた ポップサイエンス メールで。 「透明性は AI の使用の一部でなければなりません。人々は、自分が読んだり見たりしているものが人間によって作成されたのか、コンピューターによって作成されたのかを知る必要があり、AI プログラムがどのようにトレーニングされているかについて、より多くの洞察を得る必要があります。」
[Related: Apple introduces AI audiobook narrators, but the literary world is not too pleased.]
Seeley 氏は、Koko のようなサービスは、提供しようとしているサービスについて「思慮深く」ある必要があると同時に、それらのサービスにおける AI の役割についても批判的である必要があると付け加えました。 「AI を倫理的な方法でどのように使用できるかについては、まだ多くの疑問がありますが、それを検討している企業は、AI の使用を開始する前にこれらの質問をする必要があります。」
Morris 氏は批判を聞いたようですが、同社が次にどうなるか、チャット AI の今後の計画は不明のままです。 「私たちは、プライバシー、透明性、およびリスク軽減に深い関心を持ち、AI の使用が慎重に処理されるようにすることに関心を共有しています。」 モリスが書いた 週末のココのブログで、同社の臨床諮問委員会が将来の実験のガイドライン、特にIRBの承認について話し合うために会合していると付け加えた.