Apple の Vision Pro キーボードとその他のコントロールを詳しく見る

Apple の開発者セッションでは、空中で入力できる仮想キーボードなど、ユーザーが新しい Vision Pro ヘッドセットを (最終的には) 制御するさまざまな方法について詳しく説明しました。 おかげで私たちにもたらされます 「空間入力のためのデザイン」セッションこの記事では、Apple のデザイン チームの 2 人のメンバーが、新しいプラットフォーム向けのアプリを設計するためのベスト プラクティスを将来の開発者に説明します。

Apple は、ユーザーが主に UI 要素を見て、膝の上で腕をリラックスさせて小さな手のジェスチャーをすることでヘッドセットを操作することを望んでいるように見えます。 しかし、Apple のデザイナーであるイスラエル・パストラーナ・ヴィセンテ氏は開発者セッションで、「一部のタスクは直接対話するのに適している」と認めており、これには手を伸ばして UI 要素に触れることも含まれます (この機能を Apple は「ダイレクト タッチ」と呼んでいます)。 物理キーボードやトラックパッド、ゲーム コントローラーの使用もサポートされています。

それでは、Vision Pro の仮想キーボードについて話しましょう。 Apple のデザイナー、ユージン・クリボルチコ氏は、読み取り周辺機器に触れることに伴う「欠落した触覚情報」を補うために、使用中に視覚的および音声によるフィードバックを豊富に提供することが重要であると説明しています。 「指がキーボードの上にある間、ボタンにはホバー状態が表示され、ボタンの表面に近づくにつれて明るくなるハイライトが表示されます」と Krivoruchko 氏は説明します。 「これは近接の合図を提供し、指をターゲットに誘導するのに役立ちます。 接触した瞬間の状態変化は素早く反応し、それに応じた空間音響効果が伴います。」

音声入力もサポートされており、同じ開発者セッションでは、検索フィールドのマイクアイコンに目を集中させると「Speak to Search」機能がトリガーされることが指摘されています。 それはおそらくオーディオデータを 6つのマイク Vision Pro に組み込まれています。

直接タッチを使用して、他のシステム要素と対話することもできます。 タッチスクリーンを操作しているかのようにタップしてスクロールする機能があり、ある Apple のデモでは、着用者が空中でペンを動かし、マークアップで単語を書いたりハートの形を描いたりする様子が示されています。 主なインタラクションはユーザーの手を介して行われますが、ジェスチャーを強化するためにアイトラッキングも使用している方法について Krivoruchko 氏は説明します。 「マウス ポインタと同じようにブラシ カーソルを手で制御しますが、キャンバスの反対側に目を向けてタップすると、カーソルがそこにジャンプして、見ている場所に正しく着地します。 これにより、正確な感覚が生まれ、大きなキャンバスを素早くカバーするのに役立ちます」とデザイナーは言います。

Apple の高価な新しい Vision Pro ヘッドセットが実際にどのように機能するか (特に、他のメーカーのモーション コントローラーと組み合わせる可能性について) についてはまだ多くの疑問がありますが、私たちの実践体験とこのような開発者セッションの間に、経験が焦点になり始めています。