数週間前、私は指と目を使って制御されるインターフェースを備えた最高品質の複合現実ヘッドセットを目にしました。 Appleのビジョンプロ。 しかし、その発表の数か月前に、私はおそらくさらにワイルドなものを目にしました。 耳にはクリップがかけられ、先端がゴム状のセンサーの冠が髪の中に収まり、フェイスマスクが目の前に下げられました。 突然、VR で自分の脳波を見て、顔の筋肉のわずかな動きだけで物を動かしてみました。 OpenBCI をテスト運転していました ガレア。
これを見て： OpenBCI の脳センシング VR ヘッドセット、Galea で未来を身に着けました
VR と AR の未来は着実に進歩していますが、インプットは依然として課題です。 今のところ、それは物理的なコントローラーから手と目の追跡に移行する領域です。 しかし、それを超えたさらに深い可能性があり、それらは神経質なものです。
Galea ヘッドセットを試した体験をどう説明したらいいのかさえわかりません。なぜなら、Galea ヘッドセットは次に何が起こるかを探索するためのプラットフォームだからです。 そして、ニューラルテクノロジーにおける私の経験はまだ初期段階にあります。
OpenBCIは、ブルックリンに本拠を置き、非侵襲的なブレイン・コンピューター・インターフェース技術の研究ツールを構築している会社で、自社の感覚システムを、今年後半に発売される予定の Galea と呼ばれる複合現実ヘッドセットに適応させています。 私は、ブレイン コンピューター インターフェイスが VR や AR でどのように機能するかに興味を持ち、OpenBCI のブルックリン オフィスで Galea のプロトタイプ バージョンを試してみました。 また、私とコンピューターとのやり取り全般に将来何が起こるだろうかとも考えていました。
Galea のデモを行っている OpenBCI チーム メンバーを撮影した写真: ヘッドセットは Steam VR で動作します。 (ヘッドセットで私を確認するには、ビデオをご覧ください。)
VRおよびAR向けの新しいセンサープラットフォーム
私は、特定の視覚タスクに焦点を当てた、より単純化された脳波センサーのセットを試してみました。 NextMind を使用すると、たとえばアクションをトリガーする特定の場所に焦点を当てることができました。 (ネクストマインドは スナップ社が買収 ）それはほとんどマウスをクリックするような感じでしたが、私の心ではそうでした。 しかし、OpenBCI の Galea は、EEG、EMG、EDA、PPG、視線追跡など、あらゆる種類のセンサーを完全に組み合わせたものです。 略称のお祭りです。
脳波、または脳波検査は、脳信号の電気活動を測定します。 OpenBCIは、2021年に試したNextMindハードウェアと同じように、頭皮の近くに押し込むゴム状の先端のセンサーでこれを測定します。電極は乾いていても機能しますが、良好な信号を取得するには、あまりにも多くの髪の毛を避けておく必要があります。
筋電図、または筋電図検査は、神経と筋肉の電気活動を測定します。 ここでは、センサーがヘッドセットのフェイスマスクの周りにあり、額、目、頬の周りを押しています。 顔の筋肉を少し動かすと、測定値が測定されます。 しかし、特定の物理的な動きを検出する Quest Pro のような VR ヘッドセットの顔カメラとは異なり、ここでの測定値はすべて電気ベースです。 理論的には、単純な神経インパルスのような動きを非常に小さくすることができます。 メタも発展中 EMGテクノロジー 将来のヘッドセットで使用できるリストバンド用。 しかし、その手首技術は手首を介して指と手の動きを測定するだけです。 OpenBCI のセンサーは顔を監視しています。
Galea プロトタイプのヘッドバンドの外観: 先端がゴム状の EEG 電極は、測定値を向上させるために頭皮の近くに配置されています。
エダ、または皮膚電気活動は、皮膚上の汗の電気的測定です。 ストレスの感知によく使用されます。Fitbit は、ストレス測定のために独自の EDA センサーを Fitbit Sense スマートウォッチに組み込みました。 OpenBCI の EDA センサーは、ヘッドセットの前頭部部分にあります。
PPG これは、ほとんどのスマートウォッチにすでに搭載されているものと同様の、光学式心拍数センシング (光電脈波計) です。 最終的な Galea ヘッドセットでは、額でも PPG が測定されます。 ただし、デモでは PPG を測定するイヤークリップを装着しました。
センサー アレイは既存の VR-AR ヘッドセットと結合されています。 ヴァルジョ XR-3 (または低コストの Varjo Aero)、PC に接続してソフトウェアを実行し、データを分析します。 Varjo の高解像度ディスプレイとパススルー ビデオ複合現実により、OpenBCI のセンサーは VR および AR タイプのシナリオで動作する多くのソフトウェアの可能性が得られます。 しかし、OpenBCI のセンサー アレイは VR ヘッドセットから独立して動作することも、他のヘッドセットと接続することもできます。
Apple の Vision Pro も、その処理能力とスタンドアロン機能により、OpenBCI にとって理想的なプラットフォームとなる可能性があります。 OpenBCI の CEO 兼共同創設者である Conor Russomanno 氏によると、Vision Pro や将来の AR および VR プラットフォームのようなものに取り組むことは完全に可能です。 同氏は、Apple の最近の動きを複合現実のコンピューター的な側面を強調していると例えており、OpenBCI もまさにそれと同じようにチャンスについて考えています。
Christian Bayerlein さんは、Galea を使用して、顔の筋肉の動きを測定する EMG センサーを使用してドローンを制御する方法を学びました。
アクセシビリティの目標
OpenBCI の感覚アレイは、一度に複数の可能性を追求することができます。 それは 1 つの特定の目標に関するものではなく、システムのセンサーがどのように研究を可能にし、またコンピューターとの相互作用への扉を開くことができるかについてです。 最近では、OpenBCI は、脊髄性筋萎縮症のハッカーであるクリスチャン・バイエルライン氏と協力し、OpenBCI の感覚アレイを使用して顔面筋インパルスを使用してドローンを制御しました。 そのプレゼンテーションは、 TEDトークとして行われたは、ブレイン コンピューター インターフェイスが、仮想および現実世界のテクノロジーへのアクセシビリティと制御の新たな扉をどのように開くことができるかを示すデモンストレーションでした。
私のデモには、Cat Runner と呼ばれる EMG ベースのコントロール ゲームが 1 つ含まれていました。 顔の筋肉を少し動かしながら、漫画のキャラクターを前後に動かしました。それが Galea フェイスピースの EMG センサーによって認識されました。 これは、Meta が神経入力リストバンド技術のテストとデモンストレーションに使用しているのと同じゲームです。 去年の秋に見た Meta’s Reality Labs Research レドモンド本社にて。 しかし、Meta 社は手首での動きの感知を検討しているのに対し、OpenBCI の Russomanno 社は、センサーがカメラベースのハンドトラッキングの既存の取り組みを妨げない、頭部での使用の方が良い機会があると考えています。
EMG テクノロジーは、筋肉がまったく動いていないように見えるほど非常に微細な電気インパルスを感知することを目的としていますが、センサー、アルゴリズム、人間の入力の間のそのレベルの関係を精緻化するには時間がかかる可能性があります。 OpenBCI の複数の種類のセンサーは、研究の将来の方向性や新しいインターフェイスを示す可能性のある大量のデータを提供する可能性があります。 また、VR や AR の使用が脳や注意力にどのような影響を与えるかについてフィードバックを提供することもできます。 VR ヘッドセットのセンサーを使用して認知プロセスを研究する取り組みは、心拍数センサーを備えた HP Omnicept やほとんどの視線追跡対応ヘッドセットなど、これまでにも行われてきました。
EEG センサーの別のデモでは、私のさまざまな脳波状態が周囲の光の色に変わる、瞑想的な「共感覚の部屋」を作成しました。 脳波によって見える色が変わったようです。 私は、特定の方法で集中してさまざまな色を引き出すことができるかどうかを試し始めました。 うまくいっているように見えましたか？ フィードバックは多くの OpenBCI センサーの重要な部分であり、最終的にはフィードバックを使用して、私たち自身の神経インパルスで物事を制御する方法をトレーニングし、改善することができます。
Galea の最終バージョンのデザイン (左) と私が試したプロトタイプ (右)。 プロトタイプのヘッドバンドには、先端がゴム状の脳波電極が見えます。
ルッソマンノ氏は、バイエルレイン氏がドローン制御で行っていること、EMGを使用してシステムに彼自身の脳と体の機能を拡張させていることを、ニューロフィードバックがAIと同じくらい私たちがコンピューターと対話する方法をどのように変えるかの兆候であると見ています。
「AIが役に立たないと言っているわけではない。AIは最終的なものではないし、世界を変える唯一の聖杯ソリューションでもない」とルッソマンノ氏は語った。 「実際、私たちはニューロフィードバック、本当にスマートな UI、そして本当にスマートなデザインを好みます。これは、ループの反対方向を最適化するものです。テクノロジーを使用してコンピューターが人間により良く教えることは、私たちが経験しようとしているもう 1 つのすばらしい革命です。」
それは、光学式心拍数センサーがデータの流れを開拓し始め、それが時間の経過とともに時計に新しい健康機能をもたらしたスマートウォッチ技術の道を思い出させます。 Fitbit は、自社の Sense ウォッチに複数の新しいセンサーを重ねており、これには EDA ストレス センサーも含まれています。 OpenBCI の Galea とそれに類する取り組みは、私たちが見たり聞いたりするもの、そして手が触れ合うものと連動する将来のウェアラブル センサーへの新たな扉を開くことになるのでしょうか?
ルッソマンノはそれを確信している。 同氏は、Apple 製を含む、より優れたスタンドアロン VR および AR ヘッドセットの登場が、新しい入力や周辺機器への道になると見ています。
「これらのヘッドセットが世に出て、人々が双方向アプリケーションを構築し始めるまではわかりません」とルッソマンノ氏は私たちのデモから数か月後にビデオチャットで私に語り、より高度な AR と混合現実デバイスが登場します。 「AR ヘッドセットの優れた点は、ローカル環境に関するあらゆる情報を知りたいと思われるすべての外界センサーが備わっていることです。そして、私たちが行っていることは内部世界と同じです。これら 2 つのデータセットを統合しても、私たちは依然としてただ何が可能になるかは分かりません。」
ルッソマンノは AI と比較してニューロフィードバックについて言及していますが、私は両方の適合性についても考えています。 AI が魔法を発揮するにはデータセットが必要です。 将来の感覚技術システムも同様です。 ニューロテクノロジーが進化するにつれて、AI もそれと共進化する可能性があります。
Galea は VR/AR ヘッドセットと融合したセンサー プラットフォームですが、センサー アレイは VR や AR なしでも機能します。 将来的にはアンビエント コンピューティングの可能性が生まれる可能性があります。
ヘッドセットを超えて拡張できるセンサープラットフォーム
OpenBCI の Galea は実際には VR および AR ヘッドセットですが、Varjo のハードウェアとのインターフェイスは方程式の一部です。 センサー アレイは単独で使用することもできます。 最終的には私たちの身体上の他のウェアラブルと相互作用する可能性がある将来のウェアラブルの世界を考えると、そのことにさらに興味が湧きます。 私たちの日常のインタラクションが、より高度なセンサーによって強化される可能性がある世界。 それはすべて遠い先の話ですが、その未来の始まりは、OpenBCI が Galea にまとめたセンサーの一部に根付きつつあるようです。
現時点では、VR、AR、ウェアラブル ビジュアル テクノロジーの価値を人々に理解してもらうのは十分に困難です。 しかし、最終的に空間コンピューティングや現実世界とインターフェースできる方法を改善することは、VR/AR がより有意義で、おそらく不安をもたらすものにどのように進化するかについての答えの一部になる可能性があります。 すでに、パーソナルテクノロジーが私たちの感覚や脳との関係を深めているように感じられます。 しかし、私が見てきた限りでは、私たちはまだ始まっていないようです。