2023年3月18日、WWDC23で発表されたAppleの空間コンピュータ｢Vision Pro｣。これまでのVRゴーグルとは全く異なるインターフェイス、新しいプラットフォームとなりうる新型デバイスは世界的に大きな反響を呼んでいます。そんな中、Vision Proの開発者の1人であるSterling Crispin氏のツイートが話題です。
I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved that it’s finally… pic.twitter.com/vCdlmiZ5Vm
— Sterling Crispin 🕊️ (@sterlingcrispin) June 5, 2023
とはいえ、世界初の「空間コンピュータ」が一体どんなものか、イメージできない方がほとんどではないでしょうか。Sterling Crispin氏によるとNDA(秘密保持契約)の関係ですべては明らかにできないようですが、｢Vision Pro｣に搭載された技術と特許の記述から、その真髄と可能性が垣間見えます。
この記事を書いたのは…
- Web Designing編集部
- Web Designingは2001年創刊、偶数月18日発売の雑誌です。毎号の特集で旬のテーマを深掘り！Webデザインやノウハウだけではなく、ビジネスに役立つ情報を発信しています。
Sterling Crispin氏のツイート邦訳
私はAppleの技術開発部門（TDG）のニューロテクノロジー開発試作の研究員としてVision Proの開発に携わり、人生の10%(※1)を捧げました。これは私がこれまで取り組んだ事業の中でも最長です。ようやく発表できたことを誇りに思うと同時に、ホッとしています。私は AR・VR技術に10年間携わってきました。多くの意味で、VisionProは業界全体を 1つの製品に凝縮した、いわば集大成です。私はこの製品の実現に貢献できたことに感謝しており、この分野に参入したい、または戦略を磨きたいと考えているのであれば、いつでも相談に応じます。
私はVision Proの基礎開発とマインドフルネスエクスペリエンス、とある製品(※2)の開発、そしてニューロテクノロジーを活用した、野心的なムーンショット型研究(※3)をサポートしました。たとえば何かをクリックする前にそれを予測する、つまり「読心術」のようなものです。私はそこに3年半在籍し、2021年末に退職したので、この2年間ですべてがどのようにまとまったかを経験するのが楽しみです。何の技術が採用され、何がリリースされるのか、とても興味深いです。
具体的には、とあるVision Proのプログラム(※4)の初期ビジョン、戦略、方向性に貢献できたことを誇りに思っています。私が少人数のチームで行った仕事は、その製品カテゴリーにゴーサインを出すのに役立ち、いつか世界的に大きな影響を与える可能性があると思います。
私がAppleで行った仕事の大部分はNDAの下で行われており、その内容は幅広いトピックとアプローチに及びました。しかし、いくつかのことは特許(※5)を通じて公開されており、以下に引用して言い換えることができます。
全体として、私が行った仕事の多くは、ユーザーが没入型体験をしているときの身体と脳のデータに基づいて、ユーザーの精神状態を検出することに関係していました。
つまり、ユーザーがMR（複合現実）またはVR（仮想現実）体験の中にいる時に、AIモデルはユーザーが好奇心を感じているか、心がさまよっているか、恐怖を感じているか、注意を払っているか、過去の経験を思い出しているか、またはその他の認知状態か、予測を試みます。これらは、視線追跡、脳の電気活動、心拍数とリズム、筋肉活動、脳の血液密度、血圧、皮膚コンダクタンスなどの測定を通じて推察されます。
予測を可能にするためには多くのトリックが含まれており、私が関わったいくつかの特許の記載で細かく説明されています。最も優れた成果の1つは、ユーザーが実際にクリックする前に、何をクリックしようとしているのか予測することです。その仕事量は凄まじく膨大で、やり遂げたことは私の誇りです。クリックする前に瞳孔が反応するのは、クリック後に何かが起こることを期待しているためです。したがって、ユーザーの目の動作を監視し、リアルタイムでUIを再設計することで、ユーザーの脳でバイオフィードバック(※6)を作成し、この予測的な瞳孔反応をさらに生み出すことができます。目を通して見る粗雑な脳内コンピューターインターフェイスですが、非常にクールです。近い将来、脳外科手術を凌駕するのではないかと考えています。
認知状態を推測する他のトリックには、ユーザーが知覚できない方法によって視界や音声を素早く点滅させ、それに対するユーザーの反応を測定することが含まれていました。
別の特許では、機械学習と体と脳からの信号を使用して、集中力やリラックス度、学習の進み具合を予測する方法について詳しく説明しています。さらには集中・リラックス状態を強化するために、仮想環境をアップデートします。想像してみてください。バックグラウンドで見たり聞いたりするものを変えることで、学習、仕事、リラックスに役立つ、適応型の没入環境を。
これらの詳細はすべて特許として公開されており、一切の情報漏洩がないよう慎重に記載されています。私が関わったものは他にもたくさんありましたが、最終的にはもっと多くのものが日の目を見ることを願っています。
多くの人が、Vision Proのような商品を長い間待ち望んでいました。しかし、まだVRに至る道へたった一歩前進したばかりです。業界全体がVision Proのテクノロジーの壮大なビジョンに完全に追いつくには、丸々10年はかかるでしょう。
繰り返しになりますが、貴社のビジネスがこの分野への参入や戦略の改善を検討している場合には、コンサルティング業務や電話対応を歓迎します。何よりも、Vision Proがついに発表されたことを誇りに思い、安堵しています。私がVision Proに取り組み始めてから5年以上が経ち、他の多くのデザイナーやエンジニアと同様に、私も人生のかなりの部分をこのことに費やしました。Vision Proが単なるパーツの組み合わせではなく、優れた集大成としてあなたの心を震わせることを願っています。
注釈
※1：クリスピン氏は1985年生まれなので、およそ3年半。
※2：NDA(秘密保持契約)に抵触するせいか、元ツイートでは伏字になっている。
※3：ムーンショット型研究開発とは、大胆な発想に基づく挑戦的な研究開発のこと。月への有人宇宙飛行計画になぞらえて命名された。
※4：NDA(秘密保持契約)に抵触するせいか、元ツイートでは伏字になっている。
※5：WWDC2023では、Vision Pro関連の特許は5000件超と発表されている。
※6：バイオフィードバックとは、体温や心拍数、血圧のような、通常は意識的にコントロールできない生理機能をセンサーなどで測定し、人間が感覚できる音や光などに変換して、意識的に制御できる技術・技法のこと。
Vision Proの発売予定は2024年
Sterling Crispin氏のツイートやAppleの公式発表によると、Vision Proは単なるVR(仮想現実)、MR(複合現実)ゴーグルではなく、瞳や瞳孔の運動、脳の電気、心拍数、筋肉の膨張や収縮、皮膚の電気状態といった生体反応から信号を検出し、好奇心や恐怖、集中力、思い出など、ユーザーの認知状態を予測する機能が備わっているようです。
Vision Proの価格は3499ドル(約48万8000円)で、2024年初頭にアメリカのApple公式サイトおよびApple Storeで販売開始予定です。また、2024年末までにアメリカ以外の国でも発売予定です。
関連記事
