身体は常にデータだった。ただ、それを読み取る方法を学んだだけだ

インタビュー

この論文では、わずか2つの写真から全身を3Dで再現する最初のディープラーニングシステムの一つが紹介されています。なぜ2つのビューが重要な技術的な決定だったのでしょうか？

当時、ほとんどの3D復元システムは高価なスキャナ、多数の同期化されたカメラ、または高度に制御された環境に頼っていた。そのため、この技術は臨床的に大規模化したり、日常生活の中で活用したりすることが難しかった。. 重要な発見は、人間の身体にはすでにシルエットに巨大な幾何学的情報が豊富に含まれていることでした。正面と側面からの視点で一体となって、身体の形状を驚くほど正確に制約します。この2つの視点を統計学的ボディモデルとディープラーニングと組み合わせて使用することで、特殊なハードウェアを必要とせずに現実的な3Dボディの推定が可能になりました。.

2つの画像も実用的な選択でした。患者に10枚の画像撮影を依頼したり、外部センサーを使用させたりすると、導入率はすぐに低下します。しかし、スマートフォンで撮影した2枚の写真はシンプルで速く、世界的に適用可能です。この原則は、Arbreaで現在行っている多くの設計決定にも影響を与えています。.

それがどういう意味になるのか アーブレアボディ 今日ですか？

基本的な理念は変わりません：高度なボディ・ビジュアライゼーションを実際の臨床ワークフローで利用可能にすることです。.

Arbrea Labsでは、その初期の研究コンセプトを、審美的および再建的コンサルテーションのためのリアルタイムプラットフォームへと進化させました。身体の形状を復元するだけでなく、, アーブレアボディ コンピュータービジョン、AI、AR、シミュレーション技術を組み合わせ、外科医と患者がコンサルテーション中に視覚的にコミュニケーションを取ることを支援します。. 重要なのはリアリズムだけではありません。信頼とコミュニケーションです。.

 ビジュアライゼーションは外科医と患者の間に共有する言語を生み出します。この技術は、不確実性を軽減しながら、外科医を相談プロセスの中心に置くのに役立ちます。. シルエットに関する学術研究から始まったものが、臨床におけるコミュニケーションツールとなった。.

これからの展開はどうなるでしょうか？解決すべき問題は何でしょうか？

今日では、ほとんどのシステムは時間的な一瞬に焦点を当てています。1回の診察、1回の検査、1回のシミュレーションです。しかし、人間の身体は老化、手術、ホルモン、体重の変化、妊娠、GLP-1などの薬剤、回復過程、またはリペデマなどの病状により継続的に変化します。. 本当の課題は、その変化を時間とともに責任を持って正確に理解し、可視化できるシステムを構築することです。. それはコンピューターグラフィックス以上のものが必要です。それは生物力学、AI、プライバシー保護の計算、医療検証、患者中心のデザインを伴います。また、静的な視覚化からパーソナライズされた予測モデルへと移行することを意味します。.

身体は動的なものだ。デジタル医療はそれに対して依然として静的なものとして扱っている。.

この論文によると、あなたのシステムは1つの画像につき半秒未満で処理できることがわかった。それは当時他社のものよりも桁違いに高速だったのだ。なぜ速度がそれほど重要だったのだろうか？

速度は不可欠だったのは、やり取りが行動を変えるからだ。.

システムが体の復元に数分を要する場合、それはオフラインの技術的なプロセスとなります。しかし、結果がほぼ即座に出現する場合、それは医師と患者の自然な会話の一部となります。. リアルタイムのフィードバックはエンゲージメントを生み出します。外科医は入力内容を調整し、プロポーションの説明やオプションの検討、さらにはコンサルテーションそのものでの共同作業を可能にします。.

それがArbreaの製品の基盤となる初期の気づきの一つでした。遅延は技術的な指標に留まらず、ユーザー体験や導入にも根本的な変化をもたらします。. 現在でも、患者データをクラウドに送信することなく、モバイルデバイス上で高品質なシミュレーションを実現することは、我々の最大のエンジニアリングの優先事項の一つです。.

あなたの論文では、16の身体測定値について、約4mmの測定誤差があったと報告されました。縫製品のフィッティングよりもむしろ手術計画について話している場合、その精度はどれほど重要なのでしょうか？

精度は重要ですが、文脈はさらに重要です。.

人間の身体は本来、変動しやすいものです。異なる専門家によって手作業で測定された臨床的な測定値でも、数ミリ単位の誤差が生じることがあります。そのため、当時、システムの速度と使いやすさを考慮すると、わずか2つのRGB画像から平均誤差を4mm以内に抑えることは大きな進歩でした。.

しかし、手術計画とは絶対的な測定精度だけではありません。比例性、解剖学的整合性、コミュニケーション、そして期待管理についても重要です。.

この目標は決して外科医の判断に代わるものではありませんでした。目標は、データに基づく視覚化によるコミュニケーションを強化することでした。.

何が アーブレアボディ?

Arbrea Labs 審美的および再建医学のためのAIを活用した可視化ツールを開発しています。.

アーブレアボディ 外科医が外部のスキャナーやクラウドベースの処理を必要とせずに、モバイルデバイスやタブレット上でリアルタイムの体像を直接作成できるようになります。このプラットフォームは、コンサルテーション、患者とのコミュニケーション、治療計画の立案、および患者の治療過程全体における縦方向の可視化をサポートするように設計されています。. コンピュータービジョン、ディープラーニング、拡張現実における長年の研究に基づき開発されたこの技術は、プライバシー重視のオンデバイスAIと臨床分野に特化したワークフローを組み合わせたものです。.

より広範なビジョンは、視覚化、コンサルティング、フォローアップ、および患者エンゲージメントを一体化したデジタルエコシステムを構築することです。これは、審美的および再建手術の全過程を網羅するものです。.

参考資料

[1] ディブラ、エンドリ、他：「Hs-nets：畳み込みニューラルネットワークを用いてシルエットから人体形状を推定する。」“ 2016年第4回国際3Dビジョン会議（3DV）. IEEE, 2016.