フォトグラメトリーをやってみたい。そんな人向けに実際にやってみた経験から導入のポイントをお伝えできればと思います。
前置きとして
5Gが普及し、オンラインでよりリッチなコンテンツを配信できるようになってきました。そ れに合わせて、メタバースや、仮想世界と現実を融合させるXRといった様々なテクノロジーが どんどん進化しています。
メターバースは、現実と同じように3次元の空間をユーザーが体験できる、3次元のインター ネットです。これまで2次元だったものが3次元になることで、ユーザーはよりリッチなコンテ ンツを手軽に体験することができるようになります。
3次元のコンテンツは、すでにゲームではお馴染みで、フォートナイトやマインクラフトなどが 世界的に有名です。これらの3次元での体験が、ユーザーを魅了することは確かであり、今後、 様々な事業領域で、急速に活用が広がっていく可能性を持っています。すでに、日産がメタバー スでのオンライン展示会を行うなど、活用が始まっています。
3次元のコンテンツを活用する環境が整うと、必然的にその中身である3Dデータの必要性も高 まっていきます。ECサイトで使われている写真が、3Dデータに置き換わり、ユーザーが商品を 体験しながら購入することが、一般化していくことも考えられます。3Dデータは、ECサイト だけではなく、メタバース、XR、スマホアプリなどでも利用でき、オンラインでの顧客接点の 質を高めることが期待されます。
しかし、3Dを制作するには経験のある3Dクリエイターが必要です。どんどん増える3Dデータ のニーズを満たすには、クリエイターを増やす必要がありますが、スキルを身につけるまでの 時間の課題や、人手不足は大きな課題です。
その解決方法として、フォトグラメトリは一つの方法ではないでしょうか?
フォトグラメトリは3D制作の可能性を広げる技術です。古くからある技術ですが、ソフトウェ アの改善と、パソコンのスペック向上により、高品質な3Dモデルを手軽に制作することができ るようになったのはここ数年の話です。3Dデータを活用し、メタバースやXRといった新たな 領域での新規事業へのチャレンジ、ECサイトやWebサイト、アプリなど、オンライ接点の質を 高め顧客との関係性を向上させるなど、2次元から3次元への時代の転換と共にビジネスの可能 性も広がっていきます。
このブログでは、メタバースやXRといった2次元から3次元への時代の転換 をビジネスチャンスと捉え、いち早く新しいサービスを開発し、ビジネスを成功させたい。そ のためにフォトグラメトリを導入したい方向けに、フォトグラメトリ導入前に知っておい ていただきたい点について参考になればと思う点を書いてみました。
実際にやってみて始めてその重要性に気づく点や、導入する前に知っておけば、採用しなかっ たという失敗をしないために、これまでのノウハウをもとにご紹介させていただきます。
下記をあらかじめ注意ください
-
- 今回はフォトグラメトリの具体的な操作方法のご紹介はしておりません。フォトグラメトリのソフ トウェアについて紹介したWebページや、動画などがあるので、そちらをご参考ください。実際にフォトグラメトリで3Dモデルを制作したノウハウを基に、つまづきそうな点、知ってお けば良かった点についてご紹介しております。
-
- このブログの内容についてはご自 身でご判断ください。この資料の内容によって生じたいかなる損害についても弊社では責任を負うこと ができません。
フォトグラメトリの概要
そもそも、フォトグラメトリとは?
フォトグラメトリは、被写体をさまざまなアングルから撮影した写真を解析、統合して立体的 な3Dモデルを製作する技術です。3Dスキャナのような特殊な機器が不要であり、写真から表 面のテクスチャーを作成することで、フォトリアルな3Dモデルを手軽に作ることができます。
身近になったフォトグラメトリ
フォトグラメトリは昔からある技術で、地形調査や測量などの分野にも使用されています。近 年では、ゲームなどの制作にも使用されています。その背景の一つにパソコンのスペック向上 によって、精度の高いモデルを制作できるようになったということが挙げられます。昔はまだ 精度が低く、凹凸などの表現が難しかったため、3Dスキャナと組み合わせたりすることで利用 されていました。しかし、新しいソフトウェアの誕生とパソコンの性能アップにより、クオリ ティが飛躍的にアップしました。
必要なソフトウェアや機材
フォトグラメトリに必要な機材は、カメラ、パソコン、専用のソフトウェアです。これら3つ を揃えることができば始めることができます。 カメラは一眼レフなどのカメラが望ましいですが、スマートフォンのカメラでも作成すること ができます。パソコンの性能は制作のスピードに関わります。高スペックのCPUとGPUを搭載 したものを利用する方が、制作のスピードを上げることができます。フォトグラメトリのソフ トウェアについては、色々なものがあります。Autodesk社の「ReCap」、Agisoft社の 「MetaShape」、CapturinRealityの「Reality Capture (RC)」「3DF Zephyr」などが有名 です。体験版などで色々と試してみることをお勧めします。
フォトグラメトリの一般的な限界
フォトグラメトリでは、素材によって向き不向きがあります。向いてるものとしては表面に模 様があり、形状が安定しているもの。向いていないものとしては、表面がツルツルしている陶
器やプラスチックのような素材、形状がとても細かったり・複雑なもの。動いてしまうもの や、反射する素材、ガラス系の透明な素材などがあります。
フォトグラメトリの導入ポイント
フォトグラメトリで多くの3Dモデルを制作したノウハウから、始める前に知っておくべきだっ た、3Dモデル制作を効率良く行うためのポイントについてご紹介します。
1. 対応できない素材を見極める
2. 写真の品質にこだわる
3. 写真の撮影を効率化する
1. 対応できない素材を見極める
まずは、対応できない素材についてご紹介したいと思いますが、その前に、フォトグラメト リの仕組みを考えてみましょう。
フォトグラメトリでは被写体が重複するように、複数の写真を撮影します。フォトグラメト リでは、その複数の画像から、同じ特徴となる箇所を見つけ、それぞれの画像を撮影したカ メラの位置や方向、焦点距離、レンズの歪みなどを解析します。こうして撮影した際の、複 数のカメラの位置を統合することで、特徴として捉えた点のXYZ座標が明らかになります。 十分な数の点を捉えることができれば、3Dモデルを構築することができます。
人間が見て分からないような特徴をソフトウェアでは捉えることができ、素材としてフォト グラメトリに向いてないと思っても、やってみたら意外とできたということもあります。
フォトグラメトリは、どんな素材が不得意なのか?
導入を検討するにあたって重要なポイントです。具体的な事例を基に、不得意な素材をご紹 介します。
*ソフトウェアにRealityCaputureを使用した場合です。 *フォトグラメトリのソフトウェアは進化していますので、今後より多くの素材に対応できる可能性もあります。
フォトグラメトリが苦手とする素材
フォトグラメトリが苦手とする素材は、大きく分けて2つに分類できます。 1つ目が、写真を解析・統合するための特徴となる点を見つけられない場合、2つ目が特徴 となる点を見つけられても、うまく解析・統合できない場合です。
① 特徴となる点を掴みにくい素材
【透明・半透明な素材】
グラスやビンなどガラス素材をフォトグラメトリは苦手とします。こういった透明・半透 明の素材は写真を解析するのに必要となる特徴を見つけることができません。被写体の 一部にこういった素材が含まれている場合、そこだけ3Dモデルの製作ができません。
実際にフォトグラメトリで製作した3Dモデルがこちらです。
【プラスチックや陶器など】
表面の凹凸がなく、ツルッとした素材で、かつ模様もが無い場合、ソフトウェアは、特徴 を掴むことができず、フォトグラメトリで3Dモデルを制作することはできません。
ハサミを事例にその結果を見てみたいと思います。ハサミの持ち手部分にはプラスチック で単色の素材が使われています。刃の部分は金属で、表面には細かな線が入っています。 このハサミをフォトグラメトリで3Dモデルを制作した結果は下記のようになります。
刃の部分は、形が分かるような3Dモデルが生成できていますが、持ち手のところは全く データが作られていない状態です。
プラスチックや陶器、単色でツルッとした表面の場合、このように特徴となる点を掴むこ とができず、フォトグラメトリでの3Dモデル制作は難しくなります。
② うまく解析・統合できない場合
次に、特徴となる点を見つけることができても、うまく解析・統合できない場合について説 明します。特徴となる点は、写真と写真を繋ぎ、カメラの位置を正確に推定するために必要 な情報です。この特徴となる点を見つけることができても、それが写真と写真の間で正確に 一致しなければ、カメラの正確な位置も解析・統合できないため、結果として3Dモデルの 制作に失敗してしまいます。
【反射する素材(金属や鏡など)】
反射する素材は、フォトグラメトリの解析・統合を妨げます。フォトグラメトリでは被写 体の重なりを持たせながら撮影する必要があります。しかし、反射する素材は、アングル によって反射面の特徴が大きく異なってしまいます。これにより、ソフトウェアは写真と 写真の重なりを解析・統合することができず、結果としてカメラの位置を推定することが できなくなってしまいます。
上記は化粧品のパッケージの事例です。撮影するアングルによって、反射された部分の見 え方が大きく変わっています。これが、写真と写真との重なりを解析・統合する妨げとな り3Dモデルの制作が失敗してしまいます。
【重複する模様、シンプルな形状のパッケージ】
同じ模様が複数の面に存在することで、ソフトウェアがそれを同じ特徴点として捉えてし まい、解析・統合に失敗する場合があります。シンプル形状のパッケージで起こりやすい 問題です。
上記のパッケージでは、同じ模様が複数の面に描かれています。このパッケージをフォト グラメトリした結果は次のようになります。
残念ながら、綺麗な3Dモデルを制作することができませんでした。パッケージは形状も シンプルで、模様もはっきりしている場合が多く、それがこのような失敗につながる場合 があります。
【繰り返し同じ模様】
特徴点はあるけれど、同じ模様・形状だと解析・統合ができず、3Dモデルの制作に失敗 する場合があります。
例えば、下記のクッションのついたシンプルな椅子です。
座面には、十分特徴となりそうな模様がありますが、同じ模様の繰り返しです。このよう な場合、特徴となる点の解析・統合ができず3Dモデルの製作が失敗する場合がありま す。
【動くもの】
撮影時に被写体が静止している必要があります。人や動物をアングルを変えて撮影しよう と思うと、どうしても被写体が動いてしまいます。そうすると、特徴となる点も移動して しまい、最終的に、フォトグラメトリでは解析・統合に失敗してしまいます。
この課題の解決方法として、被写体を取り囲むようにカメラを設置し、一度に複数の写真 を撮影する方法があります。一瞬で撮影を終わらせることで、動くものでもフォトグラメ トリによって綺麗な3Dモデルを制作することができます。
以上、フォトグラメトリが苦手とする素材についてご紹介させていただきました。全ての素 材や、全てのケースを網羅するものではありませんが、フォトグラメトリが苦手とする素材 の基本的な考え方は同じですので、ご参考になるかと思います。
フォトグラメトリの仕組みを理解することで、これらの不得意な素材でも、工夫をすること で、3Dモデルの制作が可能になる場合もあります。
例えば、プラスチックであれば、表面に何かを塗ることで、特徴となる点を作り、フォトグ ラメトリで写真を解析・統合できるようにすることもできます。
しかし、工夫で乗り越えることができる場合もあれば、どうやってもダメな場合もありま す。フォトグラメトの課題として、上記のような対応できない素材があることをしっかり理 解した上で、ビジネスで活用できるかを判断していだければと思います。
2.写真の品質にこだわる
これは軽く考えがちなのですが、とても大事です。一眼レフのデジタルカメラで撮影すれ ば、うまくいくというわけではありません。もちろん、全く3Dモデルが制作できない訳で はないですが、制作の効率や3Dモデルの品質に影響します。
フォトグラメトリでは、ピントの合った写真が重要となります。フォトグラメトリでは、被 写体が重なりあうように写真を撮影する必要があります。この時、いろいろなアングルから 撮影した写真のピントがボケていると、特徴となる点の解析・統合がうまくできず、カメラ の位置推定がズレてしまい、それにより正確な3Dモデルを制作できないといった品質の課 題につながります。
ピントが合った写真を撮影するためには、カメラの絞りを絞り、被写界深度を深くすること が必要です。しかし、細長く奥行きがある場合、全てにピントを合わせることが難しい場合 もあります。
ピントの合った写真を撮影する方法として、深度合成という方法があります。オリンパスの 一部の機種ではカメラ本体にその機能が付いていますが、その他のメーカーのカメラでは、 一度撮影した写真をソフトウェアで合成して、ピントの合った写真を合成する方法となりま す。
ピントの合った写真は、フォトグラメトリの作業がとてもスムーズに進みます。写真の品質 が悪いと、フォトグラメトリのソフトウェアで写真をうまく解析・統合できず、やり直しや、 手動で写真を統合するなどの手間がかかります。これが思った以上の負担になるため、出来 るだけ写真の品質にこだわった方が、3Dモデルの品質にも、作業の効率化にもつながりま す。
3. 写真の撮影を効率化する
フォトグラメトリに必要な写真の枚数は、被写体の形状によって変わります。シンプルな形 状ほど枚数は少なく、複雑になればなるほど沢山必要になります。
シンプルな形状でも100枚程度は普通で、複雑な形状をフォトグラメトリで綺麗に3Dを制 作しようとすると、300枚~800枚、場合によっては、それ以上の写真が必要になります。
写真に写り込んでいない部分というのは、ソフトウェアで判断できないので、モデル化する ことができません。複雑な形状を再現するためには、それなりの枚数の写真が必要になりま す。
求める品質によっては写真の枚数を減らすこともできます。3Dモデルの用途によっては、複 雑な形状でも大まかに把握できればいいという場合もあるかもしれないので、写真の枚数は 3Dモデルの用途によって検討する必要があります。
撮影する側から見ると、手戻りを防ぐために、被写体がしっかりと重複するように撮影する ので、枚数は増えることの方が多いです。
導入後に写真を撮影するのが手間となってしまっては、フォトグラメトリを活用することが できません。沢山の3Dモデルを効率良く制作するためには、複数のカメラで撮影したり、 ソフトウェアでカメラを操作したりする工夫が必要となってきます。写真の撮影を効率化す る視点を持った上で、導入をご検討されることをお勧めします。
写真撮影に便利な機材
フォトグラメトリーの写真撮影を行うのに便利な機材もあります。
商品写真の撮影などで使われることが多いスタジオ機材ですが、フォトグラメトリーでも使えます。フォトグラメトリーを効率的にしたい場合は、こういった撮影機材がとても重要になってきます。
まとめ
フォトグラメトリ導入のポイントとして、苦手な素材や、写真についてご紹介させていただき ました。
苦手な素材については、なかなか乗り越えることが難しい課題だったりしますが、写真や撮影 方法については、設備や工夫で改善できるポイントでもあります。
まずはフォトグラメトリの一般的な限界を理解し、その上で、写真や撮影について検討を進め ていくと、フォトグラメトリの活用へ向けた道のりがより明確になると思います。
このブログが、フォトグラメトリ活用の参考になれば幸いです。
制作サンプル
フォトグラメトリーで制作した3Dモデルは下記からご覧いただけます。
スケッチファブにはより多くのサンプルがアップロードされています。