TED日本語 - ポール・デベヴェック: メイキング・オブ・デジタルエミリー

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - ポール・デベヴェック: メイキング・オブ・デジタルエミリー

TED Talks

メイキング・オブ・デジタルエミリー
Paul Debevec animates a photo-real digital face
ポール・デベヴェック

内容

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。

Script

One of the biggest challenges in computer graphics has been being able to create a photo-real, digital human face. And one of the reasons it is so difficult is that, unlike aliens and dinosaurs, we look at human faces every day. They are very important to how we communicate with each other. As a result, we're tuned in to the subtlest things that could possibly be wrong with a computer rendering, in order to believe whether these things are realistic.

And what I'm going to do in the next five minutes is take you through a process where we tried to create a reasonably photo-realistic computer-generated face, using some computer graphics technology we've developed, and also some collaborators at a company called Image Metrics. And we're going to try to do a photo-real face of an actress named Emily O'Brien, who is right there. And that's actually a completely computer-generated rendering of her face. By the end of the talk, we're going to see it move.

The way that we did this is we tried to start with Emily herself, who was gracious enough to come to our laboratory in Marina Del Rey, and sit for a session in Light Stage 5. This is a face-scanning sphere, with 156 white LEDs all around that allow us to photograph her in a series of very controlled illumination conditions. And the lighting that we use these days looks something like this. We shoot all of these photographs in about three seconds.

And we basically capture enough information with video projector patterns that drape over the contours of her face, and different principle directions of light from the light stage, to figure out both the coarse-scale and the fine-scale detail of her face. If we zoom in on this photograph right here, we can see it's a really nice photograph to have of her, because she is lit from absolutely everywhere at the same time to get a nice image of her facial texture.

And in addition, we've actually used polarizers on all the lights -- just like polarized sunglasses can block the glare off of the road, polarizers can block the shine off of the skin, so we don't get all those specular reflections to take this map. Now, if we turn the polarizers around just a little bit, we can actually bring that specular reflection of the skin back in, and you can see she looks kind of shiny and oily at this point. If you take the difference between these two images here, you can get an image lit from the entire sphere of light of just the shine off of Emily's skin.

I don't think any photograph like this had ever been taken before we had done this. And this is very important light to capture, because this is the light that reflects off the first surface of the skin. It doesn't get underneath the translucent layers of the skin and blur out. And, as a result, it's a very good cue to the detailed shape of the skin-pore structure and all of the fine wrinkles that all of us have, the things that actually make us look like real humans.

So, if we use information that comes off of this specular reflection, we can go from a traditional face scan that might have the gross contours of the face and the basic shape, and augment it with information that puts in all of that skin pore structure and fine wrinkles. And, even more importantly, since this is a photometric process that only takes three seconds to capture, we can shoot Emily in just part of an afternoon, in many different facial poses and facial expressions.

So, here you can see her moving her eyes around, moving her mouth around. And these we're actually going to use to create a photo-real digital character. If you take a look at these scans that we have of Emily, you can see that the human face does an enormous amount of amazing things as it goes into different facial expressions. You can see things. Not only the face shape changes, but all sorts of different skin buckling and skin wrinkling occurs. You can see that the skin pore structure changes enormously from stretched skin pores to the regular skin texture. You can see the furrows in the brow and how the microstructure changes there. You can see muscles pulling down at flesh to bring her eyebrows down. Her muscles bulging in her forehead when she winces like that.

In addition to this kind of high-resolution geometry, since it's all captured with cameras, we've got a great texture map to use for the face. And by looking at how the different color channels of the illumination, the red and the green and the blue, diffuse the light differently, we can come up with a way of shading the skin on the computer. Then, instead of looking like a plaster mannequin, it actually looks like it's made out of living human flesh.

And this is what we used to give to the company Image Metrics to create a rigged, digital version of Emily. We're just seeing the coarse-scale geometry here. But they basically created a digital puppet of her, where you can pull on these various strings, and it actually moves her face in ways that are completely consistent with the scans that we took. And, in addition to the coarse-scale geometry, they also used all of that detail to create a set of what are called "displacement maps" that animate as well. These are the displacement maps here. And you can see those different wrinkles actually show up as she animates.

So the next process was then to animate her. We actually used one of her own performances to provide the source data. So, by analyzing this video with computer vision techniques, they were able to drive the facial rig with the computer-generated performance. So what you're going to see now, after this, is a completely photo-real digital face. We can turn the volume up a little bit if that's available.

Emily: Image Metrics is a markerless, performance-driven animation company. We specialize in high-quality facial animation for video games and films. Image Metrics is a markerless, performance-driven animation company. We specialize in high quality facial animation for video games and films.

Paul Debevec: So, if we break that down into layers, here's that diffuse component we saw in the first slide. Here is the specular component animating. You can see all the wrinkles happening there. And there is the underlying wireframe mesh. And that is Emily herself.

Now, where are we going with this here? We've gone a little bit beyond Light Stage 5. This is Light Stage 6, and we're looking at taking this technology and applying it to whole human bodies. This is Bruce Lawmen,one of our researchers in the group, who graciously agreed to get captured running in the Light Stage. And let's take a look at a computer-generated version of Bruce, running in a new environment. And thank you very much. (Applause)

コンピュータグラフィックスにおける最大の難問の1 つは 本物のように見える人の顔を デジタル合成することでした これが難しい理由は エイリアンや恐竜とは違って 私達が人の顔を毎日見ているからです 私達がコミュニケーションを取る上で 顔は重要な役割を果たしているので レンダリングされた顔が 微細な部分まで再現していないと 本物らしく見えないのです

これからの5 分間で 写実的な顔を合成しようと 私達が試みたプロセスを 辿っていこうと思います これには私達がImage Metrics 社と開発した CG の技術を使っています 対象としたのは ここに出ている エミリー オブライエンという女優の顔です これは実際にレンダリングで生成された彼女の顔です 動いているところを後でお見せします

出発点となるのはエミリー本人です 彼女はマリーナデルレイにある私達のラボまで来て このLight Stage 5 での撮影を快く引き受けてくれました この球面は顔をスキャンする装置で 156 個のLED が取り付けられており 照明の状況を自由にコントロールしながら 撮影ができるようになっています 私達が最近使う照明の種類はこのようなものです この全部を3 秒ほどで撮れます

これで基本的に十分な情報を得られます 彼女の顔の等高線を描き出すビデオプロジェクタのパターンと Light Stage による様々な方向からの光で 彼女の顔を粗いスケールと 微細なスケールで把握します この写真を拡大してみましょう 彼女を捉えたとても良い写真です あらゆる方向から同時に照らされていて 顔のテクスチャがよく現れています

私達はすべての照明に偏向フィルタを付けています 偏向サングラスが 路面のぎらつきを押えるように 偏光フィルタは肌のてかりを押えます これにより正反射なしにテクスチャマップが得られます 偏光フィルタを少し回すと 肌の正反射が 再び現れ 光って脂ぎって見えます この2 つの画像の差分を取ると 球面全体に照らされた肌の 反射だけを取り出すことができます

私達がここでやったような写真は 今まで撮られたことはないと思います これは捉えるべき非常に重要な光です 顔の一番表面で反射された光で 肌の透明な層を通った ぼやけた光は除かれています そのため 私達みんなが持っていて 本物の人らしく見せている 肌のキメや 細かい皺の とても良い情報が得られます

この正反射から得られた情報を使うと 従来の顔のスキャンによる 顔の全体的な輪郭や基本的な形状に 肌のキメや細かい皺の 情報を付け加えることができます ここで重要なのは この測光プロセスには3 秒しかかからないということです 私達はエミリーのたくさんの 顔の表情の写真を ある日の午後だけで撮影することができました

彼女が目や口を動かしている写真が並んでいます これらを使って写実的なキャラクタを作り出します このエミリーのスキャン画像を見ていると 人の顔というのが 驚くほど多彩な表情を作れるのがわかります ここでは顔の形状の変化だけではなく あらゆる肌の屈曲や皺のパターン 肌のキメの変化を見ることができます 引き延ばされたところから 通常の肌のテクスチャまで 眉の畝とその微細構造の変化 筋肉に引っ張られて眉毛が下がり しかめ面のときは額の肉が盛り上がります

このような高解像度の形状に加え カメラが捉えた 顔に使えるすばらしいテクスチャマップがあります 赤、緑、青という照明の 異なる色の成分は 拡散の仕方が違い それを考慮して肌のシェーディングを行います そうすると 石膏で出来たマネキンみたいだったのが 生きた人間の肉体に見えるようになります

これはImage Metrics 社が デジタル版のエミリーの 作成に使ったもので 粗いスケールの形状による 彼女のデジタル操り人形です これらの糸を引くと 私達が撮ったスキャン画像に 合った形で動きます 粗いスケールの形状に加え ディスプレイスメントマップを使って 微細な部分を作ります これは動かすこともできます これがディスプレイスメントマップ 彼女の動きに応じて 違った皺が現れています

次にアニメーションを付けます データの元として エミリー本人が演じた映像を使いました そのビデオをコンピュータビジョンのテクニックを使って解析し コンピュータが生成した動きを持った 顔を作り出しました この後見ていただくのは 完成したデジタルの顔です ボリュームを少し上げましょう

Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です テレビゲームや映画のためのハイクオリティな 顔のアニメーションを専門としています Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です テレビゲームや映画のためのハイクオリティな 顔のアニメーションを専門としています

レイヤに分解してみましょう これは光の拡散の部分です これは正反射部分のアニメーション 皺が現れているのがわかります これは下にあるワイヤフレームのメッシュ そしてエミリー本人

今後どうするかですが Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました このテクノロジーを 人の体全体に適用しています 彼は研究メンバーのブルース ローメンで 走っているところをキャプチャするモデルになってくれました コンピュータで生成した彼が 新たな環境の中で走っているのをご覧ください どうもありがとうございました (拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画