TED日本語 - ニック・ボストロム: コンピュータが人間より知的になったとき何が起きるか?

TED日本語

プレゼンテーション動画

TED日本語 - ニック・ボストロム: コンピュータが人間より知的になったとき何が起きるか?

TED Talks

コンピュータが人間より知的になったとき何が起きるか?
What happens when our computers get smarter than we are?
ニック・ボストロム
Nick Bostrom

内容

人工知能は、飛躍的に知的になっています。ある研究は、今世紀中に人工知能が人間並みに知的になると示唆しています。「機械の知性は、人類が発明する必要のある最後のものになる」とニック・ボストロムは言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は、人類とその価値を守る助けとなるのか、それともそれ自身の思惑を持つようになるのでしょうか?

Script

I work with a bunch of mathematicians, philosophers and computer scientists, and we sit around and think about the future of machine intelligence, among other things. Some people think that some of these things are sort of science fiction-y, far out there, crazy. But I like to say, okay, let's look at the modern human condition. (Laughter) This is the normal way for things to be.

But if we think about it, we are actually recently arrived guests on this planet, the human species. Think about if Earth was created one year ago, the human species, then, would be 10 minutes old. The industrial era started two seconds ago. Another way to look at this is to think of world GDP over the last 10,000 years, I've actually taken the trouble to plot this for you in a graph. It looks like this. (Laughter) It's a curious shape for a normal condition. I sure wouldn't want to sit on it. (Laughter)

Let's ask ourselves, what is the cause of this current anomaly? Some people would say it's technology. Now it's true, technology has accumulated through human history, and right now, technology advances extremely rapidly -- that is the proximate cause, that's why we are currently so very productive. But I like to think back further to the ultimate cause.

Look at these two highly distinguished gentlemen: We have Kanzi -- he's mastered 200 lexical tokens, an incredible feat. And Ed Witten unleashed the second superstring revolution. If we look under the hood, this is what we find: basically the same thing. One is a little larger, it maybe also has a few tricks in the exact way it's wired. These invisible differences can not be too complicated, however, because there have only been 250,000 generations since our last common ancestor. We know that complicated mechanisms take a long time to evolve. So a bunch of relatively minor changes take us from Kanzi to Witten, from broken-off tree branches to intercontinental ballistic missiles.

So this then seems pretty obvious that everything we've achieved, and everything we care about, depends crucially on some relatively minor changes that made the human mind. And the corollary, of course, is that any further changes that could significantly change the substrate of thinking could have potentially enormous consequences.

Some of my colleagues think we're on the verge of something that could cause a profound change in that substrate, and that is machine superintelligence. Artificial intelligence used to be about putting commands in a box. You would have human programmers that would painstakingly handcraft knowledge items. You build up these expert systems, and they were kind of useful for some purposes, but they were very brittle, you couldn't scale them. Basically, you got out only what you put in. But since then, a paradigm shift has taken place in the field of artificial intelligence.

Today, the action is really around machine learning. So rather than handcrafting knowledge representations and features, we create algorithms that learn, often from raw perceptual data. Basically the same thing that the human infant does. The result is A.I. that is not limited to one domain -- the same system can learn to translate between any pairs of languages, or learn to play any computer game on the Atari console. Now of course, A.I. is still nowhere near having the same powerful, cross-domain ability to learn and plan as a human being has. The cortex still has some algorithmic tricks that we don't yet know how to match in machines.

So the question is, how far are we from being able to match those tricks? A couple of years ago, we did a survey of some of the world's leading A.I. experts, to see what they think, and one of the questions we asked was, "By which year do you think there is a 50 percent probability that we will have achieved human-level machine intelligence?" We defined human-level here as the ability to perform almost any job at least as well as an adult human, so real human-level, not just within some limited domain. And the median answer was 2040 or 2050, depending on precisely which group of experts we asked. Now, it could happen much, much later, or sooner, the truth is nobody really knows.

What we do know is that the ultimate limit to information processing in a machine substrate lies far outside the limits in biological tissue. This comes down to physics. A biological neuron fires, maybe, at 200 hertz,200 times a second. But even a present-day transistor operates at the Gigahertz. Neurons propagate slowly in axons,100 meters per second, tops. But in computers, signals can travel at the speed of light. There are also size limitations, like a human brain has to fit inside a cranium, but a computer can be the size of a warehouse or larger. So the potential for superintelligence lies dormant in matter, much like the power of the atom lay dormant throughout human history, patiently waiting there until 1945. In this century, scientists may learn to awaken the power of artificial intelligence. And I think we might then see an intelligence explosion.

Now most people, when they think about what is smart and what is dumb, I think have in mind a picture roughly like this. So at one end we have the village idiot, and then far over at the other side we have Ed Witten, or Albert Einstein, or whoever your favorite guru is. But I think that from the point of view of artificial intelligence, the true picture is actually probably more like this: AI starts out at this point here, at zero intelligence, and then, after many, many years of really hard work, maybe eventually we get to mouse-level artificial intelligence, something that can navigate cluttered environments as well as a mouse can. And then, after many, many more years of really hard work, lots of investment, maybe eventually we get to chimpanzee-level artificial intelligence. And then, after even more years of really, really hard work, we get to village idiot artificial intelligence. And a few moments later, we are beyond Ed Witten. The train doesn't stop at Humanville Station. It's likely, rather, to swoosh right by.

Now this has profound implications, particularly when it comes to questions of power. For example, chimpanzees are strong -- pound for pound, a chimpanzee is about twice as strong as a fit human male. And yet, the fate of Kanzi and his pals depends a lot more on what we humans do than on what the chimpanzees do themselves. Once there is superintelligence, the fate of humanity may depend on what the superintelligence does. Think about it: Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are, and they'll be doing so on digital timescales. What this means is basically a telescoping of the future. Think of all the crazy technologies that you could have imagined maybe humans could have developed in the fullness of time: cures for aging, space colonization, self-replicating nanobots or uploading of minds into computers, all kinds of science fiction-y stuff that's nevertheless consistent with the laws of physics. All of this superintelligence could develop, and possibly quite rapidly.

Now, a superintelligence with such technological maturity would be extremely powerful, and at least in some scenarios, it would be able to get what it wants. We would then have a future that would be shaped by the preferences of this A.I. Now a good question is, what are those preferences? Here it gets trickier. To make any headway with this, we must first of all avoid anthropomorphizing. And this is ironic because every newspaper article about the future of A.I. has a picture of this: So I think what we need to do is to conceive of the issue more abstractly, not in terms of vivid Hollywood scenarios.

We need to think of intelligence as an optimization process, a process that steers the future into a particular set of configurations. A superintelligence is a really strong optimization process. It's extremely good at using available means to achieve a state in which its goal is realized. This means that there is no necessary conenction between being highly intelligent in this sense, and having an objective that we humans would find worthwhile or meaningful.

Suppose we give an A.I. the goal to make humans smile. When the A.I. is weak, it performs useful or amusing actions that cause its user to smile. When the A.I. becomes superintelligent, it realizes that there is a more effective way to achieve this goal: take control of the world and stick electrodes into the facial muscles of humans to cause constant, beaming grins. Another example, suppose we give A.I. the goal to solve a difficult mathematical problem. When the A.I. becomes superintelligent, it realizes that the most effective way to get the solution to this problem is by transforming the planet into a giant computer, so as to increase its thinking capacity. And notice that this gives the A.I.s an instrumental reason to do things to us that we might not approve of. Human beings in this model are threats, we could prevent the mathematical problem from being solved.

Of course, perceivably things won't go wrong in these particular ways; these are cartoon examples. But the general point here is important: if you create a really powerful optimization process to maximize for objective x, you better make sure that your definition of x incorporates everything you care about. This is a lesson that's also taught in many a myth. King Midas wishes that everything he touches be turned into gold. He touches his daughter, she turns into gold. He touches his food, it turns into gold. This could become practically relevant, not just as a metaphor for greed, but as an illustration of what happens if you create a powerful optimization process and give it misconceived or poorly specified goals.

Now you might say, if a computer starts sticking electrodes into people's faces, we'd just shut it off. A, this is not necessarily so easy to do if we've grown dependent on the system -- like, where is the off switch to the Internet? B, why haven't the chimpanzees flicked the off switch to humanity, or the Neanderthals? They certainly had reasons. We have an off switch, for example, right here. (Choking) The reason is that we are an intelligent adversary; we can anticipate threats and plan around them. But so could a superintelligent agent, and it would be much better at that than we are. The point is, we should not be confident that we have this under control here.

And we could try to make our job a little bit easier by, say, putting the A.I. in a box, like a secure software environment, a virtual reality simulation from which it can not escape. But how confident can we be that the A.I. couldn't find a bug. Given that merely human hackers find bugs all the time, I'd say, probably not very confident. So we disconnect the ethernet cable to create an air gap, but again, like merely human hackers routinely transgress air gaps using social engineering. Right now, as I speak, I'm sure there is some employee out there somewhere who has been talked into handing out her account details by somebody claiming to be from the I.T. department.

More creative scenarios are also possible, like if you're the A.I., you can imagine wiggling electrodes around in your internal circuitry to create radio waves that you can use to communicate. Or maybe you could pretend to malfunction, and then when the programmers open you up to see what went wrong with you, they look at the source code -- Bam! -- the manipulation can take place. Or it could output the blueprint to a really nifty technology, and when we implement it, it has some surreptitious side effect that the A.I. had planned. The point here is that we should not be confident in our ability to keep a superintelligent genie locked up in its bottle forever. Sooner or later, it will out.

I believe that the answer here is to figure out how to create superintelligent A.I. such that even if -- when -- it escapes, it is still safe because it is fundamentally on our side because it shares our values. I see no way around this difficult problem.

Now, I'm actually fairly optimistic that this problem can be solved. We wouldn't have to write down a long list of everything we care about, or worse yet, spell it out in some computer language like C++ or Python, that would be a task beyond hopeless. Instead, we would create an A.I. that uses its intelligence to learn what we value, and its motivation system is constructed in such a way that it is motivated to pursue our values or to perform actions that it predicts we would approve of. We would thus leverage its intelligence as much as possible to solve the problem of value-loading.

This can happen, and the outcome could be very good for humanity. But it doesn't happen automatically. The initial conditions for the intelligence explosion might need to be set up in just the right way if we are to have a controlled detonation. The values that the A.I. has need to match ours, not just in the familiar context, like where we can easily check how the A.I. behaves, but also in all novel contexts that the A.I. might encounter in the indefinite future.

And there are also some esoteric issues that would need to be solved, sorted out: the exact details of its decision theory, how to deal with logical uncertainty and so forth. So the technical problems that need to be solved to make this work look quite difficult -- not as difficult as making a superintelligent A.I., but fairly difficult. Here is the worry: Making superintelligent A.I. is a really hard challenge. Making superintelligent A.I. that is safe involves some additional challenge on top of that. The risk is that if somebody figures out how to crack the first challenge without also having cracked the additional challenge of ensuring perfect safety.

So I think that we should work out a solution to the control problem in advance, so that we have it available by the time it is needed. Now it might be that we can not solve the entire control problem in advance because maybe some elements can only be put in place once you know the details of the architecture where it will be implemented. But the more of the control problem that we solve in advance, the better the odds that the transition to the machine intelligence era will go well.

This to me looks like a thing that is well worth doing and I can imagine that if things turn out okay, that people a million years from now look back at this century and it might well be that they say that the one thing we did that really mattered was to get this thing right.

Thank you.

(Applause)

私は沢山の数学者や哲学者や コンピュータ科学者といっしょにやっていますが よく話題にすることに 機械の知性の未来 というのがあります そんなのは現実離れした SFの世界の 馬鹿げた話だと 考える人もいます でも現在の人間の状態 というものについて ちょっと考えてみて ほしいのです (笑) これが普通の状況とされています

しかし考えてみれば 人間というのは この地球に ごく最近現れた 客に過ぎません 地球ができたのが 1年前だったとしたら 人間がいたのは 10分間だけで 工業化時代が始まったのは 2秒前です このことの別な見方として 過去1万年における世界のGDPを考えてみましょう 私は実際グラフにしてみたんですが こんな感じになります (笑) 正常な状態のものとしては 興味深い形です この上に乗っていたいとは あまり思いません (笑)

この現在における例外的な状態の 原因を考えてみましょう それはテクノロジーのためだ という人もいるでしょう それはその通りで 人類の歴史を通じて テクノロジーは蓄積され続け 現在ではテクノロジーの進歩が 非常に速くなっています それがおおよその答えで 現在の我々の高い生産性を もたらしているものです しかしもっと突っ込んで 究極の原因を探ってみたいと思います

この非常に際だった2人を ご覧ください カンジは 200の字句をマスターしています すごいことです エドワード・ウィッテンは 超弦理論の第2の革命の立役者です 中身を覗いてみれば そこにあるのはこれで 基本的には同じものです 一方がすこしばかり大きく 配線のされ方にも より巧妙なところが あるかもしれませんが その違いはさほど 複雑なものではないはずです 我々は共通の祖先から 25万世代しか 隔たっていませんが 複雑なメカニズムが進化するのには とても長い時間がかかることが分かっています 比較的小さな変化の 沢山の積み重ねが カンジとウィッテンを あるいは木切れと大陸間弾道弾を 隔てているものなのです

これで明らかになるのは 人類が達成したこと 気にかけていることすべては 人間の心を作り出した比較的小さな変化によって 生じたということです それはまた 思考の基質を はっきり変えるような さらなる変化は 極めて大きな結果をもたらしうる ということでもあります

私の研究仲間の間には この思考の基質を本質的に変えうるものに 人類は今直面していると 考えている人もいます それは超知的な機械です 人工知能というのはかつては コマンドを詰め込んだ箱のようなものでした 人間のプログラマーが 苦労して 個々の知識項目を 手作りしていました そうやってエキスパート・システムを作り ある種の用途には 役立ちましたが 融通が効かず 拡張性を欠いていました 基本的には入れたものが 出てくるだけです しかしその後 人工知能の世界で パラダイムシフトが起きました

現在 機械学習の周辺で 非常に興味深いことが起きています 知識的な機能や表現を 手作りする代わりに 生の知覚データから 自ら学習するアルゴリズムを作るのです 基本的には人間の子供と同じことを 機械がするわけです 結果としてできるのは 1つの領域に限定されない人工知能です どんな言語間の翻訳でも できるシステムとか アタリのゲーム機用のどんなゲームでも プレイしてしまうシステムとか もちろん 人工知能はまだ 多様な領域のことを 学び構想できる 人間の脳の強力さには 遠く及びません 大脳皮質にはまだ 機械で対抗する方法の見当もつかないような アルゴリズム的仕掛けがあります

問題は そういう仕掛けに 機械が対抗するようになる日が いつ来るのかということです 2年ほど前に 世界の人工知能の専門家にアンケートを取って 考えを聞いたんですが その時の質問の1つが 「機械の知性が人間並みのレベルに 到達する可能性が 50%あるのはいつか?」 というものでした ここでの「人間並み」の定義は ほとんどの作業を大人の人間と 同じくらいにこなせる能力ということで 特定の領域に関してということではなく 本当に人間並みということです 回答の中央値は 2040年か2050年で 質問をした専門家のグループによって 若干違いました それが起きるのはずっと遅いかもしれないし ずっと早いかもしれません 本当のところは 誰にも分かりません

しかし分かっているのは 機械の基質による情報処理能力の限界は 生物組織の限界の 遙か先にあるということです これは単純に物理の問題です 神経の発火頻度は200ヘルツ 毎秒200回ほどですが 現在のトランジスタでさえ ギガヘルツで動いています 神経伝達は軸索をゆっくり伝わり せいぜい毎秒100メートルですが コンピュータの信号は 光速で伝わります 大きさの点でも制限があります 人間の脳は頭蓋骨の中に 収まる必要がありますが コンピュータの大きさは倉庫のサイズか もっと大きくもできます だから超知的な機械の可能性は 休眠状態にあるのです ちょうど原子の力が 1945年に目覚めるまで 人類の歴史を通じて 休眠状態にあったのと同じように この世紀中に 科学者達は人工知能の力を 目覚めさせるかもしれません 私たちは知性の爆発を目の当たりに することになるかもしれません

頭の良し悪しの尺度というと 多くの人は こんなものを イメージするのではと思います 一方の端に間抜けな人間がいて 遙か彼方の別の極端にいるのが ウィッテンとかアインシュタインです 誰でもお気に入りの天才を置いてください しかし人工知能という 観点を加えると 実際のイメージは たぶんこんな感じになるでしょう 人工知能は 知性のない状態からスタートして 長年の努力の後に いつかネズミ並みの知性に 到達できるかもしれません 雑然とした環境中を ネズミのように 目的地へと 移動できる能力です さらに長年に渡る 多くの努力と投資の末に いつかチンパンジー並みの知性に 到達できるかもしれません そこからさらに 長年の大きな努力を重ねて 間抜けな人間のレベルの 人工知能ができます それから少しばかり後に エドワード・ウィッテンを越えます この列車は人間レベルで 止まりはしません むしろ一瞬で 通り過ぎるでしょう

これには特に 力関係という点で 重大な意味があります たえとば チンパンジーというのは 強いものです 体重換算すると チンパンジーは 体力に優れた成人男性の倍の力があります それでもカンジや その仲間達の運命は チンパンジー達自身よりは 人間の手に握られています 超知的な機械が出現したら 人類の運命は超知的な機械に 握られることになるかもしれません そのことを考えてみてください 機械の知性は 人類がする必要のある最後の発明です 機械が人間よりも うまく発明をするようになり しかもデジタルの時間尺度で 進歩することでしょう それが意味するのは 未来が短縮されるということです 人類が遠い未来に 実現するかもしれない 夢のようなテクノロジーについて 考えてください 老化を止めるとか 宇宙への移民 自己増殖ナノボットや 意識のコンピュータへのアップロードなど SFっぽいけれど 物理法則には 反していないものです 超知的な機械が そういったものを あっさり開発してしまうかもしれません

超知的な機械は そのような高度な技術によって 非常に大きな力を持ち シナリオ次第では 望むものを何でも 手に入れるようになるかもしれません そうすると人類の未来は人工知能が好む通りに 形作られることになります ここで問題は その好むことが 何かということです 話しがややこしくなってきますが この議論を進める上では 何より擬人化を 避けなければなりません 皮肉なのは 未来の人工知能を取り上げる記事で 必ず出てくるのが こんな写真だということです 私たちはこの問題を ハリウッドの鮮明なシナリオに沿ってではなく もっと抽象的に 考える必要があります

我々は知性を 未来を特定の状態へと舵取りしていく 最適化プロセスとして 捉える必要があります 超知的な機械は 非常に強力な最適化プロセスです 利用可能な手段を使って 目的が充たされた状態を達成することに 極めて長けています この意味での 高い知性を持つことと 人間が価値や意味を認める 目的を抱くことの間には 必ずしも関係がありません

人間を笑顔にさせるという目的を 人工知能に与えたとしましょう 弱い人工知能は 人が見て笑うような 何か可笑しいことを するでしょう 人工知能が 超知的になったなら この目的を達するには もっと効果的なやり方があることに気付くでしょう 世界をコントロールし 人間の表情筋に 電極を差し込んで 笑い顔が持続するようにするんです 別の例として 人工知能に難しい数学の問題を解くことを 目的として与えたとします 人工知能が超知的になったら この問題を解くための 最も効果的な方法は 地球を巨大なコンピュータに変えて 思考能力を増大させることだと 考えるかもしれません このような目的は 人工知能に対して 人間が認めないような行為をする動機を 与えうることに注意してください このモデルにおいては 人間は人工知能にとって数学的問題を解くのを妨げる 邪魔者になりうるのです

もちろん物事がこの筋書き通りに まずいことに陥ることはないでしょう これはあくまで 戯画化した例です しかしこの一般的な論点は重要です 目的Xに向けて最大化を行う 強力な最適化プロセスを 作るときには Xの定義が自分の気にかける その他すべてのことに 問題を生じないか よく確認する必要があります これは伝説が教える 教訓でもあります ミダス王は自分の触るものすべてが 金になることを望みました 娘に触れば 娘が金に変わり 食べ物に触れば 食べ物が金に変わりました これが本当に 問題になるかもしれません 単なる強欲を諫める メタファーとしてではなく 強力な最適化プロセスを作って 間違った あるいは まずく定義された目的を与えたときに 何が起きるかを 示すものとしてです

コンピュータが人の顔に 電極を差し始めたら 単にスイッチを切ればいいと 思うかもしれません (A) そのシステムに依存するようになったとき スイッチを切ることは難しくなります たとえばの話 インターネットのスイッチは どこにあるのでしょう? (B) チンパンジーはなぜ人間のスイッチを オフにしなかったんでしょう? あるいはネアンデルタール人は? 彼らにはそうすべき理由が あったことでしょう 人間を切るスイッチはあります たとえはここに (うぐぅ) その理由は人間が 知的な相手だからです 人間は危険を予期して 回避することができます そしてそれは超知的な機械にも できるだろうことで しかも人間よりずっと 上手くできることでしょう 我々は制御できるはずだと 高をくくらない方がよいということです

この問題をもう少し簡単にして 人工知能を逃げ出すことのできない 安全なソフトウェア環境や 仮想現実シミュレーションの中に閉じ込める というのでもいいかもしれません しかし人工知能がシステムの欠陥を見つけたりしないと 自信を持てるでしょうか? ただの人間のハッカーでさえ 年中バグを見つけていることを思えば あまり自信は持てないでしょう ではネットワークケーブルを抜いて エアギャップを作ればどうか? これにしたって人間のハッカーが ソーシャルエンジニアリングによって エアギャップを越えるということが たびたび起きています 私が話をしているこの瞬間にも きっとどこかの社員が 情報管理部門から来たという人間に アカウントの情報を教えるよう 仕向けられていることでしょう

もっと奇想天外なシナリオだって 考えられます たとえば人工知能が 内部回路にある電極の 振動で発生した 電波を使って 通信をするとか あるいは人工知能が故障を装って プログラマーが調べようと中を開け ソースコードを見たところで バーン! 操作してしまうとか あるいはすごく洗練された 技術の設計図を出して 人間がそれを実装してみると そこには人工知能が潜ませていた 密かな副作用があるとか 要は我々は高度に知的な魔神を いつまでも壺に閉じ込めておけるとは 思わない方がよいということです 遅かれ早かれ 出口を見つけ出すことでしょう

この問題への答えは 非常に知的な人工知能を それが逃げ出しても 危険がないように作るということ 人間と同じ価値観を持っていて 人間の側に立つように作る ということだと思います この難しい問題を 避けて通ることはできません

私はこの問題は 解決できると楽観しています 私たちが気にかける あらゆることを書き出し さらにはC++やPythonのような プログラミング言語で 厳密に定義することは 望みがないくらい難しいことでしょうが そうする必要はないと思います 自らの知性を使って 人間が価値を置くことを 学び取る人工知能を 作ればよいのです 人間の価値を追求し 人間がよしとすることを予測して行動するような 動機付けのシステムを 持たせるのです そうやって価値付けの 問題を解くために 人工知能の知性を 可能な限り活用するのです

これは可能なことで 人類にとって とても好ましい結果をもたらします しかし自動的に 起きるわけではありません 知性爆発が人間の制御下で 起きるようにするためには 初期条件を正しく 設定する必要があります 人工知能の価値観を人間の価値観と 合ったものにする必要があります 人工知能が適切に行動しているか 容易に確認できるような 分かりやすい状況だけでなく 将来のいつか人工知能が出会うかもしれない あらゆる新奇な状況において そうなる必要があります

それから解決しなければならない 難解な問題がいろいろあります 決定理論の正確な詳細 論理的不確定性をどう扱うか といったことです だからこれを機能させるために 解くべき技術的問題は とても難しいものです 超知的な人工知能を作ること自体ほど 難しくはないにしても かなり難しいことです ひとつ懸念すべきことがあります 超知的な人工知能を作るのは 非常に難しいことで 超知的な人工知能を 安全なものにするのは その上にさらなる問題を 重ねることになりますが 危険があるのは 誰かが安全を確保するという 2番目の問題を解決することなく 最初の問題を解く方法を見つける ということです

だから私たちは この制御の問題を 前もって解決しておくべきだと思います そうすれば必要になったときに すぐ使えます 制御の問題のすべてを前もって解決することは できないかもしれません ある部分は実装される アーキテクチャの詳細が 明かになって初めて 可能になるかもしれません しかし前もって制御の問題の より多くの部分が解かれているほど 機械知性の時代への移行が うまくいく見込みは 高くなるでしょう

これはやるに値することだと 私には思えます 私には想像できます すべてがうまくいった暁に 百万年後の人類が この世紀を振り返って 私たちがした本当に重要なことが 何かあるとすれば それはこの問題を 正しく解決したことだと言うのを

ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画