TED日本語 - 新井紀子: ロボットは大学入試に合格できるか?

TED日本語

TED Talks(英語 日本語字幕付き動画)

TED日本語 - 新井紀子: ロボットは大学入試に合格できるか?

TED Talks

ロボットは大学入試に合格できるか?
Can a robot pass a university entrance exam?
新井紀子
Noriko Arai

内容

東ロボくんをご紹介します。このAIは、大学の入学試験で上位20%の成績を収めました ― 何も理解することなしに。ロボットがすぐ大学に入学するようになるわけではありませんが、東ロボくんの成功は人間の教育の未来に疑問を提起します。人間がAIより上手くできることについて子供たちが上達できるよう、私たちはどう助ければよいのでしょう?

Script

Today, I'm going to talk about AI and us. AI researchers have always said that we humans do not need to worry, because only menial jobs will be taken over by machines. Is that really true? They have also said that AI will create new jobs, so those who lose their jobs will find a new one. Of course. But the real question is: How many of those who may lose their jobs to AI will be able to land a new one, especially when AI is smart enough to learn better than most of us?

Let me ask you a question: How many of you think that AI will pass the entrance examination of a top university by 2020? Oh, so many. OK. So some of you may say, "Of course, yes!" Now singularity is the issue. And some others may say, "Maybe, because AI already won against a top Go player." And others may say, "No, never. Uh-uh." That means we do not know the answer yet, right? So that was the reason why I started Todai Robot Project, making an AI which passes the entrance examination of the University of Tokyo, the top university in Japan.

This is our Todai Robot. And, of course, the brain of the robot is working in the remote server. It is now writing a 600-word essay on maritime trade in the 17th century. How does that sound?

Why did I take the entrance exam as its benchmark? Because I thought we had to study the performance of AI in comparison to humans, especially on the scales and expertise which are believed to be acquired only by humans and only through education. To enter Todai, the University of Tokyo, you have to pass two different types of exams. The first one is a national standardized test in multiple-choice style. You have to take seven subjects and achieve a high score -- I would say like an 84 percent or more accuracy rate -- to be allowed to take the second stage written test prepared by Todai.

So let me first explain how modern AI works, taking the "Jeopardy!" challenge as an example. Here is a typical "Jeopardy!" question: "Mozart's last symphony shares its name with this planet." Interestingly, a "Jeopardy!" question always asks, always ends with "this" something: "this" planet, "this" country, "this" rock musician, and so on. In other words, "Jeopardy!" doesn't ask many different types of questions, but a single type, which we call "factoid questions."

By the way, do you know the answer? If you do not know the answer and if you want to know the answer, what would you do? You Google, right? Of course. Why not? But you have to pick appropriate keywords like "Mozart," "last" and "symphony" to search. The machine basically does the same. Then this Wikipedia page will be ranked top. Then the machine reads the page. No, uh-uh.

Unfortunately, none of the modern AIs, including Watson, Siri and Todai Robot, is able to read. But they are very good at searching and optimizing. It will recognize that the keywords "Mozart," "last" and "symphony" are appearing heavily around here. So if it can find a word which is a planet and which is co-occurring with these keywords, that must be the answer. This is how Watson finds the answer "Jupiter," in this case.

Our Todai Robot works similarly, but a bit smarter in answering history yes-no questions, like, "'Charlemagne repelled the Magyars.' Is this sentence true or false?" Our robot starts producing a factoid question, like: "Charlemagne repelled [ this person type ]" by itself. Then, "Avars" but not "Magyars" is ranked top. This sentence is likely to be false. Our robot does not read, does not understand, but it is statistically correct in many cases.

For the second stage written test, it is required to write a 600-word essay like this one:

[ Discuss the rise and fall of the maritime trade in East and Southeast Asia in the 17th century ... ]

and as I have shown earlier, our robot took the sentences from the textbooks and Wikipedia, combined them together, and optimized it to produce an essay without understanding a thing.

(Laughter)

But surprisingly, it wrote a better essay than most of the students.

(Laughter)

How about mathematics? A fully automatic math-solving machine has been a dream since the birth of the word "artificial intelligence," but it has stayed at the level of arithmetic for a long, long time. Last year, we finally succeeded in developing a system which solved pre-university-level problems from end to end, like this one. This is the original problem written in Japanese, and we had to teach it 2,000 mathematical axioms and 8,000 Japanese words to make it accept the problems written in natural language. And it is now translating the original problems into machine-readable formulas. Weird, but it is now ready to solve it, I think. Go and solve it. Yes! It is now executing symbolic computation. Even more weird, but probably this is the most fun part for the machine.

(Laughter)

Now it outputs a perfect answer, though its proof is impossible to read, even for mathematicians. Anyway, last year our robot was among the top one percent in the second stage written exam in mathematics.

(Applause)

Thank you.

So, did it enter Todai? No, not as I expected. Why? Because it doesn't understand any meaning. Let me show you a typical error it made in the English test.

[ Nate: We're almost at the bookstore. Just a few more minutes. Sunil: Wait. ______ . Nate: Thank you! That always happens ... ]

Two people are talking. For us, who can understand the situation --

[ 1. "We walked for a long time." 2. "We're almost there." 3. "Your shoes look expensive." 4. "Your shoelace is untied." ]

it is obvious number four is the correct answer, right? But Todai Robot chose number two, even after learning 15 billion English sentences using deep learning technologies. OK, so now you might understand what I said: modern AIs do not read, do not understand. They only disguise as if they do.

This is the distribution graph of half a million students who took the same exam as Todai Robot. Now our Todai Robot is among the top 20 percent, and it was capable to pass more than 60 percent of the universities in Japan -- but not Todai. But see how it is beyond the volume zone of to-be white-collar workers.

You might think I was delighted. After all, my robot was surpassing students everywhere. Instead, I was alarmed. How on earth could this unintelligent machine outperform students -- our children? Right? I decided to investigate what was going on in the human world. I took hundreds of sentences from high school textbooks and made easy multiple-choice quizzes, and asked thousands of high school students to answer.

Here is an example:

[ Buddhism spread to ..., Christianity to ... and Oceania, and Islam to ... ]

Of course, the original problems are written in Japanese, their mother tongue.

[ ______ has spread to Oceania. 1. Hinduism 2. Christianity 3. Islam 4. Buddhism ]

Obviously, Christianity is the answer, isn't it? It's written! And Todai Robot chose the correct answer, too. But one-third of junior high school students failed to answer this question. Do you think it is only the case in Japan? I do not think so, because Japan is always ranked among the top in OECD PISA tests, measuring 15-year-old students' performance in mathematics, science and reading every three years.

We have been believing that everybody can learn and learn well, as long as we provide good learning materials free on the web so that they can access through the internet. But such wonderful materials may benefit only those who can read well, and the percentage of those who can read well may be much less than we expected. How we humans will coexist with AI is something we have to think about carefully, based on solid evidence. At the same time, we have to think in a hurry because time is running out.

Thank you.

(Applause)

Chris Anderson: Noriko, thank you.

Noriko Arai: Thank you.

CA: In your talk, you so beautifully give us a sense of how AIs think, what they can do amazingly and what they can't do. But -- do I read you right, that you think we really need quite an urgent revolution in education to help kids do the things that humans can do better than AIs?

NA: Yes, yes, yes. Because we humans can understand the meaning. That is something which is very, very lacking in AI. But most of the students just pack the knowledge without understanding the meaning of the knowledge, so that is not knowledge, that is just memorizing, and AI can do the same thing. So we have to think about a new type of education.

CA: A shift from knowledge, rote knowledge, to meaning.

NA: Mm-hmm.

CA: Well, there's a challenge for the educators. Thank you so much.

NA: Thank you very much. Thank you.

(Applause)

今日はAIと私たちについて お話ししようと思います コンピューターに奪われる仕事は 単純作業だけだから 心配するには及ばないと AI研究者は いつも言っています 本当にそうなんでしょうか? AI技術は新たな仕事も 生むことになるので 仕事を失った人は 新しい仕事を見つけられるとも言います そうでしょうけど 疑問なのは AIのために仕事を失う人のうち 新しい仕事を得られる人は どれくらいか ということです ことに AIが私たちの多くよりも うまく物事を学べるのだとしたら

ひとつお聞きします 2020年までにAIが 一流大学の入試に通るようになると思う人は どれくらいいますか? 結構いますね 「もちろんそうなる!」 という人もいるでしょう シンギュラリティ(技術的特異点)が 今や問題なんだと 「碁ではすでにAIが名人に勝って いるんだから そうなるかも」 と思う人もいるでしょう そして「絶対無理」と 言う人もいるでしょう まだ答えは分かっていない ということです 私が「東ロボくん」プロジェクトを 始めたのは そのためです 日本で最高峰の 大学である 東京大学の 入試に通るAIを 作ろうという試みです

これが東ロボくんです もちろん頭脳部分は 遠隔のサーバーで動いています 今 17世紀の 海上貿易について 600語の小論文を 書いているところです そう聞いて どう感じますか?

私がAIのベンチマークとして 入試を選んだ理由は 人間と比較した AIの能力を 研究する必要があると思ったからです 人間だけが 教育を通してのみ 獲得できるとされている スキルや専門的能力については 特にそうです 東京大学に入るためには 2種類の試験を受ける 必要があります 1つ目は選択式の 全国共通試験です 7科目の試験を受けて 高得点を取る 必要があります そこでの正答率が 84%以上でないと 東大が用意する 記述式の2次試験を 受けることはできません

まず現在のAIが どのように働くのかを クイズ番組『ジェパディ!』への挑戦を例に 説明しましょう ジェパディの典型的な問題は こんな感じです 「モーツァルトの最後の交響曲は “この惑星”と同じ名前である」 興味深いことに ジェパディで問われる質問は 常に “この何々”という形をしています “この惑星”とか “この国”とか “このロック歌手”という具合に 言い換えると ジェパディでは 様々な形式の質問がされるわけではなく 1つのタイプの問題 ― 一言で答えられる 雑学が問われるんです

ちなみに この問題の答えは分かりますか? 答えが分からなくて 答えを知りたいというとき 皆さんならどうしますか? ネットで検索しますよね もちろん でも 検索するキーワードを 適切に選んでやる必要があります 「モーツァルト 最後 交響曲」というように AIも基本的に 同じことをします そうすると このウィキペディアのページが 最初にヒットします それからAIは その内容を読むのかというと 違います

あいにく 現在のAIは ワトソンにせよ Siriにせよ 東ロボくんにせよ 読解はできません でも AIは探索と最適化に 優れています AIは キーワード 「モーツァルト」「最後」「交響曲」が この辺りに沢山出てくることを 認識します だから惑星の名前であって これらのキーワードと 一緒に現れるものがあれば それが答えに違いないと判断します そうやってワトソンは「ジュピター(木星)」 という答えを見つけるのです

私たちの東ロボくんも 同じように動作しますが 歴史の正誤問題に もう少しうまく答えられます 「“カール大帝はマジャール人を撃退した” という文は正しいか?」という問題なら 東ロボくんは それをまず 穴埋め問題に変えます 「カール大帝は(この人々を)撃退した」 そうすると「マジャール人」ではなく 「アバール人」が上位に来るので この文はどうも 正しくないようだと分かります 私たちのロボットは読まないし 理解しませんが 多くの場合 統計的に正しいのです

記述式の2次試験では こんな感じの600語の小論文を 書く必要があります

[17世紀の東アジアと東南アジアにおける 海上貿易の盛衰について600語で述べよ・・・]

先ほどお見せしたように 私たちのロボットは教科書や ウィキペディアから文を取り出し 組み合わせ 最適化して 小論文を作ります 何ひとつ理解もしないで

(笑)

でも 驚いたことに ロボットの小論文は たいていの学生のものより 出来が良かったんです

(笑)

数学はどうでしょう? 数学の問題を解く 完全自動の機械というのは 「人工知能」という言葉が 生まれたとき以来の夢でしたが 長い間 計算というレベルに 留まっていました 去年 私たちはついに 高校までの数学の問題を 最初から最後まで解けるシステムの開発に成功しました たとえばこんな問題です これは日本語で書かれた 元の問題です 自然言語で記述された問題を 取り込めるようにするために 2千の数学公式と 8千の日本語の単語を 教える必要がありました これは元の問題を 機械にわかる式に 変換しているところです 奇妙なものですが これで解くための準備ができました では解きましょう 今 記号処理を しているところです ますます奇妙になっていますが たぶん機械にとっては ここが一番楽しいところなんでしょう

(笑)

完全な解答が 出力されています もっともこの証明は 数学者でも読めないような代物です 何にせよ 去年私たちのロボットは 記述式の2次試験の数学で 上位1%に入りました

(拍手)

ありがとうございます

では 東大に入れたのでしょうか? いいえ 私の期待に反して 入れませんでした なぜなのでしょう? 意味をまったく 理解していないからです 英語のテストでロボットがする 典型的な間違いの例をお見せしましょう

2人の会話の 穴埋め問題です [A君 本屋はもうすぐだよ。あと少し歩くだけ。

B君 待って、(___)。 A君 ありがとう、いつもなんだ。

B君 5分前にも靴、結んでたよね? 選択肢 ①だいぶ歩いたね。 ②もうすぐだね。③高そうな靴だね。④靴紐がほどけてるよ。]

状況を理解できる私たちにとっては ④番が正解なのは明らかですよね? でも東ロボくんは ②番を選びました ディープラーニングの 技術を使って 150億個の英文を 学んだ後でです 私の言ったことが お分かりになったでしょう 現在のAIは 読めないし 理解できないのです そうできるかのように 見せかけているだけです

これは東ロボくんと 同じ試験を受けた 50万人の学生の 点数の分布です 現在 私たちのロボットは 上位20%以内にいて 日本の6割以上の大学に 合格できます 東大は無理ですが でもホワイトカラーになる 人々の大部分より 上にいることに 注目してください

この結果に私が喜んだと お思いでしょう なにしろ私たちのロボットが 多くの学生を超えたんですから 私はむしろ懸念を抱きました どうして この知性を欠いた機械が 人間の学生を 私たちの子供たちを 凌駕できたのでしょう? 人間の世界で何が起きているのか 調べることにしました 中高の教科書から 文を数百個取り出し 簡単な選択式問題を作って 数千人の中高生に 答えてもらいました

これが問題の例です

[主として仏教は・・・ キリスト教は・・・ イスラム教は・・・ に広まっている]

もちろん元の問題は 生徒達の母国語である 日本語で記述されています

[問.(___)はオセアニアに広まりました。 選択肢 ①ヒンドゥー教 ②キリスト教 ③イスラム教 ④仏教]

答えは当然 キリスト教ですよね? 問題文に書いてあります! 東ロボくんも 正しい答えを選びました でも中学生の3分の1は この問題で間違ったのです これは日本だけの 話なのでしょうか? そうは思いません 「OECD生徒の学習到達度調査」で 日本はいつも上位に付けているからです 3年ごとに 各国の15歳の生徒の 数学 科学 国語の能力を 測っているテストです

能力を伸ばせるような 優れた教材が ウェブで無料公開され インターネットで 見られるようになっていれば 誰でも 良く学べるはずだと 私たちは そう 信じてきました でも そのような素晴らしい教材も 恩恵を受けられるのは ちゃんと読める子だけで そして ちゃんと読める子の割合は 私たちが思っているより ずっと少ないのかもしれません 人間がAIと どう共存していくかは しっかりした証拠に基づいて 慎重に考える必要があります しかも急いで そうしなければなりません 時間がもうないのですから

ありがとうございました

(拍手)

(クリス・アンダーソン)どうもありがとう

(新井紀子)こちらこそ

(アンダーソン)あなたの話は AIがどのように考え 何がうまくでき 何ができないのかという感触を すごく見事に伝えてくれました 私が正しく理解しているなら 人間がAIよりも うまくできることについて 子供達を助けられるよう 教育の変革を急がねばならないと お考えなんですね

(新井)その通りです 私たち人間は 意味を理解することができます これはAIに すごく欠けている部分です でも多くの生徒は 理解せずに ただ知識を詰め込んでいます それは知識ではなく ただの暗記で AIでもできることです だから私たちは新しいタイプの教育を 考える必要があります

(アンダーソン)丸暗記から 意味の理解へという転換ですね

(新井)ええ

(アンダーソン)教育者諸氏にとっての課題ですね ありがとうございました

(新井)ありがとうございました

(拍手)

― もっと見る ―
― 折りたたむ ―

品詞分類

  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等

関連動画