TED日本語 - アジト・ナラヤナン: 言語を問わない単語ゲーム



TED日本語 - アジト・ナラヤナン: 言語を問わない単語ゲーム

TED Talks

A word game to communicate in any language
Ajit Narayanan




I work with children with autism. Specifically, I make technologies to help them communicate.

Now, many of the problems that children with autism face, they have a common source, and that source is that they find it difficult to understand abstraction, symbolism. And because of this, they have a lot of difficulty with language.

Let me tell you a little bit about why this is. You see that this is a picture of a bowl of soup. All of us can see it. All of us understand this. These are two other pictures of soup, but you can see that these are more abstract These are not quite as concrete. And when you get to language, you see that it becomes a word whose look, the way it looks and the way it sounds, has absolutely nothing to do with what it started with, or what it represents, which is the bowl of soup. So it's essentially a completely abstract, a completely arbitrary representation of something which is in the real world, and this is something that children with autism have an incredible amount of difficulty with. Now that's why most of the people that work with children with autism -- speech therapists, educators -- what they do is, they try to help children with autism communicate not with words, but with pictures. So if a child with autism wanted to say, "I want soup," that child would pick three different pictures, "I," "want," and "soup," and they would put these together, and then the therapist or the parent would understand that this is what the kid wants to say. And this has been incredibly effective; for the last 30,40 years people have been doing this. In fact, a few years back, I developed an app for the iPad which does exactly this. It's called Avaz, and the way it works is that kids select different pictures. These pictures are sequenced together to form sentences, and these sentences are spoken out. So Avaz is essentially converting pictures, it's a translator, it converts pictures into speech.

Now, this was very effective. There are thousands of children using this, you know, all over the world, and I started thinking about what it does and what it doesn't do. And I realized something interesting: Avaz helps children with autism learn words. What it doesn't help them do is to learn word patterns. Let me explain this in a little more detail. Take this sentence: "I want soup tonight." Now it's not just the words here that convey the meaning. It's also the way in which these words are arranged, the way these words are modified and arranged. And that's why a sentence like "I want soup tonight" is different from a sentence like "Soup want I tonight," which is completely meaningless. So there is another hidden abstraction here which children with autism find a lot of difficulty coping with, and that's the fact that you can modify words and you can arrange them to have different meanings, to convey different ideas. Now, this is what we call grammar. And grammar is incredibly powerful, because grammar is this one component of language which takes this finite vocabulary that all of us have and allows us to convey an infinite amount of information, an infinite amount of ideas. It's the way in which you can put things together in order to convey anything you want to.

And so after I developed Avaz, I worried for a very long time about how I could give grammar to children with autism. The solution came to me from a very interesting perspective. I happened to chance upon a child with autism conversing with her mom, and this is what happened. Completely out of the blue, very spontaneously, the child got up and said, "Eat." Now what was interesting was the way in which the mom was trying to tease out the meaning of what the child wanted to say by talking to her in questions. So she asked, "Eat what? Do you want to eat ice cream? You want to eat? Somebody else wants to eat? You want to eat cream now? You want to eat ice cream in the evening?" And then it struck me that what the mother had done was something incredible. She had been able to get that child to communicate an idea to her without grammar. And it struck me that maybe this is what I was looking for. Instead of arranging words in an order, in sequence, as a sentence, you arrange them in this map, where they're all linked together not by placing them one after the other but in questions, in question-answer pairs. And so if you do this, then what you're conveying is not a sentence in English, but what you're conveying is really a meaning, the meaning of a sentence in English. Now, meaning is really the underbelly, in some sense, of language. It's what comes after thought but before language. And the idea was that this particular representation might convey meaning in its raw form.

So I was very excited by this, you know, hopping around all over the place, trying to figure out if I can convert all possible sentences that I hear into this. And I found that this is not enough. Why is this not enough? This is not enough because if you wanted to convey something like negation, you want to say, "I don't want soup," then you can't do that by asking a question. You do that by changing the word "want." Again, if you wanted to say, "I wanted soup yesterday," you do that by converting the word "want" into "wanted." It's a past tense. So this is a flourish which I added to make the system complete. This is a map of words joined together as questions and answers, and with these filters applied on top of them in order to modify them to represent certain nuances. Let me show you this with a different example.

Let's take this sentence: "I told the carpenter I could not pay him." It's a fairly complicated sentence. The way that this particular system works, you can start with any part of this sentence. I'm going to start with the word "tell." So this is the word "tell." Now this happened in the past, so I'm going to make that "told." Now, what I'm going to do is, I'm going to ask questions. So, who told? I told. I told whom? I told the carpenter. Now we start with a different part of the sentence. We start with the word "pay," and we add the ability filter to it to make it "can pay." Then we make it "can't pay," and we can make it "couldn't pay" by making it the past tense. So who couldn't pay? I couldn't pay. Couldn't pay whom? I couldn't pay the carpenter. And then you join these two together by asking this question: What did I tell the carpenter? I told the carpenter I could not pay him.

Now think about this. This is -- (Applause) -- this is a representation of this sentence without language. And there are two or three interesting things about this. First of all, I could have started anywhere. I didn't have to start with the word "tell." I could have started anywhere in the sentence, and I could have made this entire thing. The second thing is, if I wasn't an English speaker, if I was speaking in some other language, this map would actually hold true in any language. So long as the questions are standardized, the map is actually independent of language. So I call this FreeSpeech, and I was playing with this for many, many months. I was trying out so many different combinations of this.

And then I noticed something very interesting about FreeSpeech. I was trying to convert language, convert sentences in English into sentences in FreeSpeech, and vice versa, and back and forth. And I realized that this particular configuration, this particular way of representing language, it allowed me to actually create very concise rules that go between FreeSpeech on one side and English on the other. So I could actually write this set of rules that translates from this particular representation into English. And so I developed this thing. I developed this thing called the FreeSpeech Engine which takes any FreeSpeech sentence as the input and gives out perfectly grammatical English text. And by putting these two pieces together, the representation and the engine, I was able to create an app, a technology for children with autism, that not only gives them words but also gives them grammar.

So I tried this out with kids with autism, and I found that there was an incredible amount of identification. They were able to create sentences in FreeSpeech which were much more complicated but much more effective than equivalent sentences in English, and I started thinking about why that might be the case. And I had an idea, and I want to talk to you about this idea next. In about 1997, about 15 years back, there were a group of scientists that were trying to understand how the brain processes language, and they found something very interesting. They found that when you learn a language as a child, as a two-year-old, you learn it with a certain part of your brain, and when you learn a language as an adult -- for example, if I wanted to learn Japanese right now -- a completely different part of my brain is used. Now I don't know why that's the case, but my guess is that that's because when you learn a language as an adult, you almost invariably learn it through your native language, or through your first language. So what's interesting about FreeSpeech is that when you create a sentence or when you create language, a child with autism creates language with FreeSpeech, they're not using this support language, they're not using this bridge language. They're directly constructing the sentence.

And so this gave me this idea. Is it possible to use FreeSpeech not for children with autism but to teach language to people without disabilities? And so I tried a number of experiments. The first thing I did was I built a jigsaw puzzle in which these questions and answers are coded in the form of shapes, in the form of colors, and you have people putting these together and trying to understand how this works. And I built an app out of it, a game out of it, in which children can play with words and with a reinforcement, a sound reinforcement of visual structures, they're able to learn language. And this, this has a lot of potential, a lot of promise, and the government of India recently licensed this technology from us, and they're going to try it out with millions of different children trying to teach them English. And the dream, the hope, the vision, really, is that when they learn English this way, they learn it with the same proficiency as their mother tongue.

All right, let's talk about something else. Let's talk about speech. This is speech. So speech is the primary mode of communication delivered between all of us. Now what's interesting about speech is that speech is one-dimensional. Why is it one-dimensional? It's one-dimensional because it's sound. It's also one-dimensional because our mouths are built that way. Our mouths are built to create one-dimensional sound. But if you think about the brain, the thoughts that we have in our heads are not one-dimensional. I mean, we have these rich, complicated, multi-dimensional ideas. Now, it seems to me that language is really the brain's invention to convert this rich, multi-dimensional thought on one hand into speech on the other hand. Now what's interesting is that we do a lot of work in information nowadays, and almost all of that is done in the language domain. Take Google, for example. Google trawls all these countless billions of websites, all of which are in English, and when you want to use Google, you go into Google search, and you type in English, and it matches the English with the English. What if we could do this in FreeSpeech instead? I have a suspicion that if we did this, we'd find that algorithms like searching, like retrieval, all of these things, are much simpler and also more effective, because they don't process the data structure of speech. Instead they're processing the data structure of thought. The data structure of thought. That's a provocative idea.

But let's look at this in a little more detail. So this is the FreeSpeech ecosystem. We have the Free Speech representation on one side, and we have the FreeSpeech Engine, which generates English. Now if you think about it, FreeSpeech, I told you, is completely language-independent. It doesn't have any specific information in it which is about English. So everything that this system knows about English is actually encoded into the engine. That's a pretty interesting concept in itself. You've encoded an entire human language into a software program. But if you look at what's inside the engine, it's actually not very complicated. It's not very complicated code. And what's more interesting is the fact that the vast majority of the code in that engine is not really English-specific. And that gives this interesting idea. It might be very easy for us to actually create these engines in many, many different languages, in Hindi, in French, in German, in Swahili. And that gives another interesting idea. For example, supposing I was a writer, say, for a newspaper or for a magazine. I could create content in one language, FreeSpeech, and the person who's consuming that content, the person who's reading that particular information could choose any engine, and they could read it in their own mother tongue, in their native language. I mean, this is an incredibly attractive idea, especially for India. We have so many different languages. There's a song about India, and there's a description of the country as, it says, (in Sanskrit) . That means "ever-smiling speaker of beautiful languages."

Language is beautiful. I think it's the most beautiful of human creations. I think it's the loveliest thing that our brains have invented. It entertains, it educates, it enlightens, but what I like the most about language is that it empowers.

I want to leave you with this. This is a photograph of my collaborators, my earliest collaborators when I started working on language and autism and various other things. The girl's name is Pavna, and that's her mother, Kalpana. And Pavna's an entrepreneur, but her story is much more remarkable than mine, because Pavna is about 23. She has quadriplegic cerebral palsy, so ever since she was born, she could neither move nor talk. And everything that she's accomplished so far, finishing school, going to college, starting a company, collaborating with me to develop Avaz, all of these things she's done with nothing more than moving her eyes.

Daniel Webster said this: He said, "If all of my possessions were taken from me with one exception, I would choose to keep the power of communication, for with it, I would regain all the rest." And that's why, of all of these incredible applications of FreeSpeech, the one that's closest to my heart still remains the ability for this to empower children with disabilities to be able to communicate, the power of communication, to get back all the rest.

Thank you. (Applause)

Thank you. (Applause) Thank you. Thank you. Thank you. (Applause) Thank you. Thank you. Thank you. (Applause)

私は自閉症の子供たちに関する 仕事をしています 具体的には 技術開発により コミュニケーションの お手伝いをしています

自閉症の子供たちが 直面する問題には 共通のものがあります 抽象概念や象徴的意味を 理解するのが困難である ということです そのため 言葉に苦労することが 多いのです

少し 詳しく説明をします これがスープの絵だということは 分かりますよね そのように見えますし そう理解できます さらに2つのスープの絵があります ただ もっと抽象的です 最初のほど 具体的ではありません 言語となると 今度は単語になります 単語は その見た目も音も 最初の スープという物とも それが意味することとも 無関係です つまり 完全に抽象的で 恣意的な 現実世界にある物の 表象なのです 自閉症を持つ子供たちは これを理解するのに とても苦しみます このような子供たちに関する 仕事をする人々 ― スピーチ・セラピストや教育者は 彼らは 自閉症を抱える子供たちが 言葉ではなく 絵で会話できるよう努めています ある自閉症の子供が 「私はスープが欲しい」と言いたかったら 「私」 「スープ」 「欲しい」という 3つの絵を 選んでつなぎあわせます すると セラピストや親は 子供が言いたいことがわかります この手法はとても有効で 過去30、40年間 実践されてきました 実際 私は数年前に このためのiPad用アプリを 開発しました Avaz と言います この仕組みは 子供たちが 異なる絵を選び 選ばれた絵がつながり 文になり その文が読み上げられます つまり Avaz は絵を変換するアプリ 絵を言葉に変換する 翻訳機なのです

アプリは効果的でした 何千人もの子供たちが 世界中で使っています 私は このアプリにできることと ― できないことについて考え始めました すると 興味深いことに気づきました Avaz は単語を学ぶのに 役立っていますが 単語のパターンを学ぶ 助けにはなっていないと もう少し詳しく説明します 「今夜はスープが飲みたい」 を例文とします ここで意味を伝達するのは 単語だけではありません どう単語が並んでいるか どう修飾されているかも 重要です だからこそ 「今夜はスープが飲みたい」は 「飲みたいスープ今夜」のように 意味不明の文から区別されるのです ここにもう一つ 自閉症の子供たちが 理解するのが難しい抽象表現があります それは 単語の修飾や並び替えで 異なる意味や考えを 伝えることが出来るということです これが文法と呼ばれるものです 文法は大きな影響力を持ちます 文法は言語の構成要素の中でも 私たちが有する 有限の語彙をもとに 無限の情報とアイディアを 伝達することを 可能にします 別々のものをつなぎあわせて どんなことでも伝えられる 仕組みです

Avazを開発してから 自閉症の子供たちに どうやって文法を伝えられるか 長い間悩みました 答えは意外な視点から見えました あるとき 自閉症の子供が お母さんと 会話をしているのを見かけました そうするとなんと 子供が突然立ち上がり こう言いました 「食べる」 興味深かったのは お母さんは 子供が言いたがっていることを 探り出すため 質問形式で 子供に話していたことです 「何を食べるの?」 「アイスが食べたいの?」 「あなたが食べたいの?」 「誰かが食べたいの?」 「今食べたいの?」 「夕方食べたいの?」 そして ハッとしました このお母さんの行動は天才的だと 彼女は文法なしで子供との コミュニケーションを 可能にしたのです これが探していた答えかもしれない そう感じました 文として単語を 順に並べるのではなく 要素同士がつながっている このようなマップ上で配列する 要素同士を横に並べるのではなく 質問形式に つまり 問いと答えのペアで並べる こうして伝えられるのは 英語の文ではなく 意味を伝えています 英語の文の意味なのです 意味とは 言語の急所とも言えます 思考の後 言語の前に 生成されます マップ形式では意味を 直接伝えられるのでは と考えました

とてもワクワクしました さまざまな場所に行き 耳にするありとあらゆる文を この形に変換しようと試みました すると これでは不十分だと気づきました 何が不十分なのでしょうか? それは 例えば「否定」を 伝えたいときに言うのは 「スープを飲みたくない」で 質問では引き出せません 「飲みたい」を変える必要があります 「昨日スープが飲みたかった」 と言いたい場合は 「飲みたい」を 「飲みたかった」と 過去形に変えます この機能を足すことで システムが完成しました この単語のマップは問いと答えの 関係でつながっています さらに フィルターをかけることで 特定のニュアンスに合わせて 変更できます 違う例文で説明しましょう

「私は大工に 私は彼に支払えない と言った」 かなり複雑な文です このシステムの仕組みでは 文のどの部分から始めてもいいので 「言う」から始めてみます この「言う」という単語は 過去の出来事ですから これを「言った」にします では次に いくつか質問をします 「誰が言ったの?」 「私が言った」 「誰に言ったの?」 「大工に言った」 次は文の違う部分から 「支払う」という単語に 能力フィルターをかけて 「支払える」にします それから「支払えない」とします 最後に「支払えなかった」と 過去形にします 「誰が支払えなかったの?」 「私が支払えなかった」 「誰に支払えなかったの?」 「大工に支払えなかった」 結果をつなげるために この質問をします 「大工になんと言ったの?」 「私は大工に 私は彼に支払えない と言った」

考えてみてください これは ― (拍手) ― これは言語に頼らない 文の表象なのです そして 興味深い点がいくつかあります 第一に どの部分から始めても 良かったということ 「言う」から始める必要は無く どこから始めても 同じ結果に至ります 第二に 私が英語話者でなく 他の言語を話していたとしても このマップは同様に機能した ということ 質問が統一されていさえすれば マップは言語に 左右されないのです これをFreeSpeech(自由言語)と名づけ 何か月も試してみました ありとあらゆるパターンを試し

非常に興味深い点を発見しました 言葉を変換しようとしていたときです 英文を「自由言語」に変換したり その逆を繰り返していたら 特有の構造に気づきました この特有の言語の表象方法からは 「自由言語」と英語という 両極の間に とても簡潔な法則を導き出すことが 可能でした 表象から英語に変換する法則を 実際に書き出すこともできます こうして開発したのが 「自由言語」エンジンです どんな「自由言語」の文を インプットしても 正しい文法の英文を アウトプット出来ます 表象とエンジンの 二つを組み合わせることで 自閉症の子供たちのための 技術となるアプリが出来ました それは 彼らに単語だけでなく 文法も与えるものでした

自閉症を抱える子供たちに 試してもらうと その効果は一目瞭然でした 彼らは「自由言語」を使い 英語よりも 複雑かつ かなり分かりやすい 文を作ることが出来ました なぜこうなるのか 考えたところ 一つの仮説をたてました それを今から説明します 1997年頃 約15年前ですが 脳の言語処理方法を 解明しようとする科学者のグループが とても興味深いことを発見しました 人間は言語を 幼少期に学ぶとき 脳のとある部分で習得します 一方 大人として学ぶとき 例えば 私が今から 日本語を勉強するとなると 脳のまったく別の部分で習得します その理由は分かりませんが 私が思うには 大人として言語を学ぶときは ほぼ必然的に 母語か第一言語を通して 学びます 「自由言語」の面白いところは 文や言語を生成するとき ― ちなみに自閉症の子供たちは 「自由言語」でことばを作りますが ― 補助的な言語に頼りません 言語の橋渡しが無いのです 文を直接構築しているのです

そしてあるアイディアが浮かびました 「自由言語」を 自閉症の子供たちではなく 障害を持たない人々への 言語教育にも利用できないだろうか? いくつかの実験を試みました まず ジグソーパズルを作りました このパズルは問いと答えが 形や色として埋め込まれ 皆にはこれを 組み立てることで 仕組みを 理解してもらいました これをもとに ゲームアプリを開発しました 子供たちが単語で遊ぶなか 視覚的な構造が 聴覚的に補助されることで 言語を習得できるのです この技術は 大きな可能性を秘めています 先日 インド政府にこの技術を ライセンス供与しました 政府は 何百万人もの子供たちに 英語を教えるのに試用します 私の夢、希望、展望は この方法で英語を学ぶことで 母語と同様に 英語に堪能になってくれることです

では 次は 発話について話しましょう これは発話です 人の間で交わされる コミュニケーションの 最も主要な形態です 発話の興味深いところは 一次元だという点です なぜ一次元なのでしょうか? 音声だからです また 人間の口が そういう構造だからです 一次元の音を発するよう 造られています でも 脳について考えると 頭の中の思考は 一次元ではありません というのも 思考は 豊かで 複雑で 複数次元です すると 言語は実は 脳の発明であり それは この豊かで 複数次元の思考を 発話に変換するための ものだと思えてきます 面白いことに 最近は 情報分野の仕事が多いですが ほとんどが言語の領域で行われています 例えばグーグルは 数え切れないほどの 英語のウェブサイトを 徹底的に探し出し グーグルを使うときは グーグル検索で英語で入力すると その英語とウェブサイトの英語を 合致させてくれる これを「自由言語」でもできたら どうでしょう? 私の予想では そうすることで 検索行為や結果取得における アルゴリズムはもっと単純で 効果的なものになると思います それは発話のデータ構造を処理せずに 思考のデータ構造を 処理するものになるからです 思考のデータ構造 刺激的な発想ですよね

もう少し詳しく見てみましょう これが「自由言語」の生態系です 一方では「自由言語」があり そして ― 英語を生成するエンジンがあります 改めて考えてみると 「自由言語」は 言語から独立しています 英語に関する特定の情報は 一切入っていない つまり このシステムが持つ 英語に関する情報は すべてエンジン内にコード化されています これ自体が面白い概念です 人間の言語というものを ソフトウェアプログラムに 記号化してしまったのです しかし エンジンの中身を見てみると それほど複雑ではありません 難しいコードではないのです さらに面白いことに コードの大部分が 英語固有のものではありません そこで考えたのです このようなエンジンを簡単に さまざまな言語に対して 作成できるのではないかと 例えば ヒンディー語、 フランス語、 ドイツ語、 スワヒリ語 そこから こうも考えられます 例えば 私が新聞や雑誌の ライターだとします コンテンツを「自由言語」という 一つの言語で書けば そのコンテンツの消費者 つまり情報の読者は どのエンジンでも選べ コンテンツを母語で 読むことができる これは 大変魅力的な アイディアです 特にインドでは 多くの言語が 存在しますからね インドについて歌っている曲では 国をこう表しています (サンスクリット語) 「いつも笑顔の 美しい言語たちの話者」と言っています

言語は美しいものです 最も美しい 人間の創造物だと思います 最も愛しい 脳の発明品だと思います 私たちを楽しませ 教育し 啓発してくれます でも 最も好きなところは 力を与えてくれることです

最後にお見せしたいものがあります これは私の協力者の写真です 私が仕事で 言語や自閉症に 取り組み始めたころの協力者です 私が仕事で 言語や自閉症に 取り組み始めたころの協力者です 彼女はパヴナ お母さんはカルパナ パヴナは起業家です 弱冠23歳ですから 彼女のストーリーは 私のよりもすごいです 彼女は脳性四肢麻痺を抱えています 生まれたときから 動くことも話すこともできなかったのです 彼女がこれまで達成してきたこと ― 義務教育修了 大学進学 会社の起業 Avazの開発協力 ― これらはすべて 目を動かすことだけで 成し遂げてきたのです

ダニエル・ウェブスターは こう言いました 「もし私の所有物を 一つを除いて すべて失ってしまうとなったら コミュニケーション能力を残したい それで他を取り返せるから」 と だからこそ「自由言語」の 数ある応用方法のうち 今でも変わらず 最も重要だと感じるのは 障害をもつ子供たちに コミュニケーションという 力を与えることです それで全てを取り返せます

ありがとうございました (拍手)

どうもありがとう (拍手) どうも ありがとうございます (拍手) どうも ありがとうございます (拍手)

― もっと見る ―
― 折りたたむ ―


  • 主語
  • 動詞
  • 助動詞
  • 準動詞
  • 関係詞等