語学・英語学習ビミョー

英語は「口元を見る」と聞き取れる? 日本人は静かな場所だと唇の情報をあまり使わないという研究があった

英語は「口元を見る」と聞き取れる? 日本人は静かな場所だと唇の情報をあまり使わないという研究があった

読む前に予想してみよう!

人は話し声を聞くとき、相手の唇の動きにも影響されている

研究カード(どんな研究?)
対象
日本語・英語・中国語話者の大人
規模
各10〜数十人規模
研究の種類
視聴覚の知覚実験
確かさ
★★★☆☆
3秒でわかる

人は耳だけでなく唇の動きも使って音を聞いている。ところが日本語話者は、静かな環境では唇の情報をあまり使わない傾向があった。

ひとことで言うと人は「目」でも音を聞いている。英語は話す人の口を見るとわかりやすいかも!

もくじ
  1. 日本人には「マガーク効果」が起きにくい?
  2. 原因は「文化」か「言語」か
  3. 騒がしい場所では、口元は強い味方
  4. まとめ

「バ」と言っている音声に、「ガ」と言っている口の動画を重ねます。すると多くの人には「ダ」に聞こえます。

これはマガーク効果と呼ばれる有名な錯覚。1976年にイギリスの心理学者マガークとマクドナルドが科学誌『ネイチャー』で報告しました。目を閉じると「バ」に戻るのに、目を開けると「ダ」。人は耳だけでなく、目でも音を聞いているのです。

ところが、この錯覚には日本語話者だと起きにくいという意外な研究がありました。

01日本人には「マガーク効果」が起きにくい?

つまり日本語話者は、音がはっきり聞こえる限り、唇の情報にあまり頼らない。逆に音が聞き取りにくくなると、唇の情報をしっかり使い始めるということです。

その後の研究で、英語話者と比べた場合にも、日本語話者のマガーク効果は弱めになりやすいことが報告されています。

02原因は「文化」か「言語」か

なぜでしょうか。仮説の一つは文化です。日本では相手の顔をじっと見つめることを避ける傾向があり、それが関係しているのでは、という考えです。

積山は1997年、同じく東アジアの中国語話者(日本在住の14人)でも実験しました。中国語話者もマガーク効果は弱めでしたが、日本での滞在が長い人ほど効果の出方が変わるという結果も得られています。言語の音の性質(日本語は音の種類が少なく、耳だけで聞き分けやすい)も関係している可能性があり、原因はまだ一つに絞れていません。

脳は「耳の情報」と「目の情報」を混ぜて音を決めている
脳は「耳の情報」と「目の情報」を混ぜて音を決めている

03騒がしい場所では、口元は強い味方

一方で、口元の情報が雑音の中で役立つ場面もあります。

1954年のサンビーとポラックの古典的な実験では、雑音の中で単語を聞き取るとき、話し手の顔と唇が見えるだけで、聞き取れる量が大きく増えました。特に雑音が大きいほど、目の情報がもたらす聞き取りの増加量(絶対量)は大きくなりました。

英語学習者にとって、英語は母語よりも「聞き取りにくい音」です。日本語の静かな会話では口元を見なくても困りませんが、英語では口元が有力なヒントになる可能性があります。ただし、日本人英語学習者で「口元を見る練習」がリスニング力を伸ばすかどうかを直接確かめた研究はまだ多くありません。

04まとめ

人は目でも音を聞いている。そして日本語話者は、静かな場所ではその「目の耳」をあまり使わない傾向があるようです。

英語のように聞き取りにくい言葉では、口元は貴重なヒント。次の英会話では、ちょっとだけ相手の唇に注目してみてください。

この研究を英語で読もう原田英語の English CornerIf you hear the sound "ba" while watching lips that say "ga," you will probably hear "da." This is called… 音声 4択クイズ9問A2・B1・B2タップして開く

原田英語の English Corner

この研究を英語で読もう

If you hear the sound "ba" while watching lips that say "ga," you will probably hear "da." This is called the McGurk effect, first reported in 1976, and it shows that the brain combines sound and sight. In a 1991 study of ten Japanese speakers, the effect was small when there was no noise. When noise was added, however, it became much stronger.

So Japanese listeners tend to rely on lips mostly when the sound is unclear. Researchers are still not sure whether the reason is cultural, such as avoiding looking at faces, or linguistic. On the other hand, a classic 1954 study showed that seeing a speaker's face helps listeners understand words in noise. Since English is harder to hear, watching the mouth may help.

126 words ・ CEFR B1

和訳を見る

「ガ」と言う唇を見ながら「バ」という音を聞くと、おそらく「ダ」に聞こえるでしょう。これは1976年に初めて報告された「マガーク効果」と呼ばれる現象で、脳が音と見たものを組み合わせていることを示しています。日本語話者10人を対象にした1991年の研究では、雑音がないときにはこの効果は小さいものでした。しかし雑音を加えると、効果はずっと強くなりました。

つまり、日本語話者は音がはっきりしないときに主に唇に頼る傾向があるのです。その理由が、顔を見るのを避けるといった文化的なものなのか、言語的なものなのかは、まだはっきりしていません。一方、1954年の古典的な研究は、話し手の顔が見えると、雑音の中で単語を理解するのに役立つことを示しました。英語は聞き取りにくいので、口元を見ることが助けになるかもしれません。

4択リーディングクイズ

Q1. What does the McGurk effect show?

Q2. According to the 1991 study, when was the effect small for Japanese speakers?

Q3. What does the passage say about the reason for the Japanese result?

重要単語

  • lip-readingB2
    名詞読唇(唇の動きを読むこと)Lip-reading helps in a noisy room. lip(唇)+ reading。動詞は lip-read。read lips「唇を読む」という言い方もある。
  • visual cueB2
    名詞(句)視覚の手がかりVisual cues make speech easier to follow. cue は「合図・手がかり」。発音は queue(列)と同じ /kjuː/。auditory cue「聴覚の手がかり」と対で使う。
  • integrateB2
    動詞統合するThe brain integrates sight and sound. integrate A with B「A を B と統合する」。名詞 integration。視聴覚統合 audiovisual integration は認知科学の頻出語。
  • mismatchB2
    名詞食い違い・不一致A mismatch between the lips and the voice creates an illusion. mis-(誤った)+ match。a mismatch between A and B の形で使う。
  • noiseA2
    名詞雑音It is hard to listen in noise. 形容詞 noisy。in noise「雑音の中で」は音声研究の定番表現。make (a) noise「音を立てる」。
  • auditoryC1
    形容詞聴覚のJapanese listeners relied mostly on auditory information. audio と同語源(aud- =聞く)。auditorium「講堂」も仲間。visual(視覚の)と対で覚える。
  • hypothesisB2
    名詞仮説One hypothesis points to cultural habits. 複数形は hypotheses。test a hypothesis「仮説を検証する」は研究英語の定番コロケーション。

動画でもっと知る

「バ」の音声に「ガ」の口の動きを重ねると「ダ」に聞こえる“マガーク効果”。ところが日本語話者は、静かな場所だとこの錯覚が起きにくいらしい。唇の情報をあまり使わない耳の持ち主かも。

押すと「マジかリスト」に保存されます

出典・参考文献(4件)タップで表示
  1. McGurk & MacDonald (1976) Hearing lips and seeing voices. Naturedoi.org
  2. Sekiyama & Tohkura (1991) McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility. The Journal of the Acoustical Society of Americadoi.org
  3. Sekiyama (1997) Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects. Perception & Psychophysicsdoi.org
  4. Sumby & Pollack (1954) Visual contribution to speech intelligibility in noise. The Journal of the Acoustical Society of Americadoi.org