حتما شما هم به هنگام تماشای فیلم های خارجی دوبله شده به زبان خودتان، متوجه ناهماهنگی صدایی که از دهان بازیگران خارج می شود و حرکات لب های آنان شده اید.

به بیان دیگر، مغز ما متوجه ناهماهنگی صدای موجود بر روی فیلم و حرکات لب بازیگران می شود.

اما می توان گاهی مغز را با وجود چنین آگاهی فریب داد. طبق اثری با نام McGurk، هنگامی که حرکات لب افراد دیده می شود مغز می تواند صداهای اشتباهی بشنود.

این اثر هنگامی دیده می شود که بین حرکات دهان و لب ها و صدایی که مخاطب می شنود تناقض دیده شود. و این موضوع ممکن است سبب ایجاد پیامی متفاوت با پیام اصلی شود.

هم اکنون عصب شناسان کالج پزشکی بیلر واقع در هوستون در پی یافتن علت بروز اثر McGurk دست به آزمایش هایی زده اند. طبق یافته هایی که در تاریخ 16 فوریه در مجله PLOS Cimutational Biology، منتشر شد؛ این محققان مدل هایی کامپیوتری طراحی کرده اند که تشخیص می دهد اثر McGurk چه زمان رخ می دهد و چه زمانی نباید رخ دهد.

در این آزمایش از شرکت کنندگان درخواست شد تا به هنگام گوش دادن به صدای فیلم ها چشمان خود را ببندند. در این فیلم فردی بود که صدای  ” با با با ” ایجاد می کرد. سپس پس از این مرحله بار دیگر این فیلم پخش شد و از شرکت کنندگان درخواست شد تا بار دیگر اما این بار با صدای بسته فیلم را تماشا کنند. این بار با توجه به حالت دهان فرد در فیلم، شرکت کنندگان احساس کردند که شدای “گا گا گا” تولید می شود. در مرحله آخر این آزمایش بار دیگر این فیلم با صدای بلند پخش شد و از شرکت کنندگان درخواست شد در حین پخش فیلم چشمان خود را نبندند. افرادی که تحت تاثیر McGurk قرار داشتند صدای ” دا دا دا” را شنیدند که این صدا شبیه به هیچکدام از دو صدای قبلی گزارش شده نبود.

این رخداد به این علت است که مغز سعی دارد آنچه به گوش می رسد را به صحیح ترین تلفظی که چشمان میبیند ارتباط دهد. به این صورت که پس از این مرحله اگر افراد بار دیگر چشمان خود را می بستند دوباره صدای “با با با” را می شنیدند.

این اثر اولین بار در آزمایشی که در سال 1976 به سرپرستی دو روانشناس با نام های هری مک گورک و جان مک دانلد صورت گرفت مشاهده شد. این بررسی نشان داد که حرکات لب و دهان می تواند در درک اصوات تاثیر گذار باشد.

طبق گفته ی جان مگناتی، محقق بخش عصب شناسی کالج بیلر، اثر McGurk، یک اثر با چند حسگر است. در این اثر مغز، اصوات شنیداری و دیداری( مانند حرکت لب ها و دهان) را دریافت کرده و کنار یکدیگر قرار می دهد.

وقتی مردم در موقعیت های رو در رو با یکدیگر قرار می گیرند و با یکدیگر صحبت می کنند مغز فعالیت های پیچیده ای را در جهت ارتباط دادن اصوات با حالات لب ها و دهان آغاز می کند.

در ادامه محققان اظهار داشتند مغز می تواند تشخیص دهد که صدای ایجاد شده و فردی که سخن می گوید آیا هر دو یک منبع مشترک دارند یا خیر. به بیان دیگر به همین خاطر است که به هنگام تماشای فیلم های دوبله شده به زبان دیگر مغز این موضوع را تشخیص می دهد در این مواقع مغز با دو مسئله درگیر است اول اینکه صدایی که بر روی فیلم قرار دارد و دوم اینکه حرکات لب و دهان فردی که در فیلم سخن می گوید با صدای موجود بر روی فیلم همخوانی ندارد.

با توجه به مدل کامپیوتری که این محققان طراحی کردند متوجه شدند که تمام افراد تحت تاثیر اثر McGurk قرار نمی گیرند. همچنین این مدل کامپیوتری با توجه به اینکه علاوه بر دانش آموزان آمریکایی بر روی دانش آموزان چینی نیز آزمایش شد، مشخص کرد که این مدل می تواند بر روی زبان هایی به جز زبان انگلیسی نیز نتیجه درستی را نشان دهد.

مگناتی اظهار داشت که این مدل می تواند کاربردهای عمومی بسیاری داشته باشد. برای مثال این مدل می تواند برای کمپانی های کامپیوتری مانند Google Home و Amazon Echo که از گفتار در برنامه های خود استفاده می کنند سودمند باشد. اگر چنین برنامه هایی با دوربین تلفیق شوند، دوربین ها با استفاده از پردازش حرکت لب و دهان می توانند به تشخیص هرچه بهتر کلمات کمک کنند. همچنین این مدل می تواند به افراد ناتوان همچون کودکانی که از ناحیه حلزونی گوش مشکل دارند کمک کند.