Monimuotoisuus ja multimodaalisuus ihmisten kohtaamisissa

Multimodaalisuutta (engl. Multimodality) on tutkittu monenlaisista näkökulmista eri tieteenalojen keinoin. Tarkastelen tässä kirjoituksessa multimodaalisuutta ilmiönä ja käsitteenä. Pohdin, miten multimodaalisuus ja monimuotoisuus liittyvät toisiinsa ihmisten välisissä kohtaamisissa. Käsittelen lisäksi, miten ymmärryksemme, mielikuvamme ja tietomme maailmasta rakentuvat vuorovaikutustilanteissa kielen ja muiden ilmaisutapojen välityksellä.

Havaintomme maailmasta

Me ihmiset havainnoimme maailmaa moniaistisesti: näemme, kuulemme, kosketamme, haistamme, maistamme asioita. Aistimme kehollisesti myös muun muassa liikettä, painetta, lämpöä, kipua. Näin ollen koemme maailmaa multimodaalisena, sillä havainnoimme todellisuutta erilaisten aistikanavien yhdistelmien kautta. Tämä tarkoittaa, että muodostamme tulkintojamme ja päätelmiämme tarkastelemalla moniulotteisesti kaikkea, mitä ympärillämme on. Multimodaalisuus ei siis rajoitu pelkästään vuorovaikutukseen. Psykologi Jaakko Seikkulan (2001) mukaan ”todellisuus on sosiaalinen rakennelma, joka rakennetaan vuorovaikutuksen osallistujien väliin”. Neurologi Katri Saarikivi (2023) taas muistuttaa kolumnissaan Anil Sethin (2022) kirjassa esitetystä ajatuksesta siitä, että ”todellisuus on ne harhat, joista olemme samaa mieltä”.

Multimodaalisuuden käsitteestä

Multimodaalisuus on kahden viime vuosikymmenen aikana käyttöön otettu ja kehitetty käsite, jonka tarkoituksena on ottaa huomioon kaikki keinot ja kanavat, joita viestinnässä käytetään merkityksen ilmaisemiseen. Englanninkielistä termiä (Multimodality) käytetään sekä kuvaamaan inhimilliseen toimintaan liittyvää ilmiötä että määrittelemään monipuolista ja kasvavaa tutkimusalaa. Vastaavan suomenkielisen termin (multimodaalisuus) merkitys on tätä suppeampi, sillä suomeksi multimodaalisuudella viitataan vain ilmiöön, ei sen tutkimukseen. (Mikkonen 2012.)

Suppeammin multimodaalisuus tarkoittaa jonkin ilmiön, kuten esimerkiksi vuorovaikutustilanteen tai merkityssisällön (tekstin, esityksen, puheenvuoron yms. viestin) monimuotoisuutta ja monikanavaisuutta. Ihmisten välistä kanssakäymistä ajatellen multimodaalisuudella tarkoitetaan nimenomaan ilmaisullista monimuotoisuutta ja monikanavaisuutta.

Multimodaalisuus määrittelee terminä kentän, jolla semioottinen työ tapahtuu. Se rajaa tarkasteltavan alueen antamalla kuvauksen sen tilasta ja resursseista, jotka tavalla tai toisella vaikuttavat merkitykseen. Multimodaalisuuden mukaan kieli on vain yksi monista resursseista, joilla merkityksiä luodaan. (Kress & Bemezer 2023.)

Monimuotoisuutta ja multimodaaalisuutta renesanssiajan koodeksissa Kuva: Bibliotecha Corvina Virtualis.

Multimodaalinen viestintä

Viestinnän ilmiönä multimodaalisuus tarkoittaa erilaisten semioottisten resurssien eli moodien yhdistelmien avulla tuotettujen merkityssisältöjen ilmaisemista teksteissä ja viestinnällisissä kanssakäymisissä. Yksinkertaistettuna multimodaalinen viesti koostuu monesta eri merkkijärjestelmästä eli moodista, joista voidaan puhua myös semioottisina resursseina. (Kaindl 2013; Pihkala-Posti 2014.)

Merkityksiä voidaan luoda esimerkiksi liikkumattoman ja liikkuvan kuvan, puheen, kirjoituksen, layoutin eli asettelun, eleiden, katseen, kosketuksen, tilaan sijoittumisen, etäisyyden ja muiden vastaavien semioottisten resurssien välityksellä. Tutkimusalueena multimodaalisuuden tutkimus pyrkii kehittämään teorioita, analyysivälineitä ja kuvauksia, jotka lähestyvät representaation ja kommunikaation tutkimusta tarkastelemalla moodeja ja niiden käyttöä sääteleviä periaatteita. (Tuominen, Hirvonen, Ketola, Pitkäsalo & Isolahti 2016.)

Vuorovaikutuksessa aktivoidaan kyseiseen tilanteeseen, diskurssiin ja kontekstiin sopivia, erilaisten moodien tarkoituksenmukaisista kombinaatioista koostuvia kielellisiä ja ei-kielellisiä resursseja. Multimodaalisuus kattaa siis kielen lisäksi myös muiden semioottisten järjestelmien (eleet, ilmeet, kuvat, äänet, musiikki yms.) läsnäoloa ja vaikutusta tietyssä kontekstissa ja diskurssissa.

Multimodaalisuus on monimuotoista

Multimodaalisuudesta on tapana käyttää arkipuheessa ja termiä selittäessä suomenkielistä synonyymiä monikanavaisuus, mutta terminologian tasolla se ei ole riittävän hyvä vastine tälle käsitteelle. Onko siis kyse viestinnän kanavista vai semioottisista resursseista vai mistä? Ovatko moodit merkityksen rakentamista mahdollistavia toimintaperiaatteita, viestintäkanavia vai kommunikaatiossa aktivoituvia semioottisia resursseja? Onko oikein puhua moodeista vai modaliteeteista?

Multimodaalisuus tarkoittaa joka kertaa hieman eri asiaa, kun tarkastelemme sitä erilaisista näkökulmista. Vuorovaikutuksen multimodaalisuutta ajatellen kysymys on toisaalta siitä, miten me ihmiset pyrimme siihen, että meitä ymmärretään, nähdään ja kuullaan, mutta myös siitä, miten me voimme jakaa kokemuksiamme ja tulkintojamme todellisuudesta. Tulkintoja ja merkityksiä luodaan juuri vuorovaikutuksen kautta. Vuorovaikutus on aina multimodaalinen, sillä ihmisen aistein on myös maailma kaikissa monimuotoisuudessaan multimodaalinen.

Lähteet:

Kaindl, Klaus 2013. Multimodality and translation. In C. Millán, & F. Bartrina (Eds.), The Routledge Handbook of Translation Studies (257–269). London: Routledge.

Kress, Gunther & Bezemer, Jeff 2023. Multimodal discourse analysis. In Michael Handford, James Paul Gee (Eds.) 2023. The Routledge Handbook of Discourse Analysis. Second edition. Routledge.

Mikkonen, Kai 2012. Multimodaalisuus ja laji. In Mäntynen, Anne, Susanna Shore ja Anna Solin (toim.) 2012. Genre – tekstilaji. Helsinki: Suomalaisen Kirjallisuuden Seura.

Pihkala-Posti, Laura 2014. Kuva, sana, puhe ja liike multimodaalisen kielenoppimistilan elementteinä. In Höglund, Mikko; Kakko, Tommi; Miettinen, Mervi; Parviainen, Hanna; Rickman, Paul (toim.) Word and Image: Theoretical and Methodological Approaches. Tampere Studies in Language, Translation and Literature: B2, 195-213.

Saarikivi, Katri 2023. Et tunne itseäsi – minäkuvasi on vain aivojen tuottama hallittu harha. Kolumni. Yle uutiset. Katri Saarikiven kolumni: Et tunne itseäsi – minäkuvasi on vain aivojen tuottama hallittu harha | Kolumnit | Yle

Seikkula, Jaakko 2001. Realismi, relativismi ja sosiaalinen konstruktionismi. Onko todellisuus olemassa vai onko se kielen konstruktio. Psykologia, 36(6), 376-382.

Seth, Anil 2022. Sinuna Oleminen: Uusi Tietoisuuden Tiede. Terra Cognita 2022, 135.

Tuominen, Tiina, Hirvonen, Maija, Ketola, Anne, Pitkäsalo, Eliisa & Isolahti, Nina 2016. Katsaus multimodaalisuuteen käännöstieteessä. In Pitkäsalo, E. & Isolahti, N. (toim.) Kääntäminen, tulkkaus ja multimodaalisuus. Menetelmiä monimuotoisten viestin tutkimiseen. Tampere Studies in Language, Translation and Literature: B3. Tampere: Tampereen yliopisto, s. 11-21.