Alfabet mitów menedżerskich, czyli o pułapkach bezrefleksyjnego działania ebook

Copyright © by Gdańskie Wydawnictwo Psychologiczne, Sopot 2017.

Wszystkie prawa zastrzeżone. Książka ani żadna jej część nie może być przedrukowywana ani w żaden sposób reprodukowana lub odczytywana w środkach masowego przekazu bez pisemnej zgody Gdańskiego Wydawnictwa Psychologicznego.

Wydanie pierwsze 2017 rok

Redaktor prowadzący: Patrycja Pacyniak

Redakcja polonistyczna: Katarzyna Rojek, Patrycja Pacyniak

Korekta: zespół

Skład: Tojza

Projekt okładki: Monika Pollak

Zdjęcie na okładce: © Getty Images

ISBN 978-83-7489-717-4

Gdańskie Wydawnictwo Psychologiczne sp. z o.o.

ul. J. Bema 4/1a

81–753 Sopot

e-mail: [email protected]

www.gwp.pl

Skład wersji elektronicznej: Marcin Kapusta

konwersja.virtualo.pl

Zachęta dla Czytelnika

W nawale codziennych obowiązków rzadko mamy okazję zatrzymać się i poddać swoją pracę refleksji. Menedżerowie, trenerzy i konsultanci oraz inni specjaliści funkcjonujący w świecie biznesu często opierają swoje działania na osobistym doświadczeniu. Czasami takie podejście się sprawdza, a niekiedy zawodzi. Jesteśmy jednak wprost bombardowani koncepcjami dotyczącymi zarządzania i praktyk biznesowych. Co pewien czas pojawiają się nowi guru głoszący odkrywcze albo wręcz rewolucyjne idee. Po kilku latach idee te są weryfikowane przez życie albo przez systematyczne badania. Zdarza się też nierzadko, że nowe koncepcje to nic innego jak „stare wino w nowych beczkach”, czyli ładnie opakowane marketingowo pomysły sprzed kilkudziesięciu lat. W organizacjach mamy niejednokrotnie do czynienia z nieporozumieniami lub wręcz z chaosem. U podstaw niektórych praktyk leżą błędne koncepcje lub różnego rodzaju mity. Dlatego właśnie potrzebna jest solidna baza, na której menedżerowie i inne osoby odpowiedzialne za osiąganie celów biznesowych mogliby oprzeć swoje działania.

Od kilkudziesięciu lat nurt oparty na dowodach jest coraz popularniejszy w zarządzaniu ludźmi, w szkoleniach i w doradztwie. Jego istotą jest weryfikacja działań w biznesie przez pryzmat możliwie najsilniejszych dowodów. Z pomocą przychodzą tutaj badania naukowe, które rozstrzygają, co jest bardziej, a co mniej skuteczne. Niekiedy systematyczna obserwacja praktyki poddana wnikliwej analizie prowadzi do zaskakująco ciekawych wniosków. W podejściu opartym na dowodach konieczne jest zatem połączenie otwartości na nowe idee z krytycznym myśleniem.

W naszej książce prezentujemy wiele mitów dotyczących zarządzania, strategii, prowadzenia szkoleń i innych działań biznesowych. Być może u niektórych wzbudzi to opór związany z osobistymi doświadczeniami. Mamy nadzieję, że po chwili wzburzenia pojawi się jednak refleksja nad efektywnością różnych praktyk. Zapraszamy zatem Czytelnika do ostrzenia siekiery.

A jak atrakcyjna prezentacja

Spotkania firmowe oraz szkolenia, na których królują prezentacje wykonane w PowerPoincie lub innych programach komputerowych, są powszechną praktyką różnych organizacji biznesowych. Trudno sobie wyobrazić zebranie bez rzutnika strzelającego serią slajdów. Menedżerowie, pracownicy i trenerzy wydają się wprost uzależnieni od programów prezentacyjnych i nie wyobrażają sobie innej formy prowadzenia spotkania lub krótkiego szkolenia. Bodaj najbardziej kuriozalnym sposobem wykorzystania takich programów jest traktowanie ich jako „opakowania” tekstu do przeczytania: odwrócony w stronę ekranu prezenter odczytuje ze slajdów definicje, dane, wnioski czy inne elementy. Kolejny błąd wiąże się z nadmiarem treści. Osoby przygotowujące prezentacje często obawiają się pominięcia ważnych informacji, w związku z czym tworzą bardzo wiele slajdów z definicjami, opisami czy danymi. Dla typowego odbiorcy przetworzenie tylu informacji jest po prostu niemożliwe. W tym przypadku można zresztą zaobserwować ciekawy efekt psychologiczny. Osoba, która przygotowuje taką prezentację, sama nie byłaby w stanie objąć poznawczo wszystkich zawartych w niej treści, ale wierzy, że odbiorcy wystąpienia są w stanie tego dokonać. Tymczasem aparat poznawczy każdego człowieka jest ograniczony i nie może przetworzyć za wielu informacji w krótkim czasie. Z kolei odbiorcy nie chcą przyznać się do tego, że nie zrozumieli lub nie zapamiętali niektórych elementów. W ten sposób powstaje fikcja efektywnej prezentacji, a wszyscy uczestnicy spotkania, z prezentującym włącznie, mają poczucie udziału w profesjonalnym wydarzeniu. Taki efekt może wzmacniać pozytywna informacja zwrotna przekazana przez szefa, który ocenia wkład pracy, zawartość merytoryczną, a także atrakcyjność prezentacji. Krótko mówiąc: autorytet przełożonego potwierdza wówczas nieefektywne praktyki.

Przytoczone przykłady stanowią dosyć oczywiste błędy w prezentacjach, zauważane przez uczestników zebrań, spotkań i szkoleń. Ale refleksje Ewy opisanej na początku rozdziału nie są tylko przykładem reakcji zdegustowanego pracownika dużej firmy mającego poczucie straty czasu. Źle przygotowana prezentacja ma bardzo konkretne negatywne skutki biznesowe. Załóżmy, że w zebraniu trwającym dwie godziny uczestniczy kilkanaście osób zajmujących stanowiska menedżerskie. Mnożąc liczbę osób przez dwa (dwie godziny) i przez godzinową stawkę wynagrodzenia menedżera, uzyskamy całkiem pokaźną kwotę. W ciągu miesiąca takich nieefektywnych zebrań może być bardzo dużo. Dodatkowo osoba przygotowująca prezentację poświęca sporo czasu na zebranie wszystkich potrzebnych informacji i dopracowanie elementów decydujących o wizualnej atrakcyjności slajdów. Ten czas także jest kosztem. Podobne problemy występują podczas szkoleń opartych na prezentacjach. Wiele szkoleń produktowych polega na omawianiu treści przedstawionych na slajdach. Uczestnicy nie są w stanie przyswoić przekazywanych informacji, ponieważ tych jest zbyt wiele. Przedstawianie w krótkim czasie mnóstwa danych prowadzi do tego, że szkolenie jest mało efektywne, natomiast osoby biorące w nim udział są sfrustrowane. Na szczęście wiele organizacji biznesowych dostrzega te najbardziej typowe błędy i stara się ich unikać. Prezentacje zawierają jednak znacznie więcej elementów sprzecznych z wiedzą o uczeniu się ludzi, które nie są tak łatwo dostrzegalne.

Jedną z przyczyn błędów w prezentacjach biznesowych jest brak rzetelnej wiedzy na temat prawidłowości odbioru i przetwarzania informacji przez człowieka. Od końca lat dziewięćdziesiątych XX wieku prowadzone są badania nad zasadami, które powinny leżeć u podstaw prezentacji i ogólnie przekazywania wiedzy. Psychologowie Richard E. Mayer i Roxana Moreno zaproponowali teorię multimedialnego uczenia się, która wyjaśnia sposób przyswajania informacji w rzeczywistości biznesowej i edukacyjnej. Autorzy przeprowadzili szereg eksperymentów sprawdzających założenia tej teorii, a następnie sformułowali użyteczne zasady przekazywania wiedzy i uczenia się za pomocą prezentacji. U podstaw koncepcji Mayera i Moreno (2003) leżą następujące założenia:

• ludzie posiadają dwa odrębne systemy do przetwarzania informacji, pierwszy dotyczy materiału werbalnego, drugi – obrazowego;

• oba systemy mają ograniczoną pojemność wyznaczoną ilością informacji przetwarzanych w danym czasie;

• uczenie się zakłada przetwarzanie i łączenie ze sobą danych pochodzących zarówno z kanału werbalnego, jak i z obrazowego.

Na podstawie zaproponowanej przez siebie teorii wspomniani badacze postawili bardzo konkretne hipotezy, które następnie zweryfikowali empirycznie. Wszystkie dotyczyły zjawiska zwanego przeciążeniem czy też przeładowaniem poznawczym, występującego wówczas, gdy ilość informacji przekroczy pojemność jednego lub obydwu systemów przetwarzania. Konsekwencjami przeładowania poznawczego są słabsze przyswajanie informacji i gorsze uczenie się. Większość błędów w prezentacjach biznesowych i dydaktycznych dotyczy właśnie tego zjawiska. Cykl badań wykonanych przez Mayera i Moreno oraz ich zespół miał charakter eksperymentów, w których jedna grupa uczyła się czegoś w sposób typowy dla praktyki biznesowej, a druga – tego samego w sposób uwzględniający wiedzę na temat przetwarzania informacji przez ludzi. Następnie sprawdzano poziom transferu zdobywanej wiedzy, a więc umiejętność wykorzystania jej do rozwiązywania różnych problemów. Dzięki temu badacze opisali szereg ciekawych i nieoczywistych prawidłowości. W kolejnych akapitach prezentujemy w praktyczny sposób odkrycia, których dokonali, oraz użyteczne rady wynikające z tych odkryć.

Wyobraźmy sobie, że pracownicy pewnej firmy są szkoleni z obsługi jakiegoś nowego urządzenia. Aby ułatwić przyswojenie tych treści, stworzono prezentację zawierającą film instruktażowy. Na ekranie widać poszczególne części urządzenia, które współdziałają ze sobą; na dole znajdują się napisy informujące o tym, co przedstawia obraz. Osoba, która uczy się działania nowego urządzenia, musi przenosić uwagę z obrazu na tekst. W obu przypadkach zaangażowany jest kanał obrazowy, co powoduje jego przeciążenie. Dzięki badaniom przeprowadzonym przez Mayera i Moreno (1998) okazało się, że efektywność takiego przyswajania wiedzy nie jest wysoka. Zgodnie z teorią multimedialnego uczenia się należałoby odciążyć kanał obrazowy na rzecz werbalnego. Można to zrobić poprzez zamianę napisów na słowo mówione (narrację). I rzeczywiście, eksperymentalne badania autorów pokazały, że połączenie obrazu z tekstem czytanym daje lepsze efekty, jeśli chodzi o przyswajanie wiedzy, niż połączenie obrazu z napisami. Przedmiotem uczenia się była wiedza na temat burzy jako zjawiska atmosferycznego. Gdy filmowi towarzyszyły napisy, wówczas uczestnicy eksperymentu rozumieli to zjawisko słabiej niż wtedy, kiedy filmowi towarzyszył nagrany głos. Zabieg polegający na zamianie informacji obrazowej na werbalną zapobiegł przeciążeniu poznawczemu. Mamy więc empiryczne uzasadnienie prostej i użytecznej rady:

Drugi przykład ilustruje sytuację, w której z pozoru uniknięto błędu opisanego wyżej. Oto mamy prezentację biznesową tłumaczącą jakiś mechanizm, na przykład skomplikowany produkt bankowy. Oprócz materiału obrazowego, pokazującego przepływy pieniędzy między bankiem, jego klientem instytucjonalnym i kolejnymi odbiorcami, osoba prezentująca wyjaśnia słownie zasady działania produktu. Produkt jednak jest nowy i bardzo złożony, co powoduje, że wielu uczących się nie może nadążyć z przetworzeniem oraz integracją informacji. Przeładowanie poznawcze nastąpiło więc jednocześnie w systemach obrazowym i werbalnym. W eksperymentach wykonanych przez Richarda E. Mayera i Paula Chandlera (2001) jedna grupa przyswajała wiedzę w opisany sposób, a drugiej robiono przerwy po przedstawieniu kolejnych porcji wiadomości. Mimo że materiał był dokładnie taki sam i tak samo prezentowany, grupa pracująca z przerwami opanowała go znacznie lepiej i potrafiła sprawniej wykorzystać w nowych sytuacjach. W tym przypadku nie tylko nastąpiło przeładowanie obu systemów, ale także pojawiła się trudność z integrowaniem całego materiału. Przerwy dały uczestnikom szkolenia możliwość ugruntowania dotychczasowej wiedzy i przejścia do kolejnego etapu jej przyswajania. Druga rada brzmi więc:

W warunkach prezentacji biznesowej lub szkoleniowej nie zawsze jednak możliwe jest robienie przerw, aby odbiorcy mieli szansę skonsolidować w umyśle przetwarzany materiał. Dlatego też zaleca się jeszcze jeden sposób radzenia sobie z przeciążeniem poznawczym dotyczącym obu kanałów, szczególnie w kontekście szkoleniowym. Polega on na wstępnym treningu przed właściwą prezentacją. Wyobraźmy sobie, że celem szkolenia jest opanowanie działania jakiegoś urządzenia składającego się z kilku powiązanych ze sobą części. W badaniach Mayera i Moreno (2003) chodziło o działanie układu hamulcowego w samochodzie. Trening przed prezentacją polegał na zapoznaniu uczestników z poszczególnymi elementami systemu, lecz nie z całością mechanizmu. Osobom uczącym się najpierw pokazywano tłoki, potem hamulce i inne części układu. Okazało się, że znajomość części składowych znakomicie ułatwia zrozumienie funkcjonowania całego systemu. Nasz aparat poznawczy nie musi bowiem wówczas przetwarzać jednocześnie danych na temat poszczególnych elementów i na temat ich powiązań. Jeśli mamy wiedzę o poszczególnych częściach, to możemy skoncentrować dostępne zasoby na analizie mechanizmu. System poznawczy nie jest wtedy przeciążony. Wyniki tego badania okazują się szczególnie przydatne w kontekście szkoleń. Oczywiste zastosowanie widać w firmach produkcyjnych, których pracownicy poznają działanie złożonych maszyn czy systemów. Podobnie jest w innych rodzajach organizacji. W instytucjach finansowych tworzy się nowe produkty, których zrozumienie wymaga znajomości bardziej podstawowych pojęć. W firmach informatycznych powstają nowe systemy, których opanowanie ułatwia wcześniejsza znajomość komponentów owych systemów. Osoby prowadzące takie szkolenia mogą zatem wcześniej wysłać uczestnikom coś w rodzaju słownika pojęć lub listę zawierającą wykaz elementów, których zrozumienie ułatwi osiągnięcie celu szkoleniowego. Innym rozwiązaniem jest podzielenie szkolenia na dwie części. Pierwsza dotyczy wówczas rozumienia pojęć lub działania poszczególnych elementów, a druga – funkcjonowania całego mechanizmu. Tak więc:

Kolejny przykład błędu jest typowy zwłaszcza dla prezentacji biznesowych. Podczas spotkania czy ważnego wystąpienia prelegent ma silną motywację, aby prezentacja była szczególnie atrakcyjna dla odbiorców. W związku z tym przygotowuje treść i pracuje nad możliwie najciekawszą formą. Slajdy w programie PowerPoint zawierają wówczas animacje, dowcipne obrazki i inne elementy mające zrobić wrażenie na odbiorcy. W efekcie oprócz informacji merytorycznych uczestnicy prezentacji są bombardowani dodatkowymi bodźcami. Całość wywołuje przeciążenie poznawcze z powodu przeładowania systemu obrazowego nadmiarowymi elementami. Jeśli prezentacja zawiera obrazkowe dowcipy związane z tematem, to od pewnego momentu zamiast przyciągać uwagę słuchaczy – skupia ją na tych obrazkach. Niewielka liczba takich elementów urozmaica prezentację, większa zaś dezorganizuje przekaz. Uczestnicy prezentacji, którzy już kilka razy zobaczyli dowcipny rysunek, oczekują pojawienia się następnego, przy czym przestają się koncentrować na meritum. W niektórych prezentacjach narracji towarzyszy też dyskretna muzyka. W zamierzeniu ma ona zwiększyć atrakcyjność przekazu, w rzeczywistości jednak rozprasza uwagę i osłabia percepcję treści. Niebezpieczeństwo takiej praktyki polega na tym, że niektórzy uczestnicy rzeczywiście podkreślają atrakcyjność przekazu, co utwierdza prezentującego w błogim przekonaniu o dobrze wykonanej pracy. Forma przerosła treść, z prezentacji niewiele wynika, ale większość osób jest zadowolona. Mamy zatem kolejną radę:

W niektórych prezentacjach po prostu trzeba zawrzeć złożone informacje wraz z elementami graficznymi. Dotyczy to sytuacji, w których należy wyjaśnić działanie jakiegoś urządzenia czy mechanizmu. Patricia D. Mautone i Richard E. Mayer (2001) testowali dwa sposoby prezentowania materiału zawierającego dużo złożonych treści połączonych z bogatą ilustracją graficzną, która mogła powodować przeciążenie poznawcze. W tym przypadku chodziło o opisanie mechanizmu siły nośnej samolotu. Jedna prezentacja zawierała informacje oraz bogatą animację ilustrującą ten mechanizm. Druga była taka sama, ale dodatkowo wprowadzono różnego rodzaju ułatwienia w postaci strzałek, podkreśleń, pogrubień, jak również wskazania, który to etap prezentacji (tzw. mapa prezentacji). Jak łatwo przewidzieć, nawet skomplikowany treściowo materiał o bogatej formie był lepiej przyswajany, gdy zawierał ułatwienia. Autorzy nazywają te środki sygnalizatorami. Biorąc pod uwagę możliwości programów do prezentacji, tego typu wskazówki są prostym i dostępnym narzędziem. Wynika z tego następne zalecenie:

Kolejny rodzaj przeładowania poznawczego związany jest z bardzo subtelnym efektem. Wyobraźmy sobie prezentację, która zawiera animację lub obrazki i odpowiadający im treściowo tekst. Animacja jest umieszczona na górze slajdu, a tekst na samym dole. W takiej sytuacji odbiorca przekazu czyta fragment tekstu i przenosi wzrok na animację (obraz). Wielokrotna operacja przeskakiwania z jednego źródła na drugie przeciąża umysł. W eksperymencie wykonanym przez Moreno i Mayera (1999) jednej grupie prezentowano slajdy, na których na górze znajdowała się animacja, a na dole odnoszący się do niej tekst. Na slajdach pokazywanych drugiej grupie animacja i tekst znajdowały się tuż obok siebie. Materiał prezentacji został lepiej przyswojony przez drugą grupę. Miarą efektywności uczenia się było rozwiązywanie problemów na podstawie przyswojonej wiedzy. Jeśli przyjrzeć się prezentacjom zawierającym materiał obrazowy i napisy, to zdecydowanie częściej napisy znajdują się na dole ekranu – bez względu na to, gdzie jest materiał obrazowy. Jak widać, ta niepisana reguła może zmniejszać dydaktyczny efekt prezentacji. Sformułujmy zatem następne zalecenie:

Zdarza się, że osoby przygotowujące prezentacje szkoleniowe chcą dotrzeć do odbiorców różnymi drogami, ponieważ zakładają, że w taki sposób zwiększą skuteczność przekazu. Jedną z możliwości jest przygotowanie prezentacji zawierającej animacje, narracje i napisy. W zasadzie podejście zakładające zróżnicowanie sposobów docierania do odbiorców jest słuszne. Niemniej z perspektywy teorii multimedialnego uczenia się dobre intencje przynoszą niekiedy odwrotny efekt, ponieważ powodują przeciążenie poznawcze (narracja i napisy). Osoba uczestnicząca w takiej prezentacji angażuje się w czytanie tekstu i uzgadnianie go z narracją. Kosztem takiego wysiłku okazuje się zmniejszenie uwagi poświęcanej animacji, która często stanowi najważniejszy element. Aby sprawdzić prawdziwość tego rozumowania, Moreno i Mayer (2002) przeprowadzili kilka eksperymentów. Jedna grupa badanych zapoznawała się z materiałem przekazywanym trzema kanałami (animacja, narracja i tekst), a druga – z materiałem tylko w postaci animacji i narracji. Zgodnie z przewidywaniami oszczędniejsza forma prezentacji dała lepszy efekt w postaci sprawniejszego zastosowania nabytej wiedzy w adekwatnych sytuacjach problemowych. Tak więc:

Zasady sformułowane przez Moreno i Mayera dotyczą szczegółowych aspektów przygotowywania prezentacji i zostały bardzo dobrze zweryfikowane empirycznie. Znajdują zastosowanie głównie w sytuacjach, w których celem prezentacji jest zdobycie wiedzy przez uczestników. Czasami jednak najważniejszym celem jest zainteresowanie odbiorców jakimś zagadnieniem lub wpłynięcie na ich postawy. Takie prezentacje powinny się znacznie różnić od tradycyjnych prezentacji skupionych wokół informacji. Wzorami wystąpień służących zainteresowaniu ludzi jakimś pomysłem, ideą czy koncepcją są wykłady w portalu TED. Wybitne postaci z różnych dziedzin życia – od kultury poprzez działalność społeczną po różne dyscypliny naukowe – prezentują w ciągu kilkunastu minut to, co jest przedmiotem ich zainteresowań lub pracy. Bardzo wiele tych prezentacji multimedialnych stanowi oszczędną ilustrację tego, co mówią prelegenci. Kiedy naukowiec opowiada o swoich badaniach, prezentacja nie zawiera definicji, tabel, wykresów ani innych informacji, tylko obrazek ilustrujący te badania lub jedno zdanie podsumowania. Gdy dyrygent opowiada o sposobach prowadzenia orkiestry jako inspiracji w zarządzaniu ludźmi, wówczas pojawiają się krótkie fragmenty utworów wykonanych pod kierunkiem wybitnych kapelmistrzów. PowerPoint lub inny program służy do tego, by wspomóc prelegenta w wywarciu wpływu na publiczność i pomóc tej ostatniej zapamiętać przesłanie. W wystąpieniach nastawionych na wzbudzenie zainteresowania i oddziaływanie na postawy ważną rolę odgrywają emocje. Dlatego też prezentacje multimedialne powinny zawierać elementy służące wzbudzaniu emocji.

Powszechne w biznesie wykorzystanie prezentacji multimedialnych znacząco zmieniło wystąpienia i szkolenia biznesowe. Te zmiany jednak nie zawsze idą w dobrym kierunku. PowerPoint jest niekiedy wykorzystywany jako tarcza, za którą kryje się osoba prezentująca. Nagromadzenie informacji i innych elementów przesłania to, co w przypadku prezentacji jest najistotniejsze – osiągnięcie celu w sferze wiedzy lub w sferze postaw. Osoby przygotowujące prezentacje koncentrują się na możliwościach programów multimedialnych kosztem realizacji tego zadania. Atrakcyjność niejednokrotnie staje się celem samym w sobie. U podstaw takich praktyk leżą zarówno czynniki psychologiczne, jak i brak wiedzy na temat zasad przyswajania informacji przez człowieka. Z psychologicznego punktu widzenia prezentacja multimedialna może zaspokajać szereg potrzeb. Jedną z nich jest pokazanie własnej wyjątkowości, chęć wyróżnienia się. Z tej perspektywy patrząc, można uznać, że twórca prezentacji przygotowuje ją bardziej dla siebie niż dla innych. Inną psychologiczną przyczyną błędów w prezentacjach jest przekonanie, że im więcej zostanie pokazane, tym więcej zostanie w umysłach odbiorców. Tymczasem zakres pamięci krótkotrwałej jest ograniczony, co uniemożliwia przyswajanie treści przeładowanych prezentacji. Wystarczy zmiana tego błędnego przekonania, by odchudzić przekaz, czyniąc go bardziej strawnym dla większości ludzi. Gdy ograniczenia psychologiczne już zostaną przezwyciężone, wówczas pozostaje skorzystać z rzetelnych informacji na temat działania umysłu w procesie przyswajania wiedzy. Prawidłowości zbadane przez Richarda E. Mayera i Roxanę Moreno oraz ich zespół stanowią cenne wskazówki dla osób przygotowujących prezentacje w środowisku biznesowym i nie tylko.

Literatura

Mautone, P. D., Mayer, R. E. (2001). Signaling as a cognitive guide in multimedia learning. Journal of Educational Psychology, 93, 377–389.

Mayer, R. E., Chandler, P. (2001). When learning is just a click away: Does simple user interaction foster deeper understanding of multimedia messages? Journal of Educational Psychology, 93, 390–397.

Mayer, R. E., Heiser, J., Lonn, S. (2001). Cognitive constraints on multimedia learning: When presenting more material results in less understanding. Journal of Educational Psychology, 93, 187–198.

Mayer, R. E., Mathias, A., Wetzell, K. (2002). Fostering understanding of multimedia messages through pre-training: Evidence for a two-stage theory of mental model construction. Journal of Experimental Psychology: Applied, 8, 147–154.

Mayer, R. E., Moreno, R. (1998). A split-attention effect in multimedia learning: Evidence for dual processing systems in working memory. Journal of Educational Psychology, 90, 312–320.

Mayer, R. E., Moreno, R. (2003). Nine ways to reduce cognitive load in multimedia learning. Educational Psychologist, 38, 43–52.

Moreno, R., Mayer, R. E. (1999). Cognitive principles of multimedia learning: The role of modality and contiguity. Journal of Educational Psychology, 91, 358–368.

Moreno, R., Mayer, R. E. (2002). Verbal redundancy in multimedia learning: When reading helps listening. Journal of Educational Psychology, 94, 156–163.