재인방식을 통한 틀린인출시도가 추후의 기억에 미치는 영향

1. 서 론

시험은 주로 두 가지 목적을 위해 수행된다. 먼저, 학습의 결과를 평가하기 위해 시험을 사용할 수 있다. 이는 대부분의 사람들이 직관적으로 떠올릴 수 있는 시험의 목적으로, ‘결과’로서의 시험을 일컫는다. 예를 들어, 학생들에게 실시하는 중간고사, 기말고사, 대입을 위한 대학수학능력시험, 공무원 채용을 위한 시험 등이 이에 속한다.

반면 학습방법의 일종으로써 시험이 사용되기도 한다. 이는 대부분의 사람들이 일상적으로 사용하는 방식의 시험이지만 스스로는 시험이라 지각하지 못하는 경우가 다수인 ‘과정’으로서의 시험을 말한다. 예를 들어, 지금 복용해야 할 알약의 개수가 몇 개인지 스스로에게 물어보고 그에 대한 답을 찾는 것 역시 학습방법으로서의 시험이다. 이때 알약의 개수가 몇 개인지에 대해 맞는 답을 떠올릴 경우 그에 대한 기억은 좀 더 효과적으로 오래 지속될 수 있다. 정확한 개수가 떠오르지 않더라도 추후 처방전이나 약 포장지를 통해 올바른 정보를 얻게 되고, 그 정보에 대한 기억을 다시금 확립할 기회를 얻게 된다. 이처럼 시험이라는 학습방법을 통해 추후의 기억이 향상되는 현상을 시험의 기억촉진효과, 즉 ‘시험효과(testing effect)’라 부른다(Gates, 1917; 이영창, 2017에서 재인용).

시험효과에 대한 대다수의 선행연구들은 시험을 통한 학습이 추후의 기억에 긍정적인 영향을 미치는 것으로 보고하고 있다(Carrier & Pashler, 1992; Cuddy & Jacoby, 1982; Glover, 1989; Jacoby, 1978; Izawa, 1970; McDaniel, Roediger & McDermott, 2007; Pressley, Tanenbaum, McDaniel & Wood, 1990; Roediger & Karpicke, 2006a, 2006b; Rothkopf, 1966; Tulving, 1967; Whitten & Bjork, 1977). 즉 기억할 내용을 단순히 반복하는 것보다 시험이라는 학습과정을 거쳤을 때 추후의 기억이 향상된다는 것이다.

이러한 시험효과는 시험의 결과에 따라 그 양상이 달라질 수 있다. 시험 결과 정답을 인출한 경우와 오답을 인출한 경우는 앞으로 기억해야할 내용에 대해 부호화하는 과정과 그 과정에서 유입되는 정보의 양과 질 모두에서 차이가 있기 때문이다. 즉 학습 과정으로써의 시험에서 참가자가 인출한 답이 정답인지 오답인지에 따라 추후 기억수준에 차이가 발생할 수 있다는 것이다. 이를 구분하여 시험효과를 살펴본 선행연구들은 올바른 인출을 한 경우에 대해서는 일관성 있게 시험효과가 발생한다고 보고하고 있다(Butler & Roediger, 2007; Karpicke & Roediger, 2008; Roediger & Karpicke, 2006a, 2006b).

그러나 틀린인출에 의한 시험효과에 대해서는 아직까지 일관된 결과가 나타나지 않고 있다. 몇몇 선행연구들은 틀린인출이 일어날 경우 추후 시험효과가 발생하지 않는다고 보고하고 있다(Cunningham & Anderson, 1968; Guthrie, 1952; Schooler, Foster & Loftus, 1988). 예를 들어, Knight, Ball, Brewer, DeWitt, 그리고 Marsh(2012)는 의미적 연관성이 없는 단어쌍을 학습할 때 학습과정에서 단어 쌍을 단순히 읽도록 한 시행과 답을 추측하여 틀린 정보를 인출한 시행을 비교하였다. 그 결과, 학습 과정에서 단순히 읽어서 학습한 조건에 비해 답을 추측하여 틀린 정보를 인출한 조건에서 정확기억률이 더 낮은 것으로 나타났다. 즉, 틀린인출의 경우에는 시험의 수행이 추후의 기억에 도움이 되지 않으며, 오히려 올바른 정보의 부호화 혹은 인출과정을 방해할 수 있음을 시사한다. 반면에 Kornell, Hays 그리고 Bjork(2009)은 허구로 제작된 일반 상식질문, 단어쌍 등을 기억재료로 이용하여 틀린인출의 시험효과를 검증하였다. 그 결과 기억재료를 단순히 읽어서 학습한 집단에 비해 틀린인출을 시도한 집단의 정확기억률이 더 높은 것으로 나타났다.

한편, 시험이 정보의 인출과정이라는 점을 고려해 볼 때 크게 재인방식의 시험과 회상방식의 시험으로 구분될 수 있다. 재인방식의 시험은 객관식 시험이라 할 수 있고, 회상방식의 시험은 주관식 혹은 서술식 시험이라고 할 수 있다. 현실에서는 회상방식만큼 재인방식의 시험도 빈번하게 사용되고 있지만 틀린인출의 시험효과를 살펴본 대부분의 선행연구들은 학습단계와 최종기억검사단계에서 실험 참여자가 떠오르는 답 또는 단어를 자유롭게 인출하도록 지시하는 회상방식의 시험을 사용해왔다. 이는 재인방식 시험의 경우 문제의 답을 임의로 선택하더라도 일정확률로 정답이 선택되어 우연적으로 발생한 올바른 인출의 영향을 완전히 배제하기 어려웠기 때문일 것이다.

회상방식의 시험과 재인방식의 시험은 처리해야 할 정보의 양, 선택지에 제시된 정보들의 관계, 사용할 학습 전략 등 그 특성이 명확히 다르다. 두 방식은 시험 시 제시되는 정보의 형태가 다르기 때문에 각기 다른 학습전략이 사용된다. 재인방식의 경우 질문과 함께 다수의 보기가 제공되고 참여자는 그 중 가장 적절한 보기를 선택하게 된다. 반면 회상방식의 경우 질문만 제공되고 참여자가 직접 정답을 떠올리게 된다. 따라서 회상시험과 달리 재인시험에서는 보기가 답에 대한 추가적인 단서로 사용될 수 있으며, 정확한 답을 인출하기보다는 전체적 맥락에서 답을 유추할 수 있게 된다. 또한, 이러한 차이에 의해 회상시험과 재인시험에 의한 부호화 및 인출은 서로 다른 기제가 사용될 수 있다.

따라서 본 연구에서는 선행의 연구를 바탕으로 학습집단을 단순학습, 단서제시, 그리고 틀린인출로 구분하고 학습과정을 재인방식으로 적용하여 재인방식의 시험을 실시할 경우에도 틀린인출에 의해 추후 기억이 향상되는지를 확인하고자 하였다. 더불어 최종기억검사를 재인방식과 회상방식으로 구분하여 인출방식에 따른 정확기억률의 차이를 비교하였다.

2. 방 법

2) 실험자극

본 연구에서는 재인방식의 학습을 위해 매 시행마다 윗줄에 하나의 단서단어를 제시하고 아랫줄에 표적단어를 포함하여 총 네 개의 보기단어를 제시하였다(<그림 1> 참조). 이때 함께 제시되는 단어들 간의 상호 연관성을 동일한 수준으로 맞추기 위해 예비조사를 통해 다섯 개의 범주를 선정하였다. 예비조사를 위해 선정된 범주목록은 이관용(1991)의 범주규준을 바탕으로 하여 구성되었으며, 마지막 철자가 다섯 번 이상 중복되지 않고(예: ‘스포츠’ 범주의 ‘축구, 야구, 농구, 배구, 탁구’와 같은 경우 해당 단어를 모두 제외) 외래어가 아닌 2음절 명사가 20개 이상 속한 범주만을 선정하여 예비조사에 사용하였다.

<그림 1>

실험자극 예시: 정답미제시(좌), 정답제시(우)

예비조사에는 C 대학 학부생 116명(남 53명, 평균연령=20.61±2.13)이 참여하였으며, 7점 리커트 척도(1: 전혀 연관되지 않았음 ~ 7: 매우 연관되어 있음)를 사용하여 최종 선정된 범주 간의 연관성을 평가하도록 하였다. 예비조사 결과, 상호연관성이 유사하게 낮은 다섯 개의 범주(곤충, 연료, 건물 부분, 주방용품, 친척; 상호연관성 평균=1.72, SD=.24)를 선정한 후 해당 범주에 속하는 단어들을 최종기억재료로 사용하였다.

3) 실험절차

본 실험은 Kornell, Hays, 그리고 Bjork(2009)의 절차를 바탕으로, ‘재인학습구간’, ‘방해과제구간’, 그리고 ‘최종기억검사’ 순서로 진행되었다(<그림 2> 참조). 먼저 재인학습구간에서는 윗줄에 제시된 단서단어와 아랫줄에 제시된 4개의 보기단어 중 밑줄이 표시된 표적단어를 한 쌍으로 하여 총 20개의 단어 쌍을 학습시켰다. 이 구간은 학습방법에 따라 집단별로 다르게 진행되었는데 단순학습 집단의 경우, 단서단어와 함께 밑줄이 표시된 표적단어를 포함하여 4개의 보기단어를 5초 간 제시하였다. 단서제시 집단의 경우, 단서단어와 함께 4개의 보기단어를 8초 간 제시한 후 보기단어 중 표적단어에 밑줄을 표시하여 추가적으로 5초 간 제시하였다. 이를 통해 표적단어 없이 단서단어와 보기단어에 단순노출되는 구간을 설정하여 틀린인출 집단과의 총 학습시간을 동일하게 설정하였다. 틀린인출 집단의 경우, 단서단어와 함께 4개의 보기단어를 8초 간 제시하고 참여자 본인이 정답이라고 생각되는 단어를 선택하여 체크표시가 나타나도록 하였다. 이때 참여자가 어떤 단어를 선택하더라도 해당 단어는 표적단어가 되지 않도록 하여 모든 시행에서 오답을 선택하도록 하였다. 이후 단서제시 집단과 동일하게 표적단어에 밑줄을 표시하여 추가적으로 5초 간 제시하였다.

<그림 2>

실험절차

재인학습구간이 끝난 직후 이루어지는 방해과제구간에서는 2분 간 가능한 많은 나라이름을 종이에 적도록 하여 앞서 학습한 내용에 대한 암송 및 반복시연의 효과를 통제하였다. 이 과정은 집단에 관계없이 모든 실험참여자에게 동일하게 시행되었다.

최종기억검사구간은 시험방식에 따라 재인방식과 회상방식으로 나누어 실시하였다. 재인시험집단은 화면에 제시된 단서단어와 보기단어들을 보고 학습했던 표적단어를 고르도록 하였으며, 회상시험집단은 화면에 단서단어만을 제시한 후 제공된 답안지에 표적단어를 수기로 작성하도록 하였다. 재인학습구간에서의 학습 순서에 따른 효과를 배제하기 위해 최종기억검사구간에서의 문항제시 순서는 무선화 되었으며, 재인 또는 회상시간에 제한을 두지 않았다.

모든 실험 참여자는 본 실험에 앞서 전체 절차에 대해 네 번의 연습시행을 실시하였으며 실험절차를 정확히 숙지한 후 본 실험을 진행하였다. 모든 실험자극은 Psychopy2 프로그램(Peirce, 2007)을 이용하여 제시되었다.

3. 결 과

본 연구는 재인방식으로 이루어진 기억재료의 학습에서 틀린인출의 시험효과가 나타나는지, 또한 최종검사방식에 따라 그 양상이 다르게 나타나는지를 검증하기 위해 수행되었다. 이를 위해 ‘재인학습구간’에서의 학습방법에 따라 단순학습 집단, 단서제시 집단, 그리고 틀린인출 집단을 설정하고, ‘최종기억검사구간’에서의 최종검사방식에 따라 재인과 회상 두 가지 방식으로 집단으로 나누어 정확기억률을 측정하였다. 정확기억률의 기술통계치는 <표 1>과 같다.

<표 1>

최종검사방식과 학습방법에 따른 정확기억률

‘재인학습구간’의 학습방법(3: 단순학습, 단서제시, 틀린인출)과 최종검사방식(2: 재인, 회상)에 따른 정확기억률의 차이를 검증하기 위해 이원변량분석을 실시하였다. 그 결과, ‘재인학습구간’의 학습방법과 최종검사방식에 따른 주효과가 각각 유의미한 것으로 나타났다(<표 2> 참조). 세부적으로, 최종검사방식과 상관없이 단순학습 집단과 틀린인출 집단에 비해 단서제시 집단의 정확기억률이 높은 것으로 나타났으며, 학습방법과 상관없이 회상시험방식보다 재인시험방식의 정확기억률이 높은 것으로 나타났다. 그러나 학습방법과 최종검사방식의 상호작용효과는 나타나지 않았다.

<표 2>

학습방법과 최종검사방식에 따른 정확기억률의 차이검증 결과

<그림 3>

최종검사방식과 학습방법에 따른 정확기억률의 변화

추가적으로 틀린인출 집단이 재인학습구간에서 인출한 오답을 최종기억검사구간에서 동일하게 답으로 선택한 비율을 분석하였다. 그 결과 회상방식의 최종기억검사를 수행한 집단의 경우, .01 (SD=.02)의 비율로 재인학습구간과 같은 답을 선택한 것으로 나타났다. 그러나 재인방식의 최종기억검사를 수행한 집단에서는 그 비율이 .37(SD=.28)이었으며, 우연수준(.33)과의 비교결과 유의미한 차이가 나타나지 않았다.

4. 논 의

기억해야할 정보에 단순히 노출되는 것보다 시험이란 과정을 통해 능동적으로 정보를 학습할 때 해당 정보에 대한 기억이 오래 유지되는 것을 시험효과라고 한다. 다수의 선행연구들을 통해 이러한 시험효과가 시험과정에서 올바른 인출을 했을 때뿐만 아니라 틀린인출이 일어난 경우에도 발생함이 검증되어왔다. 그러나 대부분의 선행연구들은 학습단계와 최종기억검사단계에서 회상방식의 시험만을 사용하였기 때문에, 재인방식의 시험에 대한 틀린인출의 시험효과를 검증한 연구가 절대적으로 부족한 상황이다. 따라서 본 연구는 기존의 연구들에서 살펴보지 않았던 재인방식의 시험에서도 틀린인출에 의한 시험효과가 발생하는지, 그리고 그 효과가 최종기억검사방식에 따라 달라지는지를 살펴보았다.

본 연구의 결과는 먼저, 회상방식에 비해 재인방식의 정확기억률이 높은 것으로 나타났다. 이는 대부분의 기억검사에서 나타나는 현상으로 회상방식에 비해 재인방식에서 정답에 대한 탐색이 용이하기 때문에 발생한 것으로 판단된다(Bahrick, Bahrick & Wittlinger, 1975; Miserandino, 1991). 즉 회상방식에 비해 재인방식의 인출에서 탐색해야하는 정보의 양이 현저히 적으며, 재인의 경우에는 우연에 의한 적중확률(4지 선다형인 경우, 25%)이 존재하기 때문이라 할 수 있다.

한편, 학습집단에 따른 차이를 살펴보면, 단순학습집단과 틀린인출집단에 비해 단서제시집단의 정확기억률이 더 높은 것으로 나타났으며, 이러한 결과는 회상방식의 기억검사를 사용했던 다수의 선행연구들과는 상반된 결과이다(이영창, 2017; Carpenter, 2009, 2011; Carpenter, Pashler & Vul, 2006; Carrier & Pashler, 1992; Cohen & Bean, 1983; Grimaldi & Karpicke, 2012; Kornell, Bjork & Garcia, 2011; Kornell, Hays & Bjork, 2009; Kornell, Klein & Rawson, 2015; Richland, Kornell & Kao, 2009). 세부적으로 단순학습집단에 비해 단서제시집단의 정확기억률이 높은 것은 두 집단 간 학습시간의 차이에 의해 발생한 결과일 수 있다. 단순학습집단의 경우, 인출 시도 없이 학습구간에서 5초 간 기억재료에 노출된 반면에 단서제시집단은 13초 간 기억재료에 노출된다. 따라서 기억재료에 대한 학습시간의 차이에 의해 단서제시집단에서의 높은 정확기억률을 설명할 수 있다.

또한 동일한 학습시간에 노출된 틀린인출집단과 단서제시집단의 차이는 인출시도의 유무에 의해 발생했을 수 있다. 즉 회상방식과 달리 재인방식의 틀린인출시도는 추후 기억을 저하시키는 방향으로 작용할 가능성이 있으며, 이는 재인방식의 틀린인출시도로 인해 인출된 오답이 단서단어와 표적단어 간의 연결을 방해하여 실제 정답을 인출하는 데 있어 간섭을 일으킬 수 있음을 시사한다(Huelser & Metcalfe, 2012; Knight, Ball, Brewer, DeWitt & Marsh, 2012). 틀린인출집단과 단서제시집단의 차이에 대한 다른 하나의 가능성은 자기생성 정보의 현저성 측면에 기인할 수 있다. 본인이 생성한 답에 대한 인지적 자원과 추후 제시되는 정답에 대한 인지적 자원의 차이에 원인이 있을 수 있다. 즉 틀린인출 집단은 본인의 인출시도 후 실제 정답이 제시될 것을 알고 있음에도, 인출시도를 통해 스스로 생성해낸 오답에 추후 제시되는 정답보다 많은 인지적 자원을 사용할 수 있다(Jacoby, 1983; Stein & Bransford, 1979). 이처럼 자기생성 정보의 현저성 효과를 고려해볼 때, 단서제시집단에 비해 낮은 틀린인출집단의 정확기억률은 기억하지 말아야 할 자기생성 오답에 상대적으로 많은 인지적 자원을 사용했기 때문에 발생한 결과일 수 있다. 이러한 가능성을 검증하기 위해서는 추후의 연구를 통해 재인학습구간에서 인출한 오답과 최종기억검사구간에서 선택한 오답비율을 비교해볼 필요가 있으며, 더불어 연구자가 제시한 오답을 인출하는 집단과 참가자가 스스로 생성한 오답을 인출한 집단을 구분하여 두 집단의 오답일치율을 비교해볼 필요가 있다.

마지막으로 재인학습구간의 학습방법에 따른 정확기억률의 차이는 최종기억검사구간의 시험방식과 상관없이 동일하게 유지되었다. 따라서 최종기억검사구간의 시험방식보다는 학습구간에서의 학습관련요인이 정확기억률에 중요한 영향을 미친다는 것을 의미한다. 즉 학습과정에서 기억재료의 학습방식(단순학습, 인출시도 등), 인출방식(재인, 회상), 그리고 학습시간과 지연시간 등의 요인이 추후 기억에 영향을 미칠 수 있음을 시사한다.

본 연구는 틀린인출시도에 의한 시험효과를 다룬 선행연구들이 주로 회상방식 시험만을 이용했던 것에 반해 재인방식의 틀린인출시도에 의해서도 시험효과가 나타날 수 있는지를 검증하였다. 또한 기존의 실험설계상 학습과정에서 우연히 발생하는 올바른 인출의 혼입효과를 배제한 후 엄밀한 의미에서 틀린인출시도의 시험효과를 살펴보았다는 데 의의가 있다. 그러나 본 연구는 결과의 해석 방향에 따라 몇 가지 제한점이 있다.

먼저, 본 연구는 재인방식의 틀린인출시도에 의한 시험효과를 검증하기 위해 단서단어와 표적단어, 그리고 단서단어 간의 상호연관성을 모두 동일한 수준으로 통제하였을 뿐 연관성 수준을 나누어 살펴보지 않았다. 현재까지 회상방식으로 수행된 다수의 선행연구들이 기억재료의 의미적 연관성을 틀린인출의 시험효과를 설명하는 강력한 요인일 수 있음을 보고하고 있으며, 이러한 점에서 재인방식의 연구 또한 연관성의 수준을 고려한 연구가 필요하다. 또한 본 연구에서는 최종기억검사에서 즉시기억검사(2분 후)를 통해 발생한 결과만을 확인하였을 뿐 이러한 효과가 일정 시간이 지연된 후에도 유지되는지에 대한 검증을 수행하지 못했다.

따라서 추후에는 기억재료 간의 연관성과 최종기억검사의 시간을 체계적으로 고려한 연구가 필요하다. 이와 더불어 앞서 기술한 바와 같이 인출을 통해 생성된 오답의 효과를 명확하게 구분할 수 있는 연구가 수행되어야할 필요가 있다.

Acknowledgments

이 논문은 2015년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2015S1A5A2A01010872).

References

• 이관용 (1991). 우리말 범주규준조사-본보기산출빈도, 전형성, 그리고 세부특징 조사. <한국심리학회지: 인지 및 생물>, 3, 131-160.
• 이영창 (2017). 기억재료의 연관성과 난이도에 따른 틀린 인출의 기억촉진효과. 충남대학교 대학원 박사학위논문.
• Bahrick, H. P., Bahrick, P. O., & Wittlinger, R. P. (1975). Fifty years of memory for names and faces: A cross-sectional approach. Journal of experimental psychology: General, 104(1), 54. [https://doi.org/10.1037/0096-3445.104.1.54]
• Butler, A. C., & Roediger, H. L. (2007). Testing improves long-term retention in a simulated classroom setting. European Journal of Cognitive Psychology, 19(4-5), 514-527. [https://doi.org/10.1080/09541440701326097]
• Carpenter, S. K. (2009). Cue strength as a moderator of the testing effect: the benefits of elaborative retrieval. Journal of Experimental Psychology: Learning, Memory, and Cognition, 35(6), 1563-1569. [https://doi.org/10.1037/a0017021]
• Carpenter, S. K. (2011). Semantic information activated during retrieval contributes to later retention: Support for the mediator effectiveness hypothesis of the testing effect. Journal of Experimental Psychology: Learning, Memory, and Cognition, 37(6), 1547-1552. [https://doi.org/10.1037/a0024140]
• Carpenter, S. K., Pashler, H., & Vul, E. (2006). What types of learning are enhanced by a cued recall test? Psychonomic Bulletin & Review, 13(5), 826-830. [https://doi.org/10.3758/BF03194004]
• Carrier, M., & Pashler, H. (1992). The influence of retrieval on retention. Memory & Cognition, 20(6), 633-642. [https://doi.org/10.3758/BF03202713]
• Cohen, R. L., & Bean, G. (1983). Memory in educable mentally retarded adults: Deficit in subject or experimenter? Intelligence, 7(3), 287-298. [https://doi.org/10.1016/0160-2896(83)90019-3]
• Cuddy, L. J., & Jacoby, L. L. (1982). When forgetting helps memory: An analysis of repetition effects. Journal of Verbal Learning and Verbal Behavior, 21(4), 451-467. [https://doi.org/10.1016/S0022-5371(82)90727-7]
• Cunningham, D. J., & Anderson, R. C. (1968). Effects of practice time within prompting and confirmation presentation procedures on paired associate learning. Journal of Verbal Learning and Verbal Behavior, 7(3), 613-616. [https://doi.org/10.1016/S0022-5371(68)80115-X]
• Gates, A. I. (1917). Experiments as the relative efficiency of men and women in memory & reasoning. Psychological Review, 24(2), 139-146. [https://doi.org/10.1037/h0072921]
• Glover, J. A. (1989). The “testing” phenomenon: Not gone but nearly forgotten. Journal of Educational Psychology, 81(3), 392-399. [https://doi.org/10.1037/0022-0663.81.3.392]
• Grimaldi, P. J., & Karpicke, J. D. (2012). When and why do retrieval attempts enhance subsequent encoding? Memory & Cognition, 40(4), 505-513. [https://doi.org/10.3758/s13421-011-0174-0]
• Guthrie, E. (1952). The Psychology of Learning. New York: Harper.
• Huelser, B. J., & Metcalfe, J. (2012). Making related errors facilitates learning, but learners do not know it. Memory &cognition, 40(4), 514-527. [https://doi.org/10.3758/s13421-011-0167-z]
• Izawa, C. (1970). Optimal potentiating effects and forgetting-prevention effects of tests in pairedassociate learning. Journal of Experimental Psychology, 83(2), 340-344. [https://doi.org/10.1037/h0028541]
• Jacoby, L. L. (1978). On interpreting the effects of repetition: Solving a problem versus remembering a solution. Journal of Verbal Learning and Verbal Behavior, 17(6), 649-667. [https://doi.org/10.1016/S0022-5371(78)90393-6]
• Jacoby, L. L. (1983). Remembering the data: Analyzing interactive processes in reading. Journal of verbal learning and verbal behavior, 22(5), 485-508. [https://doi.org/10.1016/S0022-5371(83)90301-8]
• Karpicke, J. D., & Roediger, H. L. (2008). The critical importance of retrieval for learning. Science, 319, 966-968. [https://doi.org/10.1126/science.1152408]
• Knight, J. B., Ball, B. H., Brewer, G. A., DeWitt, M. R., & Marsh, R. L. (2012). Testing unsuccessfully: A specification of the underlying mechanisms supporting its influence on retention. Journal of Memory and Language, 66(4), 731-746. [https://doi.org/10.1016/j.jml.2011.12.008]
• Kornell, N., Bjork, R. A., & Garcia, M. A. (2011). Why tests appear to prevent forgetting: A distributionbased bifurcation model. Journal of Memory and Language, 65, 85–97. [https://doi.org/10.1016/j.jml.2011.04.002]
• Kornell, N., Hays, M. J., & Bjork, R. A. (2009). Unsuccessful retrieval attempts enhance subsequent learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 35(4), 989-998. [https://doi.org/10.1037/a0015729]
• Kornell, N., Klein, P. J., & Rawson, K. A. (2015). Retrieval attempts enhance learning, but retrieval success (versus failure) does not matter. Journal of Experimental Psychology: Learning, Memory, and Cognition, 41(1), 283-294. [https://doi.org/10.1037/a0037850]
• McDaniel, M. A., Roediger, H. L., & McDermott, K. B. (2007). Generalizing test-enhanced learning from the laboratory to the classroom. Psychonomic Bulletin & Review, 14(2), 200-206. [https://doi.org/10.3758/BF03194052]
• Miserandino, M. (1991). Memory and the seven dwarfs. Teaching of Psychology, 18(3), 169-171. [https://doi.org/10.1207/s15328023top1803_10]
• Peirce, J. W. (2007). PsychoPy—psychophysics software in Python. Journal of Neuroscience Methods, 162(1), 8-13. [https://doi.org/10.1016/j.jneumeth.2006.11.017]
• Pressley, M., Tanenbaum, R., McDaniel, M. A., & Wood, E. (1990). What happens when university students try to answer prequestions that accompany textbook material? Contemporary Educational Psychology, 15(1), 27-35. [https://doi.org/10.1016/0361-476X(90)90003-J]
• Richland, L. E., Kornell, N., & Kao, L. S. (2009). The pretesting effect: Do unsuccessful retrieval attempts enhance learning? Journal of Experimental Psychology: Applied, 15(3), 243-257. [https://doi.org/10.1037/a0016496]
• Roediger, H. L., & Karpicke, J. D. (2006a). Test-enhanced learning taking memory tests improves long-term retention. Psychological Science, 17(3), 249-255. [https://doi.org/10.1111/j.1467-9280.2006.01693.x]
• Roediger, H. L., & Karpicke, J. D. (2006b). The power of testing memory: Basic research and implications for educational practice. Perspectives on Psychological Science, 1(3), 181-210. [https://doi.org/10.1111/j.1745-6916.2006.00012.x]
• Rothkopf, E. Z. (1966). Learning from written instructive materials: An exploration of the control of inspection behavior by test-like events. American Educational Research Journal, 3(4), 241-249. [https://doi.org/10.3102/00028312003004241]
• Schooler, J. W., Foster, R. A., & Loftus, E. F. (1988). Some deleterious consequences of the act of recollection. Memory & Cognition, 16(3), 243-251. [https://doi.org/10.3758/BF03197757]
• Stein, B. S., & Bransford, J. D. (1979). Constraints on effective elaboration: Effects of precision and subject generation. Journal of Memory and Language, 18(6), 769. [https://doi.org/10.1016/S0022-5371(79)90481-X]
• Tulving, E. (1967). The effects of presentation and recall of material in free-recall learning. Journal of Verbal Learning and Verbal Behavior, 6(2), 175-184. [https://doi.org/10.1016/S0022-5371(67)80092-6]
• Whitten, W. B., & Bjork, R. A. (1977). Learning from tests: Effects of spacing. Journal of Verbal Learning and Verbal Behavior, 16(4), 465-478. [https://doi.org/10.1016/S0022-5371(77)80040-6]