随便找个人问他童年的记忆，每个人都能说出一堆这样的故事：
我邻居的爸爸在我四岁的时候死了。我记得我和我朋友坐在他家门前，看着人们走来走去。很奇怪，谁都没有说话。
记忆与关于记忆的记忆很难区分。实际上，没什么证据表明我们的任何成年记忆可以真的追溯到婴儿时期，那些看起来像早期记忆的内容有可能只是我们对旧思维的重构而已。因为一方面，我们最初五年的记忆似乎以一种奇怪的方式完全孤立；如果我们问前些天发生了什么，得到的答案几乎总是“我不记得了”。另一方面，那些早期记忆所涉及的事件意义非常重大，因此很可能在几年之内不断重复地占据孩子的思维。最值得怀疑的是，这种记忆常常被描述得好像是从其他年长的人眼中看到的一样，描述者被刻画在场景之中，就在舞台中央附近。因为我们从来不会真的看到自己，这些记忆一定是重构出来的，从婴儿时期就在排练和重新构想。
我怀疑这种“婴儿健忘症”不仅仅是随着时间的流逝而消退，而且是婴儿期结束时不可避免的结果。记忆不是孤立的事物，和它在思维中的运作方式脱不了关系。要记住早期的经验，你必须不仅能“提取”一些旧的记录，而且要重构早期思维如何对其做出反应。要做到这一点，你必须重新回到婴儿的状态。要想长大结束婴儿期，你只能牺牲记忆，因为它们是用古老的文字写就，你之后的自我已经无法再看懂了。
我们也会重构最近的记忆，因为它们描述我们看到的东西没有我们再认的东西多。从一刻到下一刻，你的思维状态不仅是由外部世界的信号塑造的，对其产生影响的还有受到这些信号唤起的记忆所激活的智能体。举例而言，当你看到一把椅子的时候，是什么让它看起来是一把椅子，而不是混合在一起的一堆木棍和木板呢？它一定唤起了一些记忆。你只有一部分记忆来自你所看到的东西激活的智能体，大部分高水平智能组的体验来自那些视觉智能体所激活的记忆。通常，我们对发生的这些事没有意识，而且当我们迅速、安静地加工信息时不会使用像“记忆”或“记得”这种词，而是会使用“看见”“认出”或“知道”这种词。这是因为这些程序没有给思维的其余部分留下很多线索可以凝思。相应地，这些程序是无意识的，因为意识需要有短时记忆。只有在再认时，有大量的时间和精力，我们才会说“记得”。
那么我们所说的“记忆”又是什么意思呢？我们的大脑会使用很多不同的方式来储存过去的印记。没有一个单独的词汇可以描述这么多内容，除非它只是用来描述一般的信息。
记忆是一种程序，它让我们的一些智能体按照以前在不同的时间行动的方式再次行动。