第7章 存储器分层体体系结构

计算机组成与系统结构ComputerOrganizationAndSystemsArchitecture教师：张建E-mail:Zj960514@163.com办公室：主楼B1-7072021/6/271

引言冯·若依曼(Von·Nouma)美籍匈牙利数学家1903–1957存储程序概念要运行的程序必须先调入内存，然后再执行。程序MemoryCPULoadAllExecuteOnebyone2021/6/2727.1存储器概述存储器的分类半导体存储器1.静态随机存储器—SRAM2.动态随机存储器—DRAM磁表面存储器：容量、存储周期例：2GB60ns容量、转速例：200GB7200转/分3.闪存-FlashMemory2021/6/273光盘存储器：1.CD-ROM：只读性光盘2.WORM：写入式（只能写一次）3.CD-RW：可擦/写光盘DVD-DigitalVersatileDisc4.7GBVCD-VideoCompactDisc700MB7.1存储器概述2021/6/274存储器存取方式

可按地址随机地访问任一存储单元随机存取存储器(RAM)

访问时间与访问地址无关顺序存取存储器(SAM)必须按顺序访问,例如：磁带。速度慢，现在已Out了。7.1存储器概述2021/6/275直接存取储器(DAM)7.1存储器概述

第1步：直接选取该区域第2步：该区域内顺序存取2021/6/276按可更改性分类7.1存储器概述

只读存储器(ROM)

读/写存储器最初的信息是如何写入的呢？2021/6/277按功能分类7.1存储器概述高速缓冲存储器主存储器辅助存储器海量后备存储器2021/6/278主存储器基本框图地址寄存器地址译码读写控制电路地址线读写控制信号数据线2021/6/279存储器的主要性能指标

存储容量单位：Byte、KB、MB、GB

存取周期CPU连续访存中平均一次存取操作所需的时间。7.1.3存储器的主要性能指标

存储器的带宽

单位时间内传输的最大数据率，字节/秒2021/6/27107.1.4存储器的层次化结构CPU主存储器冯·若依曼计算机体系结构辅助存储器解决大容量低成本矛盾Cache解决CPU与主存与速度不匹配的矛盾2021/6/27117.2.4半导体随机存取存储器10

六管静态MOS管存储单元1110假设要将“1”存储在该单元中2021/6/27127.2.4半导体随机存取存储器静态RAM的组成2021/6/27137.2.4半导体随机存取存储器(1)无需进行数据的刷新，外围电路简单。(2)速度快。(3)管数较多，成本高。(4)功耗大，双稳态触以器中始终有一个MOS管导通。静态存储器(SRAM)的特点：2021/6/27147.2.4半导体随机存取存储器静态RAM芯片举例2021/6/27157.2.4半导体随机存取存储器6264引脚功能说明：

A12～A0：地址线

D7～D0：数据线

NC：未使用

CE：片选信号

WE：写信号

OE：读信号2021/6/27167.2.4半导体随机存取存储器动态存储器DRAM11111假设要将“1”存储在该单元中2021/6/27177.2.4半导体随机存取存储器从存储单元中读出数据1/0VB=(V1+V0)/2①预充电VBV1=“1”的电平V0=“0”的电平11②③该点有充放电现象，以此判断1/02021/6/27187.2.4半导体随机存取存储器从动态存储器的工作原理可知：集成度高，功耗低，位成本低。由于电容存存漏电现象，需周期刷新。是破坏性读出，需读后重写。2021/6/27197.3.2存储器芯片的扩展当单个存储芯片的容量不能满足系统要求时，需多片组合起来以扩展字长(位扩展)或字数(字扩展)或字位全扩展。位扩展在位数方向扩展(加大字长)，使芯片的位数与系统要求位数相一致的。2021/6/27207.3.2存储器芯片的扩展当单个存储芯片的容量不能满足系统要求时，需多片组合起来以扩展字长(位扩展)或字数(字扩展)或字位全扩展。位扩展在位数方向扩展(加大字长)，使芯片的位数与系统要求位数相一致的。2021/6/27217.3.2存储器芯片的扩展

2021/6/2722字扩展

译码电路

2021/6/27237.4半导体只读存储器和Flash存储器半导体只读存储器掩膜只读存储器可编程只读存储器可擦除可编程只读存储器电擦除电改写只读存储器半导体Flash存储器2021/6/27247.5并存储器结构技术

译码电路连续编址方式2021/6/27257.5并存储器结构技术

译码电路交叉编址方式2021/6/27267.6高速缓冲存储器控制器数据路径存储器处理器输入输出指令数据存储器向处理器提供指令和数据但问题是：存储器太小、太慢?2021/6/2727时间局部性如果某个数据被访问，那么很快它有可能再次被访问。空间局部性如果某个数据被访问，那么与它邻近的数据有可能很快被访问。Really?别骗我！局部性原理2021/6/2728Cache的基本原理DRAM的发展趋势容量：4倍/3年速度：2倍/10年2021/6/2729Cache的基本原理CPU与Memory的速度差110100100019801981198319841985198619871988198919901991199219931994199519961997199819992000CPU1982增长：50%/年性能“Moore’sLaw”DRAM2021/6/2730Cache的基本工作原理问题：存储器太小、太慢办法：存储器系统分层结构控制器数据路径存储器(内存)(DRAM)处理器寄存器L1Cache(SRAM)L2Cache(SRAM)外存(硬盘)2021/6/2731处理器数据行或块命中:数据在高层存储器缺失:数据没有位于高层存储器Cache的基本工作原理2021/6/2732术语命中率在高层存储器中找到访问数据的比例。缺失率在高层存储器中没有找到访问数据的比例。缺失率=1–

命中率2021/6/2733术语命中时间访问高层存储器所需的时间。缺失代价将数据块从低层搬到高层存储器并送到处理器所需的时间。判断时间+数据传送时间2021/6/2734当前计算机的存储器结构SystemControllerL1CacheMainMemory(DRAM)GraphicsProcessor(I/OBus)L2CacheProcessor2021/6/2735Cache的原理CPU主存Cache插入到CPU与主存间由快速SRAM实现存储程序的部分指令数据操作：命中(在Cache中)未命中(不在Cache中)2021/6/2736例题：例7.2（1）Cache的命中率？访存次数：未命中次数：命中率：

2021/6/2737例题：例7.2（2）CPU的平均访存时间？

2021/6/2738实现Cache的4个关键问题1：数据块放在Cache的什么地方？2：如何在Cache中找到所需的数据块？3：Cache未命中时如何转换数据块？4：写数据时如何写？A.只写Cache？B.只写Memory？C.同时时写Cache和Memory？D.其它？2021/6/2739基本的Cache设计-直接映射主存中每一个页只能映射到某一固定的Cache页中，直接映射有如下函数关系：K=jmodK:Cache的页号j:主存的页号n:Cache页号的位数Cache中的页数=2nCache中的页数2021/6/2740假定：主存的容量为1MB，每页大小512B,分为2048页；Cache的容量为8KB，每页大小512B,分为16页；二者必须相等基本的Cache设计-直接映射2021/6/2741组号第0页7位Cache组号第1页……组号第15页第0页第1页…第15页第16页第17页…第31页第2032页第2033页…第2047页…0组1组127组主存组号组内页号页内地址XXYYZZ749定位Cache页，读取组号相等吗？据此判断内存目标页是否在Cache中基本的Cache设计-直接映射2021/6/2742内存地址结构的设计组号组内页号数据页（512B）4位7位主存的容量为1MB，每页大小512B,分为2048页

9位

基本的Cache设计-直接映射2021/6/2743Cache地址结构的设计Cache的容量为8KB，每页大小512B,分为16页标记位有效位数据页（512B）1位7位

必须与主存页大小相同基本的Cache设计-直接映射数据是否已存入标记2021/6/2744000010100101110100100…1110101011…1……………0000101010XXXXXXXXX098121119VTagData=DATAHIT基本的Cache设计-直接映射2021/6/2745特点：硬件实现容易；Cache利用率低；基本的Cache设计-直接映射2021/6/2746举例假设一个直接映射的Cache，有16KB数据，块大小4个字，地址32位，那么Cache总共有多少位?(即Cache的大小)参考答案：MIPS中：32位/字=4字节/字块大小：4字/块=16字节/块=128位/块16KB分为：16K÷16=1K=1024(块）2021/6/2747举例数据块0128bit有效位1bit标记位18bit数据块1有效位标记位数据块1023有效位标记位……1024

2021/6/2748举例对于前面例子，若内存地址分别为100005和0x100005的字节将分别映到Cache的哪一块？

参考答案：对于内存地址100005∴该内存地址位于第?????块

6249块？6250块？6251块？6250块2021/6/274910位举例参考答案：对于内存地址0x100005010100000000000000000001500001十六进制二进制

2021/6/2750基本的Cache设计-全相联映射主存中每一个页可映射到任意一个Cache页中。CacheMemoryTagBlock0………………TagBlockm-1Block0Block1……………Blockn-12021/6/2751基本的Cache设计-全相联映射地址结构设计主存的容量为1MB，每页大小512B,分为2048页Cache的容量为8KB，每页大小512B,分为16页标记位有效位数据页（512B）1位11位标记位数据页（512B）11位9位判断是否在Cache中2021/6/2752基本的Cache设计-全相联映射特点：Cache标记太长，判断时间太长硬件复杂Cache利用率高2021/6/2753n路组相联映射假设：主存：32位地址线Cache大小：256KB块大小：4KBn：4，即4路组组相联映射基本的Cache设计-组组相联映射2021/6/2754组组相联映射-Cache的设置TagBlock0TagBlock1TagBlock2TagBlock3TagBlock0TagBlock1TagBlock2TagBlock3…TagBlock0TagBlock1TagBlock2TagBlock34路相联0组1组15组∵组的大小=4×4=16KB∴Cache的组数=256÷16=16∴最后组是15组2021/6/2755组组相联映射-主存(Memory)的设置…Block0Block1…Block15Block0Block1…Block15∵Cache分为16组0组Block0Block1…Block151组65535组∵组的大小=16×4=64KB∴主存的组数=232÷210÷64=65536∴最后组是65535组2021/6/2756组组相联映射-Cache-Memory)的映射关系…Block0Block1…Block15Block0Block1…Block15Block0Block1…Block15TagBlock0TagBlock1TagBlock2TagBlock3TagBlock0TagBlock1TagBlock2TagBlock3…TagBlock0TagBlock1TagBlock2TagBlock30组1组15组0组1组65535组CacheMemory2021/6/2757组组相联映射-主存(Memory)地址12bits组内块号：0～1516bits组号：0～655354bits块内寻址：块大小4K310111215162021/6/2758组组相联映射-Cache的标志(Tag)1bit16bits有效位Tag数据块Data问题（针对前面的假设）：主存地址：101A1234(Hex)计算：该地址数据放入Cache后，在Cache中的的块号及对应Cache项的Tag是多少？内存中的组号2021/6/2759在Cache中查找一个块4路相联Cache2021/6/2760Cache的缺失与关联度关联度数据缺失率110.3%28.6%48.3%88.1%Cache:Size=64KB，Blocksize=16words10个SPEC2000测试程序的结果2021/6/2761标记位大小与组组相联假设一个Cache：有4K个块块大小为4个字主存地址为32位计算：直接映射、两路组相联、四路组相联和全相联映射时，Cache的总组数及总的标记位数？2021/6/2762标记位大小与组组相联1.直接映射Cache的1个块就是1个组∴Cache的总组数：4K=212

块大小4个字，即16=24个字节，故需要4位地址表示。

2021/6/2763标记位大小与组组相联2.两路组映射Cache的2个块为1个组

2021/6/2764标记位大小与组组相联3.四路组映射Cache的4个块为1个组

2021/6/2765标记位大小与组组相联5.全相联映射Cache只有一个4K的块组

2021/6/2766主存(Memory)地址12bits组内块号：0～1516bits组号：0～655354bits块内寻址：块大小4K310111215162021/6/2767Cache的标志(Tag)1bit16bits有效位Tag数据块Data问题（针对前面的假设）：主存地址：101A1234(Hex)计算：该地址数据放入Cache后，在Cache中的的块号及对应Cache项的Tag是多少？内存中的组号2021/6/2768问题解答(1)：1.首先计算该地址在主存的块号:n∴该地址所在的块号是：

2.分析块号n在主存中的组号及组内序号在主存中的组号：101AH组内序号：1H（∵每组有16个块）2021/6/2769问题解答(2)：3.存入Cache后所对应的块∴映射到Cache的第1组，即：∵块在主存中组内序号为1H4.对应Cache的Tag是：101AHCache块号为：4～7中的某一块2021/6/2770存入Cache后的情况有效位Tag………Data………1组4#块0#块

7#块63#块………1101AH

XXXCache2021/6/2771缺失率与块大小2021/6/2772缺失率与块大小Cache块较大时，一

旦缺失，带来的延时和开销是比较大的。提前重启（earlyrestart）当块中所需字一旦返回就马上执行，而不需要等待整个块都传过来再执行。该技术用于指令访问，效果较好，因为指令通常是连续的。该技术用于数据Cache效率要低一些，因为请求的数据其分布无法预知。2021/6/2773缺失率与块大小请求字优先/关键字优先缺失时，先将请求字从存储器传输到Cache中，然后再传输该块的剩余部分，之后再从块的开始部分传输。该技术的延时性能比提前重启要好一些。2021/6/2774Cache的缺失处理指令Cache缺失的处理步骤将PC－4送到存储器中通知主存执行读操作，并等待主存访问完成写Cache项，并设置Cache相关标志重新取指令，此时指令在Cache中2021/6/2775写操作处理Write-through(写直达/通写)当需要写数据时（执行Store指令），将数据同时写入Cache和主存中。优点：Cache和主存的内容保持一致。缺点：耗时长，效率低。2021/6/2776写操作处理写缺失当要写的数据不在Cache中时，发生写缺失。1.将主存中的数据块读到Cache；2.将要写的数据写到Cache和主存中；为什么不直接写到Cache和主存？2021/6/2777写操作处理写直达方法简单，但效率低下例如，10%的指令是store，没有Cache失缺的情况下，CPI为1.0，每次写操作要额外花费100个周期，此时CPI为：CPI-Clock

cycle

Per

Instruction

2021/6/2778写操作处理写缓冲（Writebuffer）当有数据需要写入主存时：将数据写入Cache和写缓冲区(writebuffer)后，处理器继续执行；当写主存操作完成后，写缓冲区里的数据被释放；若写缓冲区满，则处理器必须等待一个写操作完成后（释放一个空位）才能将数据写入写缓冲区。2021/6/2779写操作处理写回机制（Write–back回写）当有数据需要写入主存时：先将数据写入Cache，并作已修改标记；当被修改的Cache块被替换时才将Cache的内容写回主存；2021/6/2780精解写缺失时的策略写直达/通写（writethrough）1.写分配策略（writeallocate)2.写不分配策略（nowriteallocate)写回机制/回写（writeback）2021/6/2781设计支持Cache