2024谷歌Bigtable：结构化数据的分布式存储系统

Bigtable尽管需求各异Bigtable还是成功

实现了可扩展性和高性能BigtableBigtable层Google基础架构5节介绍了被FinanceOrkutWritelyGoogleEarth使用Bigtable来处理各种要求苛刻的工作负载，

提高Bigtable的性能7节规定Bigtable第11节介绍int64

5

1t3t5和t6。

分组到连续的行中/index.htmlcom.google.maps/index.html

family:qualifier表*T=);,CNN);r1.Delete(\hanchor:);

*stream；stream=图Bigtable

Bigtable

Bigtable可以与MapReduce[12]一起使用Google开发的用作MapReduce作业的输入源和输出目标。据子集2显示了使用RowMutation抽象来执行一系列更新的C++代码（为了使示例简短对Apply的调用对Webtable执行原子突变\h

GoogleSSTableBigtableSSTable

MasterTabletTabletTablet和过期TabletGFS每个tablet服务器管理一组tablet（通常每个tablet服务器有10到tablet。BigtableChubby[8]Chubby

Bigtable集群存储许多表tablet组成tablet包含

不可4第一级是存储在Chubby中的一个文件128MBMETADATAlo‑

METADATA

后才能更改它们1Chubby务器集以及tablet服务器的当前分配情况tablet未分配tablettablettablet器会通过向tablet服务器发送tablet加载请求来分配tablet。

扫描遇到尚未分配的tablettablet添加到未分配tablet集中tablet有资格进行tablet分配。tabletservertabletChubby（Chubbytabletserver就会尝试重新获取其文件的独占锁tabletserver器可以更快地重新分配其tablet

METADATA现有tablet的集合仅在创建或删除tabletablet以形成tablettablettabletmaster载的tablet的一部分。

memtableSSTableGFStablet

SSTable期执行合并压缩来限制此类文件的数量SSTable和memtable的内容SSTable入的SSTable和memtable。SSTable服务器时当Bigtable

每个SSTable块（其大小SSTable压缩方案Bentley和16KBMB/sGzip（3141Webtable

5.3节所述的GFS同一物理日志中不同tablet的突变,tablet服务器死机时tablet每个服务器通常只加载少量原始服务器的tablettablet该tablet来自原始提交日志志文件将被读取100次（每个服务器一次）。

SSTable进行垃圾收集tablet的SSTable都注册在METADATA表中服务器通过对SSTable集进行标记和清除垃圾收集[25]来删除过时的SSTable，其中METADATA表包含根集。

组成的GFS单元400GBIDE硬盘。

个tablet服务器上读取或写入大约1GB的数据。除了SSTable缓存之外，

小相等的范围N个客户端

R

带宽足以使平板服务器CPU饱和解析和Bigtable（memGFS到

GFSRPCBigtable

0 >

1：Bigtabletablet100网络上每1000个64KB大块

（200TB维护TB作业（Eart（表2提供了一些表格的数据

GB）\h（/psearchID

BigtableChubby

代码中

即监控便对于RPC的一个示例，METADATABigtableChubby约

而Bigtable的目标是直接⽀持客户端CAN[29]Chord[32]Tapestry[37Pastry[30]对于来说的RealApplicationCluster[27使用GFS[4[33BigtableDB2而不是基于行的存储C‑Store[134]以及SybaseIQ[15,36]等商业产品，MonetDB/X100[38]性组不⽀持CPU缓存级优化BigtableC‑Store

,（1（2（3

CalderBigtableDanAguayoSameerAjmaniZhifengChen、BillC