Alluxio 在媒体融合领域的应用

Alluxio在媒体融合领域的应用中国传媒大学桂静媒体融合介绍PART01 2013媒体融合上升为国家发展战略2015“两微一端”20152016融媒体中心&融媒体平台2023融媒联合体————————公有云平台：汇聚采集、大数据挖掘分析、简单编辑、新媒体生产分发等应用；私有云平台：视频的复杂剪辑、调色、节目包装、节目播出等应用，因为传统的电视、广播节目制作，需要更高的资源性能，更快的服务响应，更可靠的安全性。多语言新闻监测分析平台PART0211旨在实现网络空间舆情实时展现，通过新闻主题分类、用户评价等方法为网络空间的舆情评价指标体系的建构及验证提供有力持续的数据支撑。22多语种全球媒体报道数据库，包括40多个国家，32个语种，400多家境外媒体，总监测量达到300万篇。AlluxioAlluxio挂载不同存储系统，提供统一命名空间，也可以实现访问控制；供了一定的数据本地性，在一定程度上实现了任务加速；2795.24322.34092.8•小文件对AlluxioI/O性能的影响，在Alluxio上进行了读写不同大小文件的实验。•每个文件大小依次为2K、16K、128K、1M、8M、64M、512M、4GB。•固定数据总量，进行读写测试。•写类型:MUST_CACHE•读类型：NO_CACHE11主从结构——元数据服务器内存空间有限、性能瓶颈。22Archived+IndexBased——元数据查询寻址低效。Facebook为了图片应用而优化的对象存储系统，减少每张图片的元数据，以便在主内存中对所有元数据进行查找。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，将文件名映射到文件的物理地址，简化了文件的访问流程，满足了淘宝对小文件存储的需求。HadoopArchive—将小文件打包为一个.har文件存储到HDFS中。SequenceFile—将小文件封装为key-value的形式，追加到SequenceFile中。MapFile—MapFile是一个排序的SequenceFile，其索引允许按key查找。MapFile中的对按key排序，MapFile在查找过程中使用二进制搜索，以将复杂性降低到O(logn)。但MapFile一旦创建了归档，就不可能添加具有任意名称的文件。CombineFileInputFormat—将文件打包到一个split中，每个Mapper可以处理多个split，降低了数据量与块大小的耦合关系。但这种方案对小文件写很不友好，只适用于文件已经上传到集群情况下进行分布式计算。《ACaseforPackingandIndexinginCloudFileSystems》PaperName/FeatureTypeNameNodeMemoryusageAppendextraSystemHDFSpre-uploadCreationOverheadReadingEfficiencyHARArchived&IndexBasedLowNoNoYesVeryHighLowMapFileArchived&IndexBasedVeryLowForspecialkeysNoNoModerateHigh(O(logn))SequenceFileArchiveBasedVeryLowYesNoNoLowLow(O(n))NHARArchive&IndexBasedLowYesNoYesHighHighOMSSMapFileBasedVeryLowForspecialkeysNoNoModerateHighTLB_MapFileMapFileBasedVeryLowForspecialkeysNoNoModerateHighSHDFSArchive&IndexBasedLowYesYesNoHighHighSFSArchive&lndexBasedLowYesYesNoHighHighLHFArchive&lndexBasedLowYesNoNoModerateHighDQSFArchive&lndexBasedLowYesNoNoHighHighHPFArchive&lndexBasedLowYesNoNoModerateVeryHigh(O(1)）识11进行过滤，小文件进行合并，超小文件直接与元数据一起合并AAuxioMasterArchivedGenerationModueutrasmafiestorageAsMetadatasmafieFiesizeFitersmaFieMergeArchivedMetadataArchivedGenerationModueutrasmafiestorageAsMetadatasmafieFiesizeFitersmaFieMergeArchivedMetadataManagementModueArchivedstorageModueArchivedstorageModuegRPCservice23AuxioworkerAuxioworkergRPCservice中AuxioCientNews_1News_3Alluxi