achyon on mesos：分布式内存系统在mesos应用中的实践张明锋

tachyononmesos数人科技张明锋相关议题1.mesos2.tachyon3.tachyononmesosmesos是什么tachyon是什么>为什么要这样做，解决了什么问题>如何实现，实现中的评估>后续工作以及展望Mesos能做什么1，kernel提供资源分配和frameworks注册和管理2，丰富的frameworks满足各种定制化作业的需求long-job:marathoncron-job:chronosdatabase:casandra,hbase,mysqlframework3,通过driver形式原生支持KVM,物理机，docker等Mesos架构1，通过master来实现framework注册，资源分配2,通过slave来实现任务执行mesos中文文档：/Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.mdMesos资源分配和任务执行1,通过两层scheduler来提供资源2,通过framework下发到mesosslave上的executor来执行特定作业mesos中文文档：/Dataman-Cloud/Mesos-CN/blob/master/SUMMARY.mdtachyon能做什么1,降低数据交互查询的时间2，支持可插拔的数据管理策略热数据导入内存冷数据存入hdd,SATA3，内存中数据不存在重复，并减少GC时间4，保证内存中的数据安全当job意外挂掉。tachyon架构1，master负责工作流和worker管理2，worker针对上层作业和底层存储实现相应的功能为什么我们要做tachyononmesos现有的{spark,hadoop}onmesos大数据解决方案，仍然继承了传统大数据尤其是交互式数据处理中的多次数据提取的时间问题和由于作业失败而导致的数据丢失和重新提取问题。SparkjobHadoopjobSparkSchedulerHadoopSchedulersparktask1Map-reduce{spark,hadoop}appmesosmasterhadooptask1hadooptask2sparktask2mesosslave分布式文件系统HDFSDFS为什么我们要做tachyononmesostachyon能够很好的解决该问题，但手动搭建和维护成本非常之高而且不支持动态扩容和存在一定的资源浪费SparkjobHadoopjobSparkSchedulerHadoopSchedulersparktask1Map-reduce{spark,hadoop}appmesosmasterhadooptask1hadooptask2sparktask2mesosslave分布式文件系统HDFSDFS内存存储层ta盯ch仗yo得n拣on恨m驳es洽os祖实现胜和考积量考量姥标准转：1，励更少坚的人乱工干骨预和鸡me验tr累ic首s监扑控2，烘减宁少中霜间层箱的抽稠象，远更高部的资售源利画用率fr工am滑ew熟or栽k借mo绿dema刷ra猫th斗on阴d杯ep是lo封y脚mo避deta逢ch采yo绝n夹fr额am毒ew锤or依kSme疼so警s枪sl翅av福eta户ch竟yo户n韵wo龙kr轮erme欲so戴s喇sl像av仁eta眉ch洗yo床n脂wo苏kr猪erTTMa乌ra衣th而onme保so斑ssl霜av以eTh快ac沉hy栏onwo死rk爆sme惜so安ssl苗av锄eTh死ac驶hy级onwo裂rk垮sme挥so佣ssl驱av朴eTh足ac牙hy宅onwo菜rk嗽s后续控工作有及展担望1，缺开源2，幅多租庸户实批现3,添针对否多m唱as词te筹r租统一郊使用庆zo垃ok桌e