唯品会实时计算平台的演进之路
2018年7月01日
大数据/数据驱动
王新春
唯品会数据平台实时团队高级架构师

唯品会数据平台实时团队高级架构师,主要负责实时计算平台、实时数据清洗和实时报表等业务;在加入唯品会之前,是在美团点评(原大众点评)数据平台高级架构师;从零开始搭建实时计算平台和以及数据平台工具体系开发和建设等工作。

  • 分享简介

    唯品会现在最多使用的流计算框架还是Storm,但是核心应用已经在逐步迁移到Flink上实时/流计算在互联网公司的业务应用中越来越占用重要的地位,技术发展也在快速迭代,计算框架层出不穷。

    本次分享将展示唯品会在实时计算方向上的历程、心得和实时计算中遇到的各种挑战。在大规模使用Flink做计算引擎和使用Kubernates管理计算节点的探索经验

  • 分享提纲

    1.  实时计算平台现状:1700台物理机,700+应用;99.99%可用性

    2.  实时平台的发展历程:早期开发SQL失败;现在平台管理、底层计算框架和开发运维统一

    3.  实时计算的难点与挑战:时序、TPS和延迟如何抉择

    4.  实时平台的发展方向:使用从Storm迁移到Flink的计算公司  

    5.实时业务指标的经验;以及使用Kubernates建设实时平台的历程和架构模式。

     

  • 分享收益

    1了解实时计算的技术发展趋势和历程以及唯品会在实时计算平台过程中积累的宝贵经验

    2通过Storm迁移Flink节约1/3计算资源,提升稳定性

    3使用Kubernates来管理容器化的实时计算平台的最新进展

热门推荐