2018-10-17 14:00

　　范振国：大家下午好，今天分享美团点评在Hadoop上对ARM的应用介绍。分为四个议题：公司介绍、ARM CPU、ARM Server，Hadoop应用，还有测试问题和对后期的展望。

　　美团点评作为中国领先的生活服务电子商务平台，拥有美团、大众点评、摩拜单车、美团打车、美团外卖等APP和入口，涵盖的服务品类非常全，希望能够给大家的生活带来更多便利。公司发展历程，点评03年在上海成立，美团2010年在北京成立，2015年美团和点评合并，上个月在香港上市。归类四个大业务，到家、到店、出行、旅行，有相应的APP和入口。日活还有买家商铺的数据，都在细分市场非常高。年度活跃买家300多亿，活跃商户500多万。美团点评作为“互联网+”的企业，践行五个理念，创新、协调、绿色、开放、共享。

　　在数据中心企业级的服务器上，X86 CPU主要占了96%的份额，剩余4%非X86，主要有ARM CPU、MIPS、Power（IBM）、Alpha（HP），MIPS比较少，ARM和Power相对用的多一些。Arm芯片公司主要有华为、华芯通、CAVIUM、AMPERE，天津安腾。目前跟美团有合作的华为、华芯通。AMPERE正在洽谈，也正在找CAVIUM的工程师来谈合作。ARM的生态不相对如X86做得好，但经过这些年的发展也还可以，想做一些应用的话还是有技术支持的。从底层、OS、虚拟化都是有支持的，还有上面的云架构、中间件、java等，都是支持的。在Hadoop一致性成本还是比较低，主流的数据库ARM也是支持的。

　　Arm服务器，有单路和双路服务器。单路是12内存，32个pcie通道。双路服务器是2颗CPU，48个lan，常规应用上都能满足，存储方面，12盘是可以满足的。

　　美团的Hadoop集群，来源于社区版，基于美团自己的应用也做了些定制开发，支持离线计算，实时计算，还有深度学习，例如DeepLearning，都是在一个统一的大集群上面跑。我们大集群现在有数万台机器，机房两个，北京一个，宁夏一个。并发非常高，每天处理数亿条任务，存储的总量数百PB的量级。

　　美团大数据的机房结构是双中心，两个机房都有相应的服务。每年的采购量很大，而且以后会越来越多，公司对于成本的考量逐渐提上日程，基本每年采购所有的服务器很多都是给了Hadoop集群。这么多的量，采购成本非常高。我们的机柜都是租赁的，每个机柜都是20安，25安，机柜放不满，单机功耗比较高，也是我们的负载比较重，每台服务器资源压榨的比较充分，每天会有很多数据增量，我们的存储容量也在不断越来越大。有这几个迫切的需求，有什么能够帮助我们降低成本，我们尝试了很多硬件。

　　ARM大数据的业务场景偏IO密集型的，而且是偏并发的，和ARM的特性优势比较吻合，ARM处理高并发还是可以的，再就是它的成本确实相对比较低。我们有业务场景是用单路服务器对标X86双路服务器，单路服务器的性能不逊于双路服务器，所以采购成本比较低。再就是刚才讲生态的时候提到，大数据更多是用JAVA，对于生态的依赖比较小，如果想搞数据库对生态的依赖很大，X86确实不好干，方便业务软件的迁移和移植。

　　美团流程特别多特别繁杂，我们也是选了几个跟大家分享一下。厂商根据我们的测试报告进行自测，反馈给我们，我们会审核。进行double测试，运维的同事加入进来，进行运维测试、业务模拟措施，之后进行线上模拟测试，如果线上模拟测试没有问题，会灰度采购一小部分，这是大概的流程。测试线有两百项左右。ARM服务器虽然不是非常强，但是也不弱，不管在IO处理还是CPU计算性能上有不错的表现。这个图显示的配置跟正在使用的ARM配置非常像，包括CPU和内存，业内比较关注的几个点，内存的时延百级纳秒，内存带宽也能达到理论带宽。下面网络跟存储的实测性能也是能够达到部件标准的规格所达到的性能指标，这个是非常不错的，达到部件标称的规格数值。

　　业务的模拟测试，选择15台机器，有5台是ARM服务器。10台intel的机器（2组），ARM服务器的性能表现也不差，正在跑Hadoop的业务，目前通过监控的数据指标是没有问题的。我们希望通过选用这样的新硬件来降低我们的TCO，降低采购成本。目前来看采用ARM之后我们的部署密度提高30%，功耗确实低，成本比较便宜，降低20%多，对我们来说性能也是达标的。

　　ARM架构毕竟不是X86的，从最开始的OS部署碰到各种各样的问题，包括后期测试上层应用的时候，也是遇到各种各样的问题，但是都是可解的，花了一些时间而已。我们希望优秀的服务器厂商像浪潮、联想能够加入到这个圈子里面来。生态确实是有待完善，尤其Hadoop在Hadoop常用的压缩、解压缩库上都不太完备（lzo），我们正在灰度采购，后期会更多。

　　希望有更多的合作伙伴一起加入做这个事情，开源社区还是非常重要的，目前ARM的社区Linaro做得比较多，希望更多的软件厂商一起丰富ARM生态环境。我们的初衷继续降低成本，定期发布新产品，Update给公司更多的支持。大家想拿到详细的测试资料可以扫一下我的二维码。

　　谢谢！