最近，金山软件MapReduce（KMR）与英特尔合作推出。KMR是一个基于Intel到Intel处理器E5v4系列硬件平台的可扩展通用数据计算和分析平台。基于ApacheHadoop和ApacheSpark，通过自动调度灵活计算服务（KEC），帮助企业用户快速构建分布式数据分析系统。金山云的发展大致可分为三个阶段：云计算、大数据和人工智能。换言之，云计算是以iaas和虚拟化技术为核心支持，使企业把业务放在云上，降低部署成本，加快企业业务的发展。接下来，云中会生成大量数据，因此我们必须能够使用这些数据来驱动企业做出决策。此时，我们需要以Hadoop为代表的大数据处理技术。第三步，其实是人工智能，比如人脸识别，这本身就是一个很高的性能和规模要求的行业，自然为云，所以金山之后的云将重点放在布局上。为了实现这一目标，我们依靠金山云高性能异构计算集群的机器学习/深度学习任务托管平台——金山云机器学习（KML），将Intel等合作伙伴的技术集成在一起。会议上，金山云达数据与人工智能技术总监张东进从成本、效率、性能和安全四个方面阐述了KML的价值。在成本方面，平台根据实际运行时间收费，有助于企业节约系统开发和维护成本。在效率方面，这是一个全功能的深度学习集成环境，包括TensorFlow和IntelBigDL框架。由于它是一个全过程的平台，从整个物料预处理、物料存储、物料培训、评估、在线预测等方面提供了完整的支持。在安全性方面，人工智能的核心不是算法或数据。KML可以提供企业级的数据加密和企业级的HPC集群，保证数据安全。在性能方面，底层是基于成熟的异构计算集群，包括Intel的高性能E5系列CPU，以及10000 Mbp网卡和Intel SSD技术。至于英特尔，技术专家也表示，金山云一直努力合作的部分是端到端、基于云的大数据解决方案。以最典型的kmr计算为例，数据是存储在块中还是存储在对象中？这其实是一种不同的配置，比如用户想要节约成本，想要最低的成本，都是批量处理的，这时可以把所有的数据放在底层的对象存储中，用ks3作为对象存储，这样在计算时，spark直接从对象存储中调用数据表。计算。同样，如果我们想保证效率，计算的实时性要求也很高。此时，我们可以在内存中构建一个内存文件系统，现在称为alluxio，它将所有热数据缓存在内存中。我们可以直接使用上面的kml或spark来实现内存计算，以确保实时查询和实时计算。因此，英特尔与金山云的合作目标是优化每一个模块，根据云的特点，结合大数据的特点，把双方结合起来。

« “问卷网络”用户突破300万发布CEM管理系统作为行业解决方案 | Airbnb已暴露于连续的“房屋破坏”：没有门槛导致水土适应 »