博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
实现Spark集群部署 这些公司都经历了什么?
阅读量:6526 次
发布时间:2019-06-24

本文共 827 字,大约阅读时间需要 2 分钟。

软件公司Intuit和Novantas经过深思熟虑,决定部署他们的第一个Spark集群,限制初始用户访问并寻找坚实的商业用途。

Intuit公司建立了Spark集群,最初用于在网站和进入在线表单的数据用户的财务和会计软件分析点击流记录。但是Intuit的副总裁Bill Loconzolo并不打算使用开源数据处理引擎。

Loconzolo表示,在他的印象中,Spark似乎并不是很灵活。但是尽管Spark集群设置是实验性质的,数据科学家团队也可以使用。Loconzolo说,2016年年底之前,他不打算开放系统。

他想要建立一个基于Cloudera公司Hadoop分布的大数据分析架构,他准备使用Spark等新技术至少六个月,以便判断公司是否做好了准备。

“以前使用大数据技术时,我们有过类似的教训,”他解释说,“有时候,提前做准备是我们避免失败的有效方式。”

Novantas公司的首席技术官和工程主管Kaushik Deka表示,开始使用Hadoop时,他的团队也采取了非常谨慎的战略模式。

“一年前,我们从未使用过大数据平台,”Deka说,“我们完全认同这样的技术,但想要使用这些技术,公司内部文化需要做些真正的努力和转变。”Novantas还必须通过对现有员工进行培训,建立像Spark一样的内部专业工具。

为了避免偏离轨道,该公司非常谨慎地寻找一个坚实的初始业务用于大数据技术。达到搜索高峰时,银行利用其分析服务和软件结合不同的数据集来支持个人客户如何应对市场营销的预测模型。Spark非常适合该应用程序,可以作为一个引擎完成提取、转换和加载数据集成工作。

Gartner分析师Nick Heudecker说,咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少。他说,“我们对这项技术很感兴趣,Spark是否转化为部署是我们密切关注的事情。”

本文作者:佚名

来源:51CTO

转载地址:http://skibo.baihongyu.com/

你可能感兴趣的文章
JAVA程序员面试30问(附带答案)
查看>>
程序猿生存指南-24 加班狂魔
查看>>
「实战篇」开源项目docker化运维部署-开篇(一)
查看>>
[译] 2019 为什么我们还会继续使用 PHP ?
查看>>
如何用SAP Cloud for Customer的手机App创建销售订单
查看>>
JDBC(五)PreparedStatement 详解
查看>>
深复制如此简单
查看>>
linux系统中软件安装三种方法
查看>>
今日头条宣布加入小程序市场!今日头条为什么加入小程序市场?
查看>>
领域驱动设计(Domain Driven Design)
查看>>
HTML 常用的标签
查看>>
「从源码中学习」彻底理解Vue选项Props
查看>>
Thymeleaf手动渲染,可做页面缓存
查看>>
minSdkVersion应该设置为15还是14
查看>>
Volley 源码解析之缓存机制
查看>>
Webpack源码基础-Tapable从使用Hook到源码解析
查看>>
原型链
查看>>
Web前端开发程序员不重要吗?那是不知道怎么学习
查看>>
用Jmeter做微信小程序项目接口测试【案例】
查看>>
小公司程序员的编程水平与BAT大厂到底有多大差距?
查看>>