大数据:未来世界的新能源

大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。通常要配合存储、云计算等分布式收集、处理技术。

大数据的企业应用场景就是介绍大数据在行业的应用,体现大数据商业价值。比如:医疗行业用大量的数据分析,帮助病人对抗疾病;零售行业或电商可以根据数据的分析提前调整库存或物流点;甚至警察可以根据大数据提前预测犯罪发生。

大数据:未来世界的新能源

2016年阿里巴巴云栖大会上,马云表示,大数据将和石油、煤炭等一样,成为未来最重要的能源,人类第一次自己创造了一种能源。衣服别人穿过,你再穿就不值钱,但是数据别人用过,你再继续用会更值钱,数据是一种越用越值钱的东西。

大数据时代将会给人类社会带来巨大变化,它是一个好的工具,就像计算机一样,帮助人们提升社会生产效率,帮助政府和企业进行科学决策,降低决策风险,加快进入智慧社会。

行业平均收入

在美国,大数据分析师平均每年薪酬高达17.5万美元,而国内顶尖互联网公司,大数据分析师的薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。

目前北京数据分析师平均薪酬为9K以上,应届毕业生薪酬也要比其它职位高出一些。

课程大纲

甄选行业热门技术,迭代更新课程

第一阶段 (Hadoop离线计算)

Linux

VMware安装及使用、Linux基本命令、shell脚本编写

Hadoop技术

Hadoop生态区介绍、分布式集群搭建、工作原理介绍

HDFS文件系统

HDFS设计理念、优缺点、Java接口操作HDFS、HDFS可用性(HA)、RPC通信原理、HDFS读写源码分析

MapReduce计算模型

MR任务执行过程、理解Yarn模型、数据输入输出处理、Sorted排序、Partitioner分区、Combiner合并

分布式集群

介绍Zookeeper、理解节点,角色,观察,选举概念、安装、集群管理

阶段目的:通过学习能够收集Web日志,对日志进行离线统计分析

第二阶段(离线分析)

Hive数据仓库

Hive安装及mysql结合、常见操作命令、 内布表,外部表,分区表,桶表的应用、数据的导入和导出

HBase分布式数据库

Hbase简介、Hbase集群环境的搭建、理解Hbase体系架构、Hbase Shell命令、JavaAPI

数据迁移工具Sqoop

配置Sqoop、使用Sqoop把数据从mysql导入到HDFS中、使用Sqoop把数据从HDFS导出到mysql中

Pig数据分析平台

Pig概述、SQL-LIKB语言Pig Latin、安装Pig、Pig应用

阶段目的:通过项目练习熟悉海量数据的存储方式及数据迁移

第三阶段(实时计算)

Storm

Storm实时数据处理平台安装部署、Storm常用操作命令、Storm编程接口、Storm编程实战

阶段目的:通过项目练习掌握流式计算机框架应用

第四阶段(分布式进阶)

Spark

Spark简介、Spark集群搭建、Spark结构设计与编程、SparkSQL原理及实践、SparkStreaming、MLLib、Graphx

阶段目的:通过项目练习掌握Spark在实际环境中如何应用

第五阶段(项目实战)

项目练习

大型Web项目日志分析

阶段目的:通过最终实战项目将所学技术巩固,提高就业能力

实战项目

真实项目练习,提高就业实战能力

work

网站日志统计分析平台

通过分析每日Web Server所记录的用户访问日志,提取访问用户的数量、规模、访问网站的规律等数据,帮助企业实现机器数据价值的洞察, 助力运维,提升运营,实现大数据战略的快速落地。

  • 评价网站更新质量的重要指标
  • 低成本收集运营过程中可量化的数据
  • 利用互联网企业优势提高竞争力

学习生活

提供优质教学环境、并定期组织课外拓展,学员分享、企业参观、双选会等活动

常见问题

Q:我没有计算这方面机基础,能学会么?

A:建议可以学习软件测试,学习门槛较低,非计算机专业也更易入门,但需要一定的逻辑思维能力。当然,具有理工科背景或掌握一定基础的同学会有学习优势。入学的时候,我们会有相关的测评考试,也会有职业规划老师根据测评结果提供适合你的课程建议。

Q:每个学生都能100%保证就业吗?

A:我们并不是在包就业,我们的课程的实战性很强,凡是在浩泰思特毕业的学生,终身免费推荐就业,目前还没有无法就业的学员。

Q:现在企业会接受大专学历吗?

A:对于一些文职职位来说,学历是个硬性要求;但对于技术岗位来说,企业更看重的个人的能力,学历不是硬性要求。我们一个上市合作企业的部门总监说过,我更倾向于技术好的面试者,我们很多员工都是大专生,他们好学努力,而且更踏实。

Q:从事软件测试会不会不好转型?

A:其实是很好转型的。第一种走技术路线,成长为高级软件测试工程师,再向上发展可以成为软件测试架构设计师。第二种就是向管理方向发展,从测试工程师到组长(Lead),再到项目经理(Manager),到更高的管理职位。

Q:这些技术会不会很快被淘汰?比如软件测试?

A:目前企业对高质量的测试工程师需求量越来越大越大,过去国内对测试工程师的职业重视程度不够,但现在公司之间的竞争都集中在软件质量方面,所以公司对软件测试人员的需求量也越来越大,软件只要不被淘汰,这些技术就不会。

Q:参加培训和直接就业有区别吗?

A:是有区别的。培训的目的就是为了参加工作后能够立刻上手。而直接就业的话需要时间去学习。但目前的企业普遍都不愿意花时间和人力成本去培养一个小白,他们宁愿多花一点钱去雇一个是有实际经验的人。

Q:我想考研(本),不想参加培训。

A:其实考研与参加培训是不冲突的,考研是提升学历提高就业竞争力,参加培训是增加技术竞争力。在这个社会中,能力要比学历更重要。我们的学生有好多的本科生和研究生。更建议有实际工作经验后再提高学历。

Q:IT行业男生居多,我是女生就业前景怎么样?

A:很多人可能会认为IT是男性主导的行业,其实这是一个误区。就软件测试来说,女性更为适合。女性表达力和亲和力强,适合统筹管理工作。有很多大型企业就是想招女生找不到呢,所以进入IT行业,女生其实要比男生吃香的。

Q:听同学说前端更简单,是不是真的?

A:测试并没有Web前端代码多,Web前端也是开发的一部分,只是偏于前端开发,但绝不是你想的那种不用写代码或者很少的代码可以干很多的事情,目前还不存在这样的技术。测试的逻辑思维很重要,善于使用工具配合工作。

Q:我想转行,有过几年的工作经验了,一般就业薪资能达到多少?

A:对于有工作经验,本身就是一种优势,因为对于企业业务流程等比较熟悉。一般没有工作经验的应届毕业生都能在6000以上,近期就业的学员中,学习成绩好的薪资已经达到13000元了,有就业经验会更加有竞争力。


迈出第一步

开启你的IT成长之路

联系客服 联系电话