• 参会报名
  • 会议介绍
  • 会议日程
  • 会议嘉宾
  • 参会攻略
  • 邀请函下载

主页 > 明升m88备用网站 > IT互联网会议 > 2019大数据渠道树立高功能核算最佳实战(10月北京班) 更新时刻:2019-04-18T17:56:29

2019大数据渠道树立高功能核算最佳实战(10月北京班)
保藏3人
共享到

2019大数据渠道树立高功能核算最佳实战(10月北京班)

会议时刻:2019-10-21 08:00至 2019-10-24 18:00完毕

会议地址: 北京  详细地址会前告诉   周边酒店预定

会议规划:暂无

主办单位: 北京中培伟业办理咨询有限公司

发票类型:增值税普通发票 增值税专用发票
收取方法:会后快递 
发票内容: 会议费 会务费 会议服务费 
参会凭据:现场凭电话名字参会

门票称号单价截止时刻数量
会务费 (含操练费、场所费、资料费、学习期间午饭),食宿可统一组织,费用自理。请学员带身份证复印件一张。 ¥5800.0 2019-10-18 17:00

会议介绍

会议内容 主办方介绍


2019大数据渠道树立高功能核算最佳实战(10月北京班)

2019大数据渠道树立高功能核算最佳实战(10月北京班)宣扬图

操练收益

经过此次课程操练,可使学习者取得如下收益:

1.深化了解在“互联网+”年代下大数据的发生布景、展开进程和演化趋势;

2.了解业界市场需求和国内外最新的大数据技能潮流,洞悉大数据的潜在价值;

3.了解大数据项目解决计划及业界大数据运用事例,从而为企业在大数据项目中的技能选型及技能架构规划供给决议计划参阅;

4.把握业界最盛行的Hadoop与Spark大数据技能体系;

5.把握大数据收集技能;

6.把握大数据分布式存储技能;

7.把握NoSQL与NewSQL分布式数据库技能;

8.把握大数据仓库与核算机器学习技能;

9.把握大数据剖析发掘与商业智能(BI)技能;

10.把握大数据离线处理技能;

11.把握Storm流式大数据处理技能;

12.把握依据内存核算的大数据实时处理技能;

13.把握大数据办理技能的原理常识和运用实战;

14.深化了解大数据渠道技能架构和运用场景;

15.熟练运用Hadoop与Spark大数据技能体系规划解决计划满意实践项目需求;

16.熟练地把握依据Hadoop与Spark大数据渠道进行运用程序开发、集群运维办理和功能调优技巧。

操练特征

1.课程操练业界最盛行、运用最广泛的Hadoop与Spark大数据技能体系。强化大数据渠道的分布式集群架构和中心要害技能完成、大数据运用项目开发和大数据集群运维实践、以及Hadoop与Spark大数据项目运用开发与调优的全进程沙盘模仿实战。

2.经过一个完好的大数据开发项目及一组实践项目操练事例,彻底掩盖Hadoop与Spark生态体系渠道的运用开发与运维实践。讲堂实践项目以项目小组的方法进行沙盘实操操练,要点强化了解Hadoop与Spark大数据项目各个阶段的作业要点,一起把握作为大数据项目办理者的根本技能与事务素质。

3.本课程的授课师资都是有着多年在一线从事Hadoop与Spark大数据项意图资深讲师,选用原理技能剖析和实战事例相结合的方法展开互动教育、强化以树立大数据项目解决计划为主体的运用开发、技能评论与沟通咨询,在学习的一起促进讲师学员之间的沟通,让每个学员都能在课程操练进程中学到实实在在的大数据技能常识体系,以及大数据技能运用实战技能,具有实践大数据运用项意图着手开发实践与运维办理布置才能。授课进程中,依据学员需求,增设沟通环节,可将详细作业中遇到的实践问题展开评论,讲师会依据学员的实践情况微调授课内容,由讲师带着悉数学员活跃评论,并给出必定的时刻让学员上台讲话,现场剖析问题的症结,规划出可行的解决计划。

检查更多

北京中培伟业办理咨询有限公司 北京中培伟业办理咨询有限公司

北京中培伟业办理咨询有限公司(以下简称“中培”)成立于2006年,其主营事务面向大中型企业的IT规划咨询事务和面向高端IT人才的操练类事务,其间咨询事务触及大型集团化企业的IT战略规划、IT架构规划、IT归纳管控等范畴,操练事务触及线上线下各种高档IT技能和办理类课程体系。借助于其优质的专家资源池和互联网渠道,中培现已为很多的世界500强企业、国有大中型集团化企业、世界闻名互联网企业供给过高质量的信息化战略规划、组织架构规划、科技人才办理、信息技能架构规划、信息体系开发和运维办理、信息化才能评测的相关操练与咨询服务。

会议日程

(终究日程以会议现场为准)


日程

操练模块

操练内容

第一天

上午

大数据技能根底

大数据的发生布景与展开进程

大数据的4V特征,以及与云核算的联络

大数据运用需求以及潜在价值剖析

业界最新的大数据技能展开态势与运用趋势

大数据思想的改变

大数据项意图体系与技能选型,及落地施行的应战

“互联网+”年代下的电子商务、制作业、交通工作、电信运营商、银行金融业、电子政务、移动互联网、教育信息化等工作运用实践与运用事例介绍

 

业界干流的大数据技能计划

大数据软硬件体系全栈与要害技能介绍

大数据生态体系全景图

干流的大数据解决计划介绍

Apache大数据渠道计划剖析

CDH大数据渠道计划剖析

HDP大数据渠道计划剖析

依据云的大数据渠道计划剖析

大数据解决计划与传统数据库计划比较

国内外大数据渠道计划与厂商比照

 

大数据核算模型(一)——批处理MapReduce

MapReduce发生布景与适用场景

MapReduce核算模型的根本原理

MapReduce作业履行流程

MapReduce编程模型: Map处理和Reduce处理

MapReduce处理流程:数据读取collect、中心数据sort、中心数据spill、中心数据shuffle、聚合剖析reduce

MapReduce开发高档运用:Combiner技能与运用场景、Partitioner技能与运用场景、多Reducers运用

MapReduce开发与运用实战:Hadoop渠道树立与运转;MapReduce装置与布置;

运用事例:依据HDFS+MapReduce集成的服务器日志剖析收集、存储与剖析MapReduce程序实例开发与运转

MapReduce参数调优与功能优化技巧

第一天

下午

大数据存储体系与运用实践

分布式文件体系HDFS发生布景与适用场景

HDFS master-slave体系架构与读写作业原理

HDFS中心组件技能解说,NameNode与fsimage、editslog,DataNode与数据块

HDFS Federation机制,viewfs机制,运用场景解说

HDFS高可用确保机制,SecondaryNameNode,NFS冷备份,依据zookeeper的HA计划

HDFS参数调优与功能优化

 

大数据实战操练一

1. Hadoop渠道树立、布置与运用实践,包括HDFS分布式文件体系,YARN资源办理软件,MapReduce核算结构软件

2. HDFS 文件、目录创立、上传、下载等指令操作,HDFS兼并、归档操作,HDFS监控渠道运用

3. MapReduce程序在YARN上运转,YARN监控渠道运用

第二天

上午

Hadoop结构与生态展开,以及运用实践操作

Hadoop的展开进程

Hadoop 1.0的中心组件JobTracker,TaskTracker,以及适用范围

Hadoop 2.0的中心组件YARN作业原理,以及与Hadoop 1.0的联络与差异

Hadoop要害机制:使命估测履行,使命容错,使命挑选履行,心跳机制

Hadoop YARN的资源办理与作业调度机制:FIFO调度,Capacity调度器,Fair调度器

Hadoop 常用参数调优与功能优化技能

 

大数据核算模型(二)——实时处理/内存核算 Spark

 

MapReduce核算模型的瓶颈

Spark发生动机、根本概念与适用场景

Spark编程模型与RDD弹性分布式数据集的作业原理与机制

Spark实时处理渠道运转架构与中心组件

Spark RDD首要Transformation:map, flatMap, filter, union, sample, join, reduceByKey, groupByKey

Spark RDD首要action:count,collect,reduce,saveAsTextFile

Spark宽、窄依靠联络与DAG图剖析

Spark容错机制

Spark作业调度机制

Spark缓存机制:Cache操作,Persist操作与存储等级

Spark作业履行机制:履行DAG图、使命集、executor履行模型、 BlockManager办理

Spark standardalone,Spark on YARN运转形式

Scala开发介绍与Spark常用Transformation函数介绍

Spark调优:序列化机制、RDD复用、Broadcast机制、高功能算子、资源参数调优

第二天

下午

大数据仓库查询技能Hive、SparkSQL、Impala,以及运用实践

依据MapReduce的大型分布式数据仓库Hive根底常识与运用场景

Hive数据仓库的渠道架构与中心技能剖析

Hive metastore的作业机制与运用

Hive内部表和外部表

Hive 分区、分桶机制

Hive行、列存储格局

依据Spark的大型分布式数据仓库SparkSQL根底常识与运用场景

Spark SQL实时数据仓库的完成原理与作业机制

SparkSQL数据模型DataFrame

SparkSQL程序开发与

SparkSQL数据读取与成果保存:json,Hive table,Parquet file,RDD

SparkSQL和Hive的差异与联络

SparkSQL操作实战

依据MPP的大型分布式数据仓库Impala根底常识与运用场景

Impala实时查询体系渠道架构、要害技能介绍,以及与Hive,SparkSQL的比照

 

Hadoop集群运维监控东西

1. Hadoop运维办理监控体系Ambari东西介绍

2. 第三方运维体系与东西Ganglia, Nagios

 

大数据实战操练二

依据 Hadoop渠道树立、布置与装备Spark集群,Spark shell环境实践操作,Spark事例程序剖析

依据sbt的Spark程序编译、开发与提交运转

运用事例一:依据Spark的服务器运转日志TopN剖析、程序实例开发

运用事例二: 依据Spark的搜索引擎日志热词与用户剖析、程序实例开发

依据MapReduce的Hive数据仓库实践,Hive集群装置布置,依据文件的Hive数据仓库表导入导出与分区操作,Hive SQL操作,Hive客户端操作

SparkSQL shell实践操作:数据表读取、查询与成果保存

第三天

上午

大数据核算模型(三)——流处理Storm, SparkStreaming

 

流数据处理运用场景与流数据处理的特色

流数据处理东西Storm的渠道架构与集群作业原理

Storm要害技能与并发机制

Storm编程模型与根本开发形式

Storm数据流分组

Storm可靠性确保与Acker机制

Storm运用事例剖析

流数据处理东西Spark Streaming根本概念与数据模型

SparkStreaming作业机制

SparkStreaming程序开发介绍

SparkStreaming的大局核算和窗口函数

Storm与SparkStreaming的比照

SparkStreaming开发事例:依据文件流的SparkStreaming程序开发;依据socket音讯的SparkStreaming程序开发

 

大数据与机器学习技能

机器学习展开进程

机器学习与大数据相关与差异

数据发掘经典算法

猜测算法:线性回归与运用场景,非线性回归与运用场景

分类算法:逻辑回归与运用场景,决议计划树与运用场景,朴素贝叶斯算法与运用场景,支撑向量机算法与运用场景

聚类算法; k-means与运用场景

依据Hadoop的大数据机器学习技能

依据MapReduce的机器学习库Mahout

Mahout支撑的数据发掘算法

Mahout编程模型与发

依据Spark的机器学习库Spark MLlib

Spark MLlib支撑的数据发掘算法

Spark MLlib编程模型与开发:依据Spark MLlib的文本分类,依据Spark MLlib的聚类

第三天

下午

大数据ETL操作东西,与大数据分布式收集体系

Hadoop与DBMS之间数据交互东西的运用

Sqoop导入导出数据的作业原理

Flume-NG数据收集体系的数据流模型与体系架构

Kafka分布式音讯订阅体系的运用介绍与渠道架构,及其运用形式

 

面向OLTP型运用的NoSQL数据库及运用实践

联络型数据库瓶颈,以及NoSQL数据库的展开,概念,分类,及其在半结构化和非结构化数据场景下的适用范围

列存储NoSQL数据库HBase简介与数据模型剖析

HBase分布式集群体系架构与读写机制,ZooKeeper分布式和谐服务体系的作业原理与运用

HBase表规划形式与primary key规划规范

文档NoSQL数据库MongoDB简介与数据模型剖析

MongoDB集群形式、读写机制与常用API操作

8.键值型NoSQL数据库Redis简介与数据模型剖析

9.Redis多实例集群架构与要害技能

10.NewSQL数据库技能简介及其适用场景

 

大数据实战操练三

1.Sqoop装置、布置与装备,依据Sqoop、MySQL与Hive操作MySQL数据库与Hive数据仓库数据导入导出

2.Kafka装置、布置与装备,依据Kafka创立和消费topic实践操作

3.Flume+HDFS+MapReduce/Spark大数据收集、存储与剖析实践操作

 

大数据项目选型、施行、优化等问题沟通评论

大数据项意图需求剖析、运用施行、体系优化,以及解决计划等咨询与沟通评论

第四天

学习查核与业界经历沟通

检查更多

会议嘉宾

(终究到会嘉宾以会议现场为准)


蒋教师  清华大学博士,云核算专家 了解干流的云核算渠道,并有商业与开源云核算渠道的实践经历,对云核算要害技能有深化了解和实践经历,如分布式体系、虚拟化、分布式文件体系、云存储等,参与并领导多个大型云核算项目。对大数据要害技能有深化了解和实践经历,如NoSQL数据库、大数据处理、Hadoop、Hive、HBase、Spark等。

赵教师  清华大学核算机双学士,甲骨文(我国)软件体系有限公司高档技能顾问,大数据、数据库、中心件技能和Java专家。15年IT工作从业阅历,10年操练授课经历。具有丰厚的大数据方法论、数据科学、大数据生态圈技能常识和大数据规划建造、运用施行和客户操练经历。

张教师  天津大学软件工程硕士,10多年的IT范畴相关技能研究和项目开发作业,在长时刻软件范畴作业进程中,对软件企业运作形式有深化研究,了解软件质量保证规范ISO9003和软件进程改善模型CMM/CMMI,在详细项目施行进程中总结经历,有深化知道。知晓多种软件规划和开发东西。对软件开发整个流程十分了解,能依据项目特色定制详细软件进程,并进行项目办理和监控,有很强的软件项目组织办理才能。对C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大数据、云核算有比较深化的了解和运用,具有较强的移动互联网运用需求剖析和体系规划才能,了解Android结构、IOS结构等技能,了解各种规划形式,能在详细项目中灵活运用。

检查更多

参会攻略

会议门票


会务费:5800元/人(含操练费、场所费、资料费、学习期间午饭),食宿可统一组织,费用自理。请学员带身份证复印件一张。

本课程由我国信息化操练中心颁布《大数据渠道树立与高功能核算高档工程师》证书;证书可作为专业技能人员工作才能查核的证明,以及专业技能人员岗位聘任、任职、定级和提升职务的重要依据。

检查更多

温馨提示
酒店与住宿: 为避免极点情况下活动延期或撤销,主张“异地客户”与明升88客服承认参会信息后,再组织出行与住宿。
退款规矩: 活动各项资源需提早收购,购票后不支撑退款,能够换人参与。

标签: 大数据

明升88为本会议官方协作
报名渠道,您可在线购票

会议支撑:

  • 会员扣头
    该会议支撑会员扣头
    详细扣头规范请拜见plus会员页面
  • 会员返积分
    每消费1元累积1个会员积分。
    仅PC站支撑。
  • 会员积分抵现
    依据会员等级的不同,每抵用1元可运用的积分也不一样,详细可拜见PLUS会员页面。 仅PC站支撑。

会议地址

部分参会单位

主办方没有揭露参会单位

便利下单

明升88_小程序便利下单

微信扫一扫
运用小程序便利下单

会议资助

邮件提示告诉

共享到微信 ×

翻开微信,点击底部的“发现”,
运用“扫一扫”即可将网页共享至朋友圈。

录入信息

请录入信息,便利生成邀请函