大数据开发工程师

实战网易大数据项目,掌握大数据核心技能
企业级数据仓库建设,PB级历史数据离线计算,毫秒级低延迟实时计算

893 次查看
网易
网易云课堂
  • 完成时间大约为 7 个月
  • 中级
  • 中文
注:因开课平台的各种因素变化,以上开课日期仅供参考

课程概况

本课程设计来自于实际就业需求,老师以就业为导向设置课程大纲,基本涵盖了目前市场上大数据开发工程师所需要的所有技术,是大数据开发工作中实际会用到的知识点,我们课程中设计项目案例,都是网易等一线互联网公司的实际在用的方法,由网易技术大牛亲自讲授;此微专业是一个完整的大数据知识体系的课程,只要依照老师们的安排,用心认真地学习,成为高级工程师或者入职一线互联网公司,是完全没有问题的。

完成所有课程的学习,并按时提交作业参加考试,即可获得由网易云课堂颁发的合格证书;此证书已获得猎聘网、LinkedIn(领英)等求职招聘渠道的认可,含金量高,是求职的加分项。

课程项目

【网易有道】曰志离线分析平台
以网易有道实际业务为依托,介绍日志的收集、存储、加工处理和展示的整个方案。

核心技术
Hive、Kafka、Presto、HDFS、MapReduce

学员收获
通过学习本模块,体验真实环境中数据平台所面临的问题和解决思路,了解真实环境中数据开发要解决的问题。

【网易严选】电商数据仓库实战
以网易严选实际业务为背景,结合电商行业固有特点及数仓的主题域、分层、维度建模等理论,使用开源大数据技术形成一套从数据采集、加工处理、任务调度、数据查询、数据监控等大数据解决方案。

核心技术
数据仓库的主题域、分层、维度建模

学员收获
掌握数据仓库系统的架构、数仓的主题域、分层、维度建模等理论。

【网易严选】电商实时数仓实战
基于网易严选实时数仓真实业务场景,从交易和流量指标维度构建电商实时数据大屏,从设计、实现到应用搭建了严选实时数仓。

核心技术
数仓设计、业务建模、技术选型、数据模型开发、性能调优

学员收获
以Flink为基础,掌握严选实时数仓设计、开发和应用全链路实战。

【网易严选】电商用户画像实战
基于网易严选的真实用户画像使用场景,运用数据仓库、数据挖掘构建用户画像系统。

核心技术
数据仓库、数据挖掘

学员收获
理解数据仓库的基础上,快速掌握电商用户画像知识体系。

【网易有道】广告实时数据处理实战
以网易有道广告业务为背景,结合广告统计的特点,使用开源大数据技术形成一套集数据采集、存储、统计、查询、监控为一体的大数据解决方案。

核心技术
Kafka、Druid

学员收获
掌握Kafka、Druid、GoblDlin、Samza、Hadoop、Azkaban、Spark、Zepplin等开源大数据框架和大数据实时统计的知识。

【网易有道】广告离线数据处理实战
在网易有道广告实时数据处理的基础之上,讲解了离线处理相关的知识点,并重点对系统的高可用搭建、管理、监控进行了讲解。

核心技术
高可用架构、离线统计、系统监控

学员收获
掌握Kafka落地HDFS,Druid批量任务管理,Druid集群高可用搭建和管理;掌握Spark + Zepplin实现灵活的离线统计任务。

【网易游戏】实时数据处理实战
以网易游戏的数据业务场景为依托,使用Flink为实时计算引擎,以Flink为主体对海量游戏日志数据进行ETL和入库,进行实时游戏数据统计分析,实时指标生成以及实时监控运维。

核心技术
Flinks Elasticsearchs ETL

学员收获
掌握Flink的编程API;掌握Flink与各大存储引擎如Kafka, HDFS, Hbase, Basticsearch, Kudu, Mysql等进行交互。

【网易游戏】多数据源游戏业务实时分析
依托网易游戏在处理游戏数据中的真实业务场景,提炼网易游戏在实时数仓、跨数据源分析、权限控制、监控告警等多个关键领域的实践经验。

核心技术
kudu、Prestos Elasticsearch

学员收获
了解大数据平台的架构、开发和应用,培养海量数据实时分析、Hive/MySQL等多数据源关联查询、监控报警的能力。

【网易云音乐】搜索业务实时特征实战
以网易云音乐在搜索中的实际需求为背景,通过对用户搜索、播放、下载、分享等行为的处理和关联,实时追踪到用户对任意一个搜索关键词的反馈,为算法决策、搜索词打分等场景提供重要的数据支持。

核心技术
Kafka、Flink

学员收获
掌握Flink DataStream API和Flink State的用法;掌握通过大数据实时计算实现云音乐实时搜索。

【网易云音乐】每曰推歌实战
依托网易云音乐Magina实时计算平台,通过每隔10分钟计算过去24小时点歌台被点歌曲排行榜前10的歌曲,将这些音乐推荐到每曰推荐排行榜,给用户推荐大众最喜欢的歌曲。

核心技术
Flink、Kafka、ETL、MapState、Redis

学员收获
掌握实时读取kafka数据,数据ETL,滑动窗口使用,MapState的使用,实时写数据到Redis。

【网易云音乐】推荐算法应用
以网易云音乐真实的复杂业务为背景,结合音乐场景的特点,从音乐用户画像与特征系统、召回算法系统与排序算法系统入手,针对不同的系统分解应用不同的技术,由简入深,深度结合工业级场景进行项目讲解。

核心技术
用户画像体系、特征工程、召回算法、
排序算法

学员收获
全面了解工业级推荐系统,理解用户画像与特征系统,协同过滤、矩阵分解与双塔模型线性与非线性基础模型及深度模型。

预备知识

1、会一门开发语言,最好是Java,无编程语言基础人员,需参与专业Java基础测试,通过可学习课程;如果您是开发零基础,我们推荐您学习Java系列的微专业,然后再学习大数据的课程。
2、懂Linux系统的常用操作,能够使用命令行的方式操作Linux系统。
3、会MySQL数据库,会用SQL语言对数据库进行操作。
4、有一颗积极向上和渴望提升自己的心!(此微专业为提升课程,学习周期较长,也有一定难度,需要坚持)

证书或学分

完成所有课程的学习,并按时提交作业参加考试,即可获得由网易云课堂颁发的合格证书;此证书已获得猎聘网、LinkedIn(领英)等求职招聘渠道的认可,含金量高,是求职的加分项。

常见问题

Q:请问这个课程是怎么上的?录播还是直播呢?
此门微专业总共时长在200个小时左右,课程采取在线录播(占比70%)+在线直播(占比30%)+线上作业测评及考试的形式完成;按照班主任老师提供的课程表,有计划的进行学习。如果需要提前查看即将开班的课程安排,可以添加助教老师微信号:neteasebio,获取详细课程安排。

Q:可以跟老师互动交流吗?
可以的!报名后有以下4种方式跟老师互动:
1) 在学习录播课程期间,我们会不定期组织老师进行答疑直播(无法参加的同学,可以查看录播),时间为晚上8点到10点,1次2小时左右,具体日期会在学员群里通知,学习公告也会有展示;
2) 在学习直播课程期间,可以在课前或课后向老师提问,随堂进行互动和问题解答;
3) 在讨论问答区向老师发帖提问,工作日老师24小时内回复;
4) 可在班级学员群向老师、助教和班主任进行提问,会在第一时间进行帮助和解答的。

Q:请问有没有课程报名截止时间?
是有报名截止时间的,本期的截止时间以及下一期的开课时间,可以添加助教老师的微信号询问一下:neteasebio;每期会提前30天左右进行新一期的招生,为了避免错过开班时间,请尽早安排报名事宜。

Q:课程的观看和班级服务期限是多久?
此微专业的学习时长在200个小时左右,学习周期为7个月,课程观看期限为7个月(学习周期)+5个月(复习时间)=12个月(合计1年,从开班之日算起,至第二年同日的23:59),超过期限,将不能继续观看视频;班级服务期限等同于课程观看期限的算法,但是班级群不会解散,有问题班主任和助教还是会响应与解答。
根据我们以往的经验,7个月内完成学习,5个月进行复习和巩固,是较为合理的安排,老师也希望同学们能够在规划的时间里完成学习并找到一份满意的工作~给自己一点压力,坚持下来!

千万首歌曲。全无广告干扰。
此外,您还能在所有设备上欣赏您的整个音乐资料库。免费畅听 3 个月,之后每月只需 ¥10.00。
Apple 广告
声明:MOOC中国十分重视知识产权问题,我们发布之课程均源自下列机构,版权均归其所有,本站仅作报道收录并尊重其著作权益。感谢他们对MOOC事业做出的贡献!
  • Coursera
  • edX
  • OpenLearning
  • FutureLearn
  • iversity
  • Udacity
  • NovoEd
  • Canvas
  • Open2Study
  • Google
  • ewant
  • FUN
  • IOC-Athlete-MOOC
  • World-Science-U
  • Codecademy
  • CourseSites
  • opencourseworld
  • ShareCourse
  • gacco
  • MiriadaX
  • JANUX
  • openhpi
  • Stanford-Open-Edx
  • 网易云课堂
  • 中国大学MOOC
  • 学堂在线
  • 顶你学堂
  • 华文慕课
  • 好大学在线CnMooc
  • (部分课程由Coursera、Udemy、Linkshare共同提供)

© 2008-2020 CMOOC.COM 慕课改变你,你改变世界