首页
大数据分析师
大数据分析师 - 初级
大数据分析师 - 中级
大数据分析师 - 高级
大数据工程师
大数据工程师 - 初级
大数据工程师 - 中级
大数据工程师 - 高级
证书考试
首页
大数据分析师
大数据分析师 - 初级
大数据分析师 - 中级
大数据分析师 - 高级
大数据工程师
大数据工程师 - 初级
大数据工程师 - 中级
大数据工程师 - 高级
证书考试
登录
注册
登录
注册
大数据工程师 - 高级
第122任务： Day3118_PySpark实现从HDFS读取数据实现WordCount（属性配置）
查看课程
任务列表
第1任务： Day2501_大数据分析框架概要、Spark课程学习计划及建议
第2任务： Day2502_为什么学习SCALA语言及SCALA语言介绍和学习提纲
第3任务： Day2503_SCALA环境搭建及IDEA安装配置（JAVA安装、SCALA安装及IDEA安装）
第4任务： Day2504_SCALA语言HelloWorld及安装总结（作业LINUX系统安装）
第5任务： Day2505_SCALA中变量的声明（两种方式）
第6任务： Day2506_SCALA中数据类型及操作符
第7任务： Day2507_IF语句及WHILE循环、循环表达式及FOR基本使用
第8任务： Day2508_FOR循环深入讲解及yield功能
第9任务： Day2509_SCALA中的Breaks使用
第10任务： Day2510_函数的定义（如何确定一个函数）
第11任务： Day2511_函数的定义（各种情况下函数定义与使用）
第12任务： Day2512_函数的作用域、默认参数函数和名称参数函数使用详解
第13任务： Day2513_变长参数函数和内部函数使用详解
第14任务： Day2514_匿名函数定义与使用
第15任务： Day2515_高阶函数定义与使用
第16任务： Day2516_深入高阶函数的使用
第17任务： Day2601_数组Array和ArrayBuffer
第18任务： Day2602_SCALA中集合类Collections概要讲解（对比JAVA中集合类）
第19任务： Day2603_集合类之List和ListBuffer创建与基本操作
第20任务： Day2604_集合List中常见高阶函数使用详解（一）
第21任务： Day2605_集合List中常见高阶函数使用详解（二）
第22任务： Day2606_SCALA中元组创建与使用
第23任务： Day2607_集合类之Set及常见函数使用
第24任务： Day2608_集合类之Map创建与遍历
第25任务： Day2609_集合类综合应用：实现WordCount词频统计
第26任务： Day2610_类Class的定义与创建对象
第27任务： Day2611_对象object及apply方法
第28任务： Day2612_类class的构造方法（主构造方法和附属构造方法）
第29任务： Day2613_SCALA中的Trait初步使用
第30任务： Day2614_SCALA中异常的处理及模式匹配初步使用
第31任务： Day2615_模式匹配之匹配类型、元组
第32任务： Day2616_CaseClass及在模式匹配中使用
第33任务： Day2617_Option（Some、Node）及模式匹配使用
第34任务： Day2618_SCALA中隐式转换详解（结合案例）
第35任务： Day2619_SCALA中隐式参数详解（结合案例）
第36任务： Day2620_综合回顾复习SCALA的所有知识要点
第37任务： Day2701_SPARK框架学习的基础及与Spark初步认识（比较MapReduce框架）
第38任务： Day2702_Spark Feature详解及处理数据三步走策略
第39任务： Day2703_Spark 学习资源、源码下载及编译详解
第40任务： Day2704_SPARK 安装目录及使用的方便优点
第41任务： Day2705_Local Mode配置、启动spark-shell及运行程序测试
第42任务： Day2706_编程实现WordCount程序（类比MapReduce实现思路）
第43任务： Day2707_Spark Local Mode深入剖析详解
第44任务： Day2708_使用IDEA创建MAVEN工程及配置依赖
第45任务： Day2709_编写Spark Application开发模板
第46任务： Day2710_深入WordCount程序分析（sortByKey和top函数使用）
第47任务： Day2711_如何导入Spark源码至IDEA中（Windows下）
第48任务： Day2712_Spark Standalone 集群架构、配置、启动深入详解及运行spark-shell测试
第49任务： Day2713_浅析Spark Application运行Cluster组成及如何使用spark-submit提交应用
第50任务： Day2714_深入剖析Spark Application中Job、Stage和Task关系
第51任务： Day2715_案例：对原始数据进行清洗过滤及实现每日浏览量统计
第52任务： Day2716_案例：实现每日访客数统计及使用HiveQL进行结果验证、打包运行SparkStandalone集群
第53任务： Day2801_Spark Application运行的Deploy Mode详解（结合案例演示）
第54任务： Day2802_使用spark-submit提交应用运行Standalone集群及性能调优
第55任务： Day2803_Spark Application运行的EventLog启用
第56任务： Day2804_Spark HistoryServer配置及使用
第57任务： Day2805_RDD是什么及创建方式
第58任务： Day2806_RDD操作类型及持久化详解
第59任务： Day2807_RDD中常用的Transformation和Action详解（一）
第60任务： Day2808_RDD中常用的Transformation和Action详解（二）
第61任务： Day2809_案例：分组排序TopKey实现及如何处理数据倾斜（分阶段聚合）
第62任务： Day2810_SparkOnYarn：运行SparkApplication在YARN上（编写脚本）
第63任务： Day2811_SparkOnYarn：配置HIstoryServer及运行在YARN的两种Deploy Mode架构
第64任务： Day2812_官方案例：读取日志数据及正则解析（CASE CLASS）
第65任务： Day2813_官方案例：依据业务编码实现及熟悉RDD API
第66任务： Day2814_官方案例：其他业务编码实现测试及过滤数据
第67任务： Day2815_官方案例：RDD#top函数使用（自定义排序规则）及提交运行YARN集群
第68任务： Day2816_内核调度：Spark Job Scheduler详解（一）
第69任务： Day2817_内核调度：Spark Job Scheduler详解（二）
第70任务： Day2901_SparkSQL的重要性及Spark2.x的生态圈
第71任务： Day2902_SparkSQL前世今生（Hive、Shark、SparkSQL）及初步使用说明
第72任务： Day2903_案例分析：基于DataFrame和SQL分析数据（一）
第73任务： Day2904_案例分析：基于DataFrame和SQL分析数据（二）
第74任务： Day2905_SparkSQL Introduction及处理数据的方式
第75任务： Day2906_SparkSQL与Hive集成配置详解
第76任务： Day2907_基于SQL和DSL方式分析处理Hive表的数据
第77任务： Day2908_SparkSQL中提供的spark-sql命令行的使用（与Hive类比）
第78任务： Day2909_SparkSQL中ThriftServer配置使用详解
第79任务： Day2910_SparkSQL性能优化及DataFrame是什么
第80任务： Day2911_SparkSQL读取多种数据数据实例
第81任务： Day2912_DataFrame实现多数据源数据的关联分析（MySQL与Hive表数据）
第82任务： Day2913_SparkSQL读取AVRO格式数据详解.exe
第83任务： Day2914_SparkSQL读取CSV或TSV格式数据详解.exe
第84任务： Day2915_自定义schema的方式转换RDD为DataFrame及直接运行SQL在数据文件上
第85任务： Day2916_SparkSQL中自带函数的使用及如何自定义UDF、注册和使用
第86任务： Day2917_Spark 2.x中SparkSQL基本使用（一）
第87任务： Day2918_Spark 2.x中SparkSQL基本使用（二）
第88任务： Day3001_大数据处理的类型、流式计算的框架及Streaming内容概要
第89任务： Day3002_SparkStreaming是什么、使用案例及数据处理流程
第90任务： Day3003_官方Example案例：词频统计运行详解
第91任务： Day3004_SparkStreaming编程实现从Socket读取数据实时统计分析
第92任务： Day3005_深入SparkStreaming运行的工作原理
第93任务： Day3006_深度剖析batch interval和block interval及性能优化
第94任务： Day3007_编程模型：从源码深入剖析DStream（StreamingContext、DStream操作）
第95任务： Day3008_深入详解DStream#foreachRDD使用
第96任务： Day3009_Apache Kafka介绍及架构详解
第97任务： Day3010_Apache Kafka安装、部署、启动
第98任务： Day3011.创建Topic、发送和消费数据及深入理解KAFKA数据的存储
第99任务： Day3012_剖析分享Kafka企业技术架构及使用（结合Kafka Meetup分享）
第100任务： Day3013_SparkStreaming与Flume和Kafka两种集成方式详解
第101任务： Day3014_采用Pull方式与Kafka集成进行数据分析处理
第102任务： Day3015_状态Stateful实时统计updataStateByKey使用
第103任务： Day3016_SparkStreaming实时分析应用的高可用性
第104任务： Day3017_实时窗口Window统计详解（reduceByKeyAndWindow使用）
第105任务： Day3101_基于Java和Python语言的Spark开发的提纲及学习方式
第106任务： Day3102_基于JAVA语言编写Spark Application编程模板、读取数据及测试监控
第107任务： Day3103_案例WordCount：结合源码编码实现JAVA语言编程
第108任务： Day3104_案例WordCount：对统计的词频进行降序排序（涉及TopKey）及作业说明
第109任务： Day3105_案例分析：基于JAVA实现如何将RDD转换为DataFrame
第110任务： Day3106_案例分析：使用SQL进行数据分析
第111任务： Day3107_案例分析：使用DSL进行数据分析及自定义UDF注册使用
第112任务： Day3108_SparkStreaming基于JAVA实现从Socket读取数据WordCount统计及测试
第113任务： Day3109_结合案例实现JAVA编程DStream#foreachRDD和从KAFKA读取数据
第114任务： Day3110_结合案例讲解基于JAVA的updateState和window编程及作业
第115任务： Day3111_Python介绍、Windows下2.7的安装及测试
第116任务： Day3112_PyCharm安装、设置及创建工程和测试
第117任务： Day3113_PySpark第三方包的安装配置
第118任务： Day3114_基于Python的SparkCore编程模板
第119任务： Day3115_并行化本地集合创建RDD及RDD初步使用
第120任务： Day3116_Python中函数的定义及匿名函数lambda使用
第121任务： Day3117_PySpark实现WordCount程序及测试
第122任务： Day3118_PySpark实现从HDFS读取数据实现WordCount（属性配置）
第123任务： Day3119_深入WordCount程序之SortByKey
第124任务： Day3120_深入WordCount程序之TopKey
第125任务： Day3121_Anaconda2版本、安装、配置、使用及测试（针对pyspark编程）
第126任务： Day3122_Spark自带交互式pyspark命令的使用
第127任务： Day3123_pyspark底层架构及如何提交pyspark程序运行
第128任务： day6101_storm下载及环境搭建介绍
第129任务： day6102_storm启动前各参数配置详解
第130任务： day6103_进程启动实践
第131任务： day6104_运行架构解析
第132任务： day6105_自带案例wordcount的测试运行与架构详解
第133任务： day6106_框架组件之kafkaSpout完成kafka数据读取功能
第134任务： day6107_框架组件之splitbolt完成单词切割功能
第135任务： day6108_框架组件之countbolt完成词频统计功能
第136任务： day6109_框架组件之hbasebolt完成将结果写入hbase功能
第137任务： day6110_集群整体运行测试及回顾
第138任务： Day3501_企业大数据平台基本组件及集群大小和Zookeeper集群的节点数设置
第139任务： Day3502_Cloudera Manager 5.x的几种安装方式及优缺点
第140任务： Day3503_大数据平台集群机器环境准备配置讲解一
第141任务： Day3504_大数据平台集群机器环境准备配置讲解二
第142任务： Day3505_配置集群机器的时间同步
第143任务： Day3506_安装CM 5.3.x前准备工作（搭建基于http的本地源及安装postgresql数据库）_转
第144任务： Day3507_使用本地源安装CM 5.3.x
第145任务： Day3508_使用CM 5.3.x添加主机到集群中
第146任务： Day3509_解决CM 5.3.x检查集群中各个机器出现的问题
第147任务： Day3601_使用CM 5.3.x安装Zookeeper服务组件及CDH 安装软件目录讲解
第148任务： Day3602_CDH5.x安装服务日志查看及服务组件的客户端配置和目录
第149任务： Day3603_使用CM 5.3.x安装HDFS组件、测试及一些注意细节
第150任务： Day3604_CM5.x如何配置部署启动HDFS HA及健康HDFS组件运行时各个指标
第151任务： Day3605_CM5.x安装YARN、运行WordCount程序测试和每个服务对应各自用户
第152任务： Day3606_CM5.3.x安装Hive，进行测试和如何配置高级属性
第153任务： Day3607_使用CM5.x安装CDH 5.x服务组件时，做了很多优化（如MapReduce压缩、JVM GC等）和CM账号管理使用
第154任务： Day3608_CM5.x安装HBase和测试
第155任务： Day3609_CM5.x安装Oozie和Hue及配置Oozie页面展示
第156任务： Day3610_配置Hue与各组件集成（HDFS HA及HBase特殊配置）
第157任务： Day3701_企业常见大数据面试题（一）
第158任务： Day3702_企业常见大数据面试题（二）
第159任务： Day3703_企业常见大数据面试题（三）
