flink三种部署模式区别
大数据开发跟大数据平台开发有区别吗?
大数据开发跟大数据平台开发有区别吗?
其实这两个很容易区分的!本身存在有很大的区大数据平台开发就是开发大数据所用到的东西,比如hadoop是目前大数据最基本的组成!开发hadoop以及它的一些生态系统,或者升级本身,要是够厉害也可以开发大数据的系统!这些就属于大数据平台开发。
下图是大数据生态圈
而大数据开发就是利用开发好的平台,比如用hadoop,spark构建来大数据系统,把大数据运用生活中
举个很简单的例子就是大数据平台开发属于制造工具,大数据开发就是利用工具创造价值!
没有计算机基础应该如何学习大数据知识?
学习程序开发可以多浏览一些开源平台上面的项目,博客,问答等。比较著名的平台如github, stackoverflow等。
在 github 上搜索 big data,就会出现相关的项目,有一个大数据入门指南的项目挺不错的,你可以参照着学习。地址:,如果访问被限制,可以点赞,评论。
如下是摘自项目中的图解,和章节导航。
附:项目的相关知识点如下
前 言
大数据学习路线
大数据技术栈思维导图
大数据常用软件安装指南
一、Hadoop
分布式文件存储系统 —— HDFS
分布式计算框架 —— MapReduce
集群资源管理器 —— YARN
Hadoop 单机伪集群环境搭建
Hadoop 集群环境搭建
HDFS 常用 Shell 命令
HDFS Java API 的使用
基于 Zookeeper 搭建 Hadoop 高可用集群
二、Hive
Hive 简介及核心概念
Linux 环境下 Hive 的安装部署
Hive CLI 和 Beeline 命令行的基本使用
Hive 常用 DDL 操作
Hive 分区表和分桶表
Hive 视图和索引
Hive 常用 DML 操作
Hive 数据查询详解
三、Spark
Spark Core :
Spark 简介
Spark 开发环境搭建
弹性式数据集 RDD
RDD 常用算子详解
Spark 运行模式与作业提交
Spark 累加器与广播变量
基于 Zookeeper 搭建 Spark 高可用集群
Spark SQL :
DateFrame 和 DataSet
Structured API 的基本使用
Spark SQL 外部数据源
Spark SQL 常用聚合函数
Spark SQL JOIN 操作
Spark Streaming :
Spark Streaming 简介
Spark Streaming 基本操作
Spark Streaming 整合 Flume
Spark Streaming 整合 Kafka
四、Storm
Storm 和流处理简介
Storm 核心概念详解
Storm 单机环境搭建
Storm 集群环境搭建
Storm 编程模型详解
Storm 项目三种打包方式对比分析
Storm 集成 Redis 详解
Storm 集成 HDFS/HBase
Storm 集成 Kafka
五、Flink
Flink 核心概念综述
Flink 开发环境搭建
Flink Data Source
Flink Data Transformation
Flink Data Sink
Flink 窗口模型
Flink 状态管理与检查点机制
Flink Standalone 集群部署
六、HBase
Hbase 简介
HBase 系统架构及数据结构
HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
HBase 集群环境搭建
HBase 常用 Shell 命令
HBase Java API
HBase 过滤器详解
HBase 协处理器详解
HBase 容灾与备份
HBase的 SQL 中间层 —— Phoenix
Spring/Spring Boot 整合 Mybatis Phoenix
七、Kafka
Kafka 简介
基于 Zookeeper 搭建 Kafka 高可用集群
Kafka 生产者详解
Kafka 消费者详解
深入理解 Kafka 副本机制
八、Zookeeper
Zookeeper 简介及核心概念
Zookeeper 单机环境和集群环境搭建
Zookeeper 常用 Shell 命令
Zookeeper Java 客户端 —— Apache Curator
Zookeeper ACL 权限控制
九、Flume
Flume 简介及基本使用
Linux 环境下 Flume 的安装部署
Flume 整合 Kafka
十、Sqoop
Sqoop 简介与安装
Sqoop 的基本使用
十一、Azkaban
Azkaban 简介
Azkaban3.x 编译及部署
Azkaban Flow 1.0 的使用
Azkaban Flow 2.0 的使用
十二、Scala
Scala 简介及开发环境配置
基本数据类型和运算符
流程控制语句
数组 —— Array
集合类型综述
常用集合类型之 —— List Set
常用集合类型之 —— Map Tuple
类和对象
继承和特质
函数 闭包 柯里化
模式匹配
类型参数
隐式转换和隐式参数
十三、公共内容
大数据应用常用打包方式
后 记
资料分享与开发工具推荐