优质文章 第31页

流处理技术的演变 在开源世界里，Apache Storm项目是流处理的先锋。Storm最早由Nathan Marz和创业公司BackType的一个团队开发，后来才被Apache基金会接纳。Storm提供了低延迟的流处理，但是它为实时性付出了...

赞(0)站长2020-08-03阅读(559)

分布式运行时环境 1. 任务与算子链 分布式计算中，Flink会将算子（operator） 的子task链式组成tasks，每个task由一个线程执行。把算子链化为tasks是一个非常好的优化：它减少了线程之间的通信和缓冲，而且还能增加吞吐...

赞(0)站长2020-08-03阅读(578)

Flink 数据流编程模型 1. 抽象级别 Flink 提供了不同级别的抽象，以开发流或批处理作业。 最底层级的抽象仅仅提供了有状态流，它将通过过程函数（Process Function）被嵌入到 DataStream API 中。它允许用...

赞(0)站长2020-08-03阅读(591)

Flink 开发环境部署和配置 Flink 是一个以 Java 及 Scala 作为开发语言的开源大数据项目，代码开源在 github 上，并使用 maven 来编译和构建项目。对于大部分开发或使用 Flink 的同学来说，Java、Mav...

赞(0)站长2020-08-03阅读(552)

Apache Flink 定义 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 设置：下载并启动Flink Flink可在L...

赞(0)站长2020-08-03阅读(557)

Apache Flink 定义 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。 处理无界和有界数据 任何类型的数据都是作为事...

赞(0)站长2020-08-03阅读(525)

一、弄清楚HashMap 之前，先回答以下几个问题 1、HashMap 是线程安全的吗？ 2、HashMap 数据结构是什么？ 数组、链表、红黑树 3、JDK8 对 HashMap 优化了哪块，为何要优化？ 二、逐步来认识HashMap 1...

赞(0)站长2020-08-03阅读(564)

一、准备工具 安装docker（来自官网） (1) 安装所需的软件包 $ sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 (2) 使用以下命令来设置稳...

赞(0)站长2020-08-03阅读(507)

一、冒泡排序 先看一个案例，假设在一个班级里面，想知道身高最高的那个人？ 两两比较 A B => B B C => B B D => D D E => ...... 假设这么几个数 6 4 8 1 10 0 6 4 ...

赞(0)站长2020-08-03阅读(570)

一、什么是分布式？ 分布式更多的是一个概念，是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段，该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式文件系统、分布式缓存、分布式数据库、分布式计算等，一些名词如Hadoop、z...

赞(0)站长2020-08-03阅读(577)