搜云库技术团队

面试现场的解决方案 这是我的笔试临场发挥，写的有点low。 def fib(n): i,a,b = 1, 0, 1 while True: if i < n: a, b = b, a+b i += 1 else: return b 思...

赞(0)站长2020-07-19优质文章 阅读(524)

题目 给定列表，列表内的数据全是str类型，对列表内的数据进行统计元素出现的次数，并排序。 例：["a", "b", "g", "g", "b", "g", "l", "k", "k"] 返回：{'g': 3, 'b': 2, 'k': 2...

赞(0)站长2020-07-19优质文章 阅读(480)

这是我在写数字图像处理第三章中局部直方图优化的一些体会，最大的体会就是优化计算方法可以极大地加快运算速度 1、优化前 源代码 这是根据数字图像处理p75的公式写的 #例3.10 #局部直方图均衡 import cv2 import nump...

赞(0)站长2020-07-19优质文章 阅读(594)

将一个列表的值复制到另一个列表，如将my_foods拷贝到friend_foods，需要使用如下的程序，才可分别对这两个列表的值进行修改，两个列表的值可以不同 my_foods = [’pizza...

赞(0)站长2020-07-19优质文章 阅读(581)

1. 阶段定义 MapTask：map—–>sort map：Mapper.map()中将输出的key-value写出之前 sort：Mapper.map()中将输出的key-value写出之后 2. MapTask...

赞(0)站长2020-07-19优质文章 阅读(539)

在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定...

赞(0)站长2020-07-19优质文章 阅读(541)

@ 目录 准备阶段 提交阶段 1. 准备阶段 运行Job.waitForCompletion()，先使用JobSubmitter提交Job，在提交之前，会在Job的作业目录中生成以下文件： job.split：当前Job的切片信息，有几个切...

赞(0)站长2020-07-19优质文章 阅读(551)

虽然切片数越多，启动的maptask就越多，并行运行执行效率越高。但凡事都有个度，万一切片过多，也会影响执行效率 @ 目录 执行流程 CombineTextInputFormat 切片流程 案例 执行流程 Job–>MRAppM...

赞(0)站长2020-07-19优质文章 阅读(537)

@ 目录 片大小的计算 片和块的关系 片大小的计算 long splitSize = computeSplitSize(blockSize, minSize, maxSize); protected long computeSplitSiz...

赞(0)站长2020-07-19优质文章 阅读(517)

①获取当前输入目录中所有的文件 ②以文件为单位切片，如果文件为空文件，默认创建一个空的切片 ③如果文件不为空，尝试判断文件是否可切(不是压缩文件，都可切) ④如果文件不可切，整个文件作为1片 ⑤如果文件可切，先获取片大小(默认等于块大小)，...

赞(0)站长2020-07-19优质文章 阅读(543)