友链
留言
图库
归档
1
Esxi Linux虚拟机 启动报错Unmount and run xfs_repair
2
IDEA配置远程DEBUG
3
文件上传整合-BOOT STARTER
4
CentOS 7 安装 nvidia-docker2
5
Centos 7安装Docker & docker-compose
故黎
tt--
累计撰写
29
篇文章
累计创建
5
个标签
累计收到
7
条评论
栏目
友链
留言
图库
归档
搜索
标签搜索
Linux
Nvidia
Docker
TiDB
Java
以下是
大数据
相关的文章
2021-07-05
TiDB基准测试（Sysbench）
由于公司数据量不断增长，shardingjdbc等分库分表工具扩容难等问题，决定尝试分布式数据库TiDB。记录一下使用Sysbench对TiDB进行基准测试的过程，安装过程不再赘述，官方提供的Tiup工具可以非常方便快捷的运维TiDB集群。环境系统：Centos 7.3硬件：8C 64G 1.6T
2021-07-05
2,960 阅读
4 评论
24 点赞
大数据
2020-11-13
HDFS 合并碎文件
我们都知道，在HDFS中不宜存储大量的小文件。所谓小文件，就是大小远小于dfs.block.size的文件。如果有大量小文件的话，会浪费block，使元数据增加，挤占宝贵的NameNode内存。另外，大文件能够发挥磁盘顺序读写的优势，小文件会产生很多随机读写，性能下降。前几天编写了Spark Str
2020-11-13
1,734 阅读
0 评论
7 点赞
大数据
2020-04-26
使用commons-pool2实现Hdfs连接池
前面写过一篇java上传文件至hdfs的文章，实现方式上每次操作hdfs都会创建一个新的hdfs连接，这种方式极易产生奇奇怪怪的问题（内存泄漏等等），所以简单研究了一下commons-pool2实现了一个Hdfs连接池，记录一下。先上github地址：https://github.com/AF-lm
2020-04-26
2,023 阅读
0 评论
0 点赞
Java
大数据
2020-02-21
Java上传文件至HDFS（Kerbers认证）
上传之前，需要本机安装Hadoop并且配置环境变量，可以参考之前的文章MacOS安装Hadoop并配置环境变量，然后修改hosts文件，映射HDFSNameNodeIP-主机名。引入依赖<dependency><groupId>org.apache.hadoop</gr
2020-02-21
2,142 阅读
0 评论
1 点赞
Java
大数据
2020-02-17
MacOS 安装Hadoop并配置环境变量
MAC系统安装Hadoop2.7.31.查看是否安装了Java打开终端，运行java-version命令，可以查看java版本。2.下载hadoop地址http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.6/hadoop-2.7
2020-02-17
1,785 阅读
0 评论
0 点赞
大数据
