当前位置: 首页 > news >正文

实验一:统计字符个数

 集群测试

1.

cd ~
vim data.txt

 2.编辑data.txt

3.在HDFS创建lotusinput文件夹

hdfs dfs -mkdir /lotusinput

 4.将data.txt上传到HDFS

hdfs dfs -put data.txt /lotusinput

 5.查看是否上传成功

hdfs dfs -ls /lotusinput

6.运行MapReduce WordCount例子

cd ~/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput /lotusoutput

 hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /lotusinput/**.txt /lotusoutput

/lotusinput/**.txt  输入路径

/lotusoutput 输出路径

 7.查看结果

hdfs dfs -cat /lotusoutput/part-r-00000

可以在端口中查看 

这只是一个方便查看的页面,这里存储的可以理解为指针。

实际的文件namenode地址为:

 文件内容存储地址

/usr/local/hadoop/tmp/dfs/data/current/BP-835320613-172.18.0.2-1741592099906/current/finalized/subdir0/subdir0。     注意:这里有三台服务器都有这个文件,因为我们的配置文件里面复印的分数是3份。如果我的集群存储datanoded的机器有4台,那么只有三台服务器有。

相关文章:

  • 【QT】-toUtf8() 和 toBase64()的区别
  • mysql5.7主从部署(docker-compose版本)
  • 【责任链模式的多种实现方式及其应用】
  • Modbus协议
  • LeetCode[142] 环形链表 II
  • 【C++】memset和memcpy函数
  • 案例驱动的 IT 团队管理:创新与突破之路:第二章 团队组建:从人才画像到生态构建-2.2.2案例:某游戏公司“特种作战小组“模式
  • NAT及P2P通信
  • 本地部署deepseek-r1建立向量知识库和知识库检索实践【代码】
  • defineExpose函数
  • matlab R2024b下载教程及安装教程(附安装包)
  • 嵌入式面经-C语言:智能指针,`#define` 和 `const`,`typedef`,头文件中定义静态变量
  • turfjs多边形切割多边形求交集
  • centos 如何将 nginx reload权限给其他用户
  • Linux安装部署Elasticsearch8 全过程记录
  • Nodejs使用redis
  • 解决leetcode第3480题删除一个冲突对后的最大子数组数目
  • Jocker靶机全面解析:漏洞挖掘、渗透测试与防御策略
  • RuoYi-Vue路由,Node
  • HOVER:人形机器人的多功能神经网络全身控制器
  • 国务院任免国家工作人员:饶权任国家文物局局长
  • 第1现场|无军用物资!伊朗港口爆炸已遇难40人伤1200人
  • 科学时代重读“老子”的意义——对谈《老子智慧八十一讲》
  • 春暖花开,为何皮肤却闹起了小情绪?
  • 体坛联播|利物浦提前4轮夺冠,安切洛蒂已向皇马更衣室告别
  • 游戏论|迟来的忍者与武士:从《刺客信条:影》论多元话语的争议