当前位置: 首页 > news >正文

【HDFS】EC重构过程中的校验功能:DecodingValidator

一、动机

DecodingValidator是在HDFS-15759中引入的一个用于校验EC数据重构正确性的组件。

先说下引入DecodingValidator的动机,据很多已知的ISSUE(如HDFS-14768, HDFS-15186, HDFS-15240,这些目前都已经fix了)反馈,
EC在重构的时候可能会有各种各样的问题,导致数据错误,造成block corrupt。

直接抛异常的问题还好处理,重试或者bugfix就好了,最致命的是不报错,正常重构,但是数据内容不正确。这就很严重了。

这就是做DecodingValidator的动机。

二、基本原理及示例

基本原理:

第一步:使用解码后的输出作为新的输入再进行解码
第二步:将解码得到的结果与原始输入进行比较

示例说明:
以RS-6-3为例,假设原始数据块是 [d0, d1, d2, d3, d4, d5],校验块是 [p0, p1, p2]。
假设我们丢失了 d1 和 p1,使用 [d0, d2, d3, d4, d5, p0] 作为输入,解码得到了 [d1, p1] 作为输出。

验证(val

相关文章:

  • 硬件操作指南——ATK-MD0430 V20
  • 五、小白如何用Pygame制作一款跑酷类游戏(主角跳跃和滑行动作的实现)
  • 如何基于区块链进行虚拟电厂运营平台建设?
  • 实现批量图片文字识别(python+flask+EasyOCR)
  • 备份jenkins
  • MCP是什么?为什么突然那么火?
  • 文档内容提取以及合成
  • kafka认证部署
  • 李宏毅NLP-5-RNNTNeural TransducerMoChA
  • LPDDR中读操作不存在Additive Latency(AL)的技术思考
  • Python scikit-learn 机器学习算法实践
  • 2025年KBS SCI1区TOP:增强天鹰算法EBAO,深度解析+性能实测
  • 指针函数和函数指针
  • C++游戏服务器开发之⑦redis的使用
  • MAUI项目iOS应用以进 App Store 分发
  • 免费将AI生成图像放大4倍的方法
  • 图像预处理-绘制图像轮廓与凸包
  • PyTorch `flatten()` 和 `squeeze()` 区别
  • c++ 类的语法1
  • 大学英语四级选词填空练习题解析
  • 圆桌|耐心资本对科技创新有何意义?天使投资最关注哪些要素?
  • 马上评|机器人马拉松,也是具身智能产业的加速跑
  • 礼来公布口服降糖药积极结果,或年底前提交用于体重管理上市申请
  • 习近平会见柬埔寨太后莫尼列
  • 上海不重视民企?专家:此次26项措施消除了误会,信心比黄金重要
  • 五一抢票崩了?12306:及时消除短暂延迟现象,系统平稳度过今日售票高峰