AWS Machine Learning Blog· Siddharth Senger·· 1 天前精选AI 评分71
在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 团队介绍在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：all-reduce 前后的 NaN/Inf 梯度检查、跨节点环形重放审计、优化器更新后的权重指纹比对，命中后把可疑 rank 映射到节点并交由 SageMaker HyperPod 替换。
推荐理由
AWS 团队给出三项可在训练循环内落地的静默数据损坏检测检查，并附实测开销与误报率数据。
来源：AWS Machine Learning Blog · aws.amazon.com