Python卫星云图识别实战:从HDF数据读取到U-Net模型部署
简介:这套基于Python的卫星云层图像识别系统,提供完整可运行的工程代码与配套分析文档,适用于计算机视觉、遥感图像处理等方向的课程实践和期末项目。系统覆盖图像预处理、特征提取和分类识别三个核心阶段,代码注释详尽,并配有友好的图形界面,既能作为科研辅助工具,也便于初学者逐步理解识别流程。资源包共包含168个文件,以Python源码、pyc编译文件、配置文件与脚本为主体,同时附有实验报告PDF、演示文稿PPTX、多个测试数据集与结果图片,整体约62.33MB,目录结构清晰。目前已有42人浏览学习,适合教学演示、实验复现和二次开发。下载后可参照文档快速搭建运行环境,通过自带测试数据验证识别效果,也可以结合课程要求调整分类模型与特征参数,具有较强的实用与参考价值。
1. 卫星云层图像识别:为什么说它更像一门数据处理手艺
如果你以为“基于Python的卫星云层图像识别系统”是把一张云图丢进深度学习模型、再弹出一个“有云/无云”的标签,那大概率会在第一周就翻车。做气象防灾的人关心云顶高度和云量分布,做遥感地物分类的人急着把云当噪声滤掉,这两类需求背后其实是同一个技术栈:用Python处理卫星多波段影像,训练图像识别模型输出云掩膜或云分类。但真正让工程师头痛的不是模型选型,而是数据“打开、清洗、配准、切块”这一整套脏活。这套系统能不能落地,七成取决于数据管线是否扎实,三成才轮到网络结构。这篇文章适合遥感、气象、环境监测方向的开发者,以及正在做相关课题或毕设的人,我会把从HDF数据读取到模型训练、再到部署验证的路径完整拆开来讲。
2. HDF波段揉成训练集:云图读取、配色与切瓦片
2.1 先把数据打开:用 xarray 读取 HDF/NetCDF
卫星云图的原始数据大多是 HDF 或 NetCDF 格式,不是一张普通 JPEG。最先要搞清楚的是数据里到底有什么:一般是 32 位的浮点多光谱波段(可见光、近红外、热红外等),还有一个地理定位数组。直接拿 OpenCV 的 cv2.imread() 去读是读不出来的,常见做法是用 xarray + h5netcdf 打开。
import xarray as xr
import numpy as np
# 打开 HDF4 文件(例如某类极轨卫星的 L1 级产品)
ds = xr.open_dataset("cloud_image.hdf", engine="h5netcdf")
# 看看有哪些变量,决定用哪些波段
print(ds.data_vars)
# 取一个可见光波段和亮度温度波段
vis = ds["VIS"].values.astype(np.float32)
ir = ds["IR"].values.astype(np.float32)
# 关闭文件释放内存
ds.close()
这段代码里的 engine 参数第一次跑的时候容易缺库, pip install h5netcdf 之后基本能解决。把波段转成 float32 是因为原始数据里可能有 NaN 或无效值,用 uint8 直接截断会丢信息。拿到波段数组后,第一件事不是训练,而是先对整个影像做一次统计:有多少像素是 NaN ,有效像素的灰度范围是多少。很多新人在这一步忽略了对无效值的掩码处理,结果模型训练到一半突然出现整片异常区域,查了半天才发现是原始数据的填充值在作怪。
2.2 从原始光谱到可视化假彩色:辐射拉伸与裁剪里的两个坑
卫星原始波段通常是 16 bit 甚至浮点数,直接转成 8 bit 图像往往是黑乎乎一片,因为卫星数据的辐射范围比屏幕能显示的宽很多。常见做法是做一个百分比截断拉伸,把 2% 到 98% 分位数区间映射到 0~255。这里有两个坑:一是不同轨道影像辐射范围不一致,拉伸参数要逐景计算,不能写死;二是云层在可见光下是亮白色,但地表的高反射物体(盐湖、雪、城市玻璃幕墙)也亮,所以只靠 RGB 并不够。
def stretch_2p98p(band):
"""2%-98%线性拉伸到0-255"""
vmin, vmax = np.percentile(band[~np.isnan(band)], (2, 98))
out = (band - vmin) / (vmax - vmin + 1e-9)
return np.clip(out, 0, 1)
def make_false_color(vis, ir):
"""示例:把红外波段混入R通道,让云顶更突出"""
r = stretch_2p98p(vis + ir * 0.3)
g = stretch_2p98p(vis)
b = stretch_2p98p((vis - ir) * 0.5)
return np.stack([r * 255, g * 255, b * 255], axis=-1).astype(np.uint8)
把红外混进可见光通道,是整个识别流程里性价比最高的一步。云在热红外波段有很高的亮度温度特征,做成假彩色图后,云和雪在视觉上就有了可区分性。这一步做得粗糙,后续模型要多学很多无效特征。另一个常被忽略的点是配准:从不同数据源拼在一起的影像,如果几何校正不一致,切块后在边界处会出现错位,模型看到的是重影,学出来的特征自然也不可靠。
2.3 切瓦片 + 写样本清单:第一批训练数据怎么造
卫星原图动辄几万像素见方,不可能整张喂进 GPU。必须切成瓦片(patch)。切瓦片不是简单裁剪,要同时满足三个条件:尺寸能整除、块之间有重叠(避免训练时丢掉边界信息)、每个瓦片生成一条带标注的记录。
import os
import json
import cv2 # 下载cv2除了支持图像缩放,也用于可视化抽检
from glob import glob
patch_size = 256
overlap = 32
step = patch_size - overlap
def tile_cloud_image(img, label, out_dir, img_id):
h, w = img.shape[:2]
count = 0
for y in range(0, h - patch_size + 1, step):
for x in range(0, w - patch_size + 1, step):
img_patch = img[y:y + patch_size, x:x + patch_size]
lbl_patch = label[y:y + patch_size, x:x + patch_size]
cv2.imwrite(f"{out_dir}/{img_id}_{count}.png", img_patch)
cv2.imwrite(f"{out_dir}/{img_id}_{count}_mask.png", lbl_patch)
count += 1
return count
切块的参数不是玄学,它直接和输入尺寸绑定。为什么选 256 而不是 512?因为云层的纹理属于中低频信息,256 足够捕捉云团的轮廓和薄厚变化,显存占用也更友好。 overlap=32 是防止云团恰好跨块被切断。这里有个比切块更重要的操作:统计每个瓦片里云像素的比例,按云量分桶写入训练清单——全是空云的瓦片太多会拉偏模型输出全背景,全是厚云的瓦片又会让模型忽略薄云,后面做采样时可以用这个比例控制。
3. 用 Python 搭识别模型:ResNet 分类与 U-Net 分割两条路线
3.1 任务决定网络:先分清“有无云”和“哪里有云”
在选网络结构之前,你先要逼自己回答一个问题:业务方要的是整幅影像的云量百分比,还是每一块区域“这里被云遮住了”的精确边界?云量统计用图像分类就能应付,输入瓦片、输出一个 0 到 1 的云量概率;但如果你手里的任务是做地表反演前处理,必须准确知道哪些像素要剔除,那就得做像素级分割。
两条路线在工程上的差异极大。分类网络轻、跑得快、标注成本低,只需给每个瓦片打一个标签;分割网络要逐像素标注,工作量大概高一个量级。但很多团队的误区是把任务默认成分割,结果标注量太大人力跟不上,项目卡在数据标注阶段。我的经验是:可以先做一个分类模型做预筛选,把空云瓦片滤掉,再对剩下的瓦片做分割标注,这样标注成本能压缩不少。
3.2 一个能直接跑的 U-Net:编码器复用预训练模型,解码器自己搭
U-Net 是云检测的事实标准。它的对称编码解码结构能保留空间信息,非常适合云边缘分割。我用 PyTorch 搭建的一个常见做法是:编码器用现成的 ResNet34(去掉全连接层),解码器手工搭,把跨层特征通过 skip connection 传给解码器。
import torch
import torch.nn as nn
from torchvision.models import resnet34
class CloudUNet(nn.Module):
def __init__(self, n_channels=3, n_classes=1):
super().__init__()
encoder = resnet34(pretrained=True)
self.enc1 = nn.Sequential(encoder.conv1, encoder.bn1, encoder.relu)
self.enc2 = encoder.layer1
self.enc3 = encoder.layer2
self.enc4 = encoder.layer3
self.enc5 = encoder.layer4
self.pool = nn.MaxPool2d(2)
self.dec4 = nn.Sequential(
nn.Conv2d(512 + 256, 256, 3, padding=1),
nn.ReLU(inplace=True)
)
self.dec3 = nn.Sequential(
nn.Conv2d(256 + 128, 128, 3, padding=1),
nn.ReLU(inplace=True)
)
self.dec2 = nn.Sequential(
nn.Conv2d(128 + 64, 64, 3, padding=1),
nn.ReLU(inplace=True)
)
self.head = nn.Conv2d(64, n_classes, kernel_size=1)
def forward(self, x):
e1 = self.pool(self.enc1(x))
e2 = self.pool(self.enc2(e1))
...
return torch.sigmoid(self.head(dec2))
这段代码最核心的部分不是卷积层怎么搭,而是 pretrained=True ——直接用 ImageNet 预训练权重做初始化。云图和自然图像虽然差异大,但浅层特征(边缘、纹理、角点)是通用的,预训练权重能大幅加速收敛。你可能会问:既然差异这么大,预训练权重真的有用吗?实测下来,在数据量少于一万个瓦片时,预训练模型明显吊打随机初始化;数据量充足时差距缩小,但预训练仍然能在初期减少训练时间。
3.3 损失函数:为什么分类交叉熵在云图上不顶事
云检测的样本天然不均衡:大量像素是晴空地物,只有少数像素是云。用标准交叉熵会让模型学成一个“永远输出背景”的懒惰分类器,因为它的整体准确率照样很高。常见解法是使用 Dice Loss,它直接优化分割结果与真实掩膜的覆盖率,对类别不均衡更鲁棒。
def dice_loss(pred, target, smooth=1.0):
"""pred和target都是形状为 [B,1,H,W] 的浮点张量"""
pred = pred.contiguous().view(pred.size(0), -1)
target = target.contiguous().view(target.size(0), -1)
intersection = (pred * target).sum(dim=1)
dice = (2.0 * intersection + smooth) / (pred.sum(dim=1) + target.sum(dim=1) + smooth)
return 1.0 - dice.mean()
Dice Loss 的梯度不像交叉熵那么“猛”,和 BCE 做加权组合往往会更好: loss = dice_loss * 0.5 + bce_loss * 0.5 。参数里的 smooth 主要用于防止分母为零,在某个 batch 里完全没有目标像素时尤其重要。如果发现训练初期 loss 下降很慢,可以把 Dice 系数权重提高到 0.7 试试,它对小目标的敏感度更高。
4. 训练与调参:验证集怎么切、类不均衡怎么解、指标该看哪个
4.1 验证集按块切还是按影像切:空间自相关这个小黑盒
卫星影像有个和普通图片分类截然不同的特性:空间自相关。同一景影像里相邻的瓦片,内容高度相似。如果你把所有的瓦片随机打乱后按比例切训练集和验证集,模型很可能从训练集里“记住”了紧邻的语境,在验证集上给出虚高的分数。等部署到另一条轨道的新影像时,性能突然断崖式下跌。
正确做法是按整景影像划分:把 10 景影像分成训练 7 景、验证 2 景、测试 1 景,而不是把每景都切成瓦片再全部洗牌。
# 按影像ID分组,而不是按瓦片分组
image_ids = sorted(set([os.path.basename(p)[:20] for p in glob("tiles/*.png")]))
train_ids = image_ids[:7]
val_ids = image_ids[7:9]
test_ids = image_ids[9:]
train_files = [p for p in glob("tiles/*.png")
if os.path.basename(p)[:20] in train_ids]
这个策略会让验证集指标看起来“变差了”,但那份差是真实的泛化能力。训完模型之后报告里的数字,应该以这种严格切分的验证集为准,这样当你把它用到业务区域时,用户才不会被惊喜的指标忽悠。
4.2 类不均衡:空云块和全云块几乎一半对一半时怎么办
切完瓦片后统计一遍云量占比,你多半会发现分布极端:要么是大量干净无云块,要么是云量 90% 以上的厚云块,真正有用的“边缘情况”(薄云、碎云、云与地物混杂)反而占比极低。直接训练会发生什么?模型对“中期”云量的预测模糊,薄云被当成背景,厚云的边缘被过度膨胀。
类不均衡的第一解法是采样权重,不是调 loss。我一般会按云覆盖率把瓦片分成三桶——低云(小于 10%)、中云(10% 到 70%)、高云(大于 70%),然后采样时保证每个 batch 里三个桶的比例尽力接近 1:1:1。
from torch.utils.data import sampler
class BalancedSampler(sampler.Sampler):
def __init__(self, labels, batch_size=16):
self.labels = labels # 每张瓦片的云覆盖率
self.buckets = [[], [], []]
for i, r in enumerate(labels):
if r < 0.1:
self.buckets[0].append(i)
elif r < 0.7:
self.buckets[1].append(i)
else:
self.buckets[2].append(i)
self.batch_size = batch_size
self.n_batches = max(len(b) for b in self.buckets) // (batch_size // 3 + 1)
def __iter__(self):
idxs = []
for b in self.buckets:
np.random.shuffle(b)
for k in range(self.n_batches):
for b in self.buckets:
sel = b[k * self.batch_size // 3 : (k + 1) * self.batch_size // 3]
if len(sel) == 0:
sel = np.random.choice(b, self.batch_size // 3).tolist()
idxs.extend(sel)
return iter(idxs)
这一类采样逻辑把训练从“运气驱动”变成“策略驱动”。它不会直接提高模型的理论上限,但能让模型的梯度更新更稳,让早期训练阶段不至于被大量空云块带着跑偏。数据增强里有个容易被忽略的点:不要用水平翻转之外的光学变换(比如随机颜色抖动),因为云的辐射特征被破坏后模型反而会被误导。
4.3 训练时真正值得盯的指标:IoU、Dice 与 F1
在云图识别里,准确率(Accuracy)是最大的骗子。一块影像里 80% 是无云地表,模型全输出背景就有 80% 的准确率,你甚至会以为模型学得不错。真正要看的三个指标:
- 云类的 IoU(交并比):衡量云像素位置和真实掩膜的重合度;
- Dice 系数:和 IoU 高度相关但在小目标上更敏感;
- 云类分类的 F1:关注的是漏报和误报的平衡点,尤其在薄云区域。
IoU 阈值怎么定也直接影响数字:把模型输出概率大于 0.5 的像素记为云,和大于 0.8 记为云,IoU 差距巨大。业务上推荐算两条指标:0.5 阈值的标准 IoU,以及 0.8 阈值的“保守云掩膜 IoU”。后者代表业务方可以直接信任的厚云区域,数字低也不要怕,说明模型对薄云有犹豫,这是正常的。
4.4 一次能跑完的工程设置:随机种子、日志记录、早停
训练云图模型的实验管理看起来琐碎,但直接决定项目能否在三天内收敛,而不是陷入调参的黑洞里。我的固定配置是:固定随机种子,把训练/验证集划分方式写进配置文件并落盘,每个 epoch 结束把 loss 和各类指标追加写入 CSV,顺便把验证集上的预测结果抽几张存到固定目录。这些事前工作能让之后排查问题时省下半天时间。
import random
import numpy as np
import torch
def set_seed(seed=42):
random.seed(seed)
np.random.seed(seed)
torch.manual_seed(seed)
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
早停策略比嘴上提醒自己“别过拟合”有效得多。我在验证集 IoU 连续 10 轮不改善时直接停止训练,并回写最佳权重路径。这里要注意:最佳权重的判断标准是验证 IoU,不是训练 loss。训练 loss 持续下降但验证 IoU 停止爬升,那就是过拟合开始冒头的信号,回滚到前面那个 checkpoint 往往比继续硬熬更划算。
5. 云图识别避坑手册:5 条高频翻车现场
5.1 高反射地表(雪/建筑)被当成云
- 现象:模型把高原积雪、城市高反射屋面、云层旁边的亮沙地全部识别成云,云掩膜一眼看过去糊成一大片。
- 原因:可见光单通道下,云和这些地物的反射率区间高度重叠。训练数据里如果不包含大量“不是云但很亮”的样本,模型必然学偏。
- 解决:一是训练集里显式加入含雪、盐碱地、城市影像的瓦片,并在标注时把这些区域标记为背景;二是在输入通道里加入热红外波段数据(云顶亮度温度普遍低于地表),这是目前效果最好的“后悔药”。如果在项目早期没规划红外波段,后期要补的话就要重新准备数据,代价比较大。
5.2 训练 loss 漂亮但 DI 没动静
- 现象:训练刚跑两个 epoch,loss 看起来降得非常漂亮,损失函数值一路往下走,但每轮验证的 Dice 系数在 0 到 0.1 之间波动,几乎没反应。
- 原因:常见于 Dice Loss 和 BCE 混合训练时,BCE 分量主导了梯度,模型快速学会了“输出全黑”这种局部最优解;另一个常见原因是学习率设置过大,预训练权重直接被冲散。
- 解决:先把 Dice 权重调高到主导位置,学习率降到预训练模型微调的常规档位(能跑 10 个 epoch 的 1e-4 左右),同时把验证集里的平均 Dice 和“云像素占比超过 30% 的瓦片 Dice”分开打印,后者才是真正有区分度的指标。如果输出全黑,立刻检查最后一个卷积层是不是接错了 sigmoid 或没有归一化。
5.3 拼接影像出现重影或云带错位
- 现象:多轨影像拼完之后云带出现双重轮廓,顺着轨道断裂处有明显的接缝。
- 原因:拼接前没有做严格的几何配准,输入到模型的瓦片地理坐标已经乱了。
- 解决:在切瓦片前用统一的地理格网做重投影,确认每个瓦片都带有效的经纬度角点。对精度要求不高时,可以用
rasterio读取地理变换信息后做一次最近邻采样重采样。这里省掉的功夫,会在训练时以“对不上”的方式加倍偿还。
5.4 一跑就显存爆炸,但 batch 明明不大
- 现象:batch size 设成 8,256x256 的输入影像,训练刚开始就 OOM,提示 CUDA out of memory。
- 原因:编码器是 ResNet34 的话,显存消耗主要发生在中间特征图上,跟 batch size 不完全是线性关系;另外如果开了精确的 float32 并且没有梯度累积的话,中间变量很容易把显存吃满。
- 解决:试验性地开启混合精度训练(AMP),它能把显存占用直接砍掉一半左右;如果还不行,把输入尺寸从 256 降到 224,配合批次减半、梯度累积两步重试。还有一个隐蔽的坑:
data_loader里num_workers开太多也会复制数据到共享内存,导致系统级内存被吞。
5.5 验证输出全黑或全白,数值全是 NaN
- 现象:训练过程中验证集出来的预测图随机出现全黑或者全白,打印 logits 发现全都是 NaN。
- 原因:强烈怀疑输入数据里有残留的
NaN像素。拉伸操作里杀掉了大部分 NaN,但有些填充值(比如 -999 或 0)没有暴露,在归一化后产生极端数值,再经过 BatchNorm 出现数值爆炸。 - 解决:在数据加载结束、喂给网络之前加一步显式数值校验:
assert torch.isfinite(img).all(),如果失败就丢弃这个瓦片而不是硬着头皮训。这类问题排查起来非常费时,提前埋一道卡关逻辑能省一整晚。
6. 从训练到落地:把模型压成可部署的推理服务
6.1 从 PyTorch 到 ONNX:导出与形状对齐
训练好的 PyTorch 模型不能直接丢给业务方,他们多半跑在一个只有 CPU 的环境里。我一般会把模型导出为 ONNX,配合 ONNX Runtime 做 CPU 推理,体积小、依赖少,速度在单张瓦片上能做到几十毫秒。
import torch
import onnxruntime as ort
model.eval()
dummy_input = torch.randn(1, 3, 256, 256)
torch.onnx.export(
model,
dummy_input,
"cloud_unet.onnx",
input_names=["input"],
output_names=["mask"],
dynamic_axes={"input": {0: "batch"}, "mask": {0: "batch"}},
opset_version=13
)
# 验证导出成功
ort_session = ort.InferenceSession("cloud_unet.onnx")
out = ort_session.run(None, {"input": dummy_input.numpy()})[0]
导出时最容易踩的坑是 BatchNorm 在训练和推理模式下的差异。导出之前一定要确认 model.eval() 已经调用,否则 ONNX 图里会带多出来一堆 BN 状态变量。 dynamic_axes 设为 batch 维度动态,这样部署时可以一个 batch 只推一景瓦片,省内存。如果业务方在意推理速度,可以顺手套一层 int8 量化,但对于云层边缘的分割任务,量化后 IoU 掉 1% 到 2% 是能接受的,再往下掉就得换回 float32。
6.2 用一段历史影像做回测:先算账,再谈上线
部署前最后一个动作,是拿你训练集之外的历史影像跑一次完整回测,确认模型在业务区域的真实表现。做法是把三个月里某个固定区域的卫星影像批量过推理,统计每天检测到的云覆盖率,再和气象站人工观测的云量记录做相关性分析。这个步骤决定了模型是能真上线,还是只能停留在演示阶段。
相关统计可以用一个简单脚本打成表格输出:日期、模型云覆盖率、人工云量记录、差值。看差值的分布,如果系统性偏高(比如每天都比人工观测多出 10%),大概率是模型把高反射地表当云了,回到第 5 章的第一个坑去补样本;如果时高时低,才更可能是真的随机误差。这个环节别跳过,它本质上是在给业务方交底:“模型能做到什么程度、哪里还不可信。”我先把这个回测脚本留在自己的项目模板里,后来每个新区域的模型迁移都靠它把关。希望这套从数据到部署的路径能帮你在卫星云层图像识别这个方向上少走几趟弯路。
更多推荐
所有评论(0)