别再到处找了！5个经典高光谱数据集（Indian Pines/PaviaU等）的Python加载与预处理保姆级教程

高光谱图像处理实战5大经典数据集的Python加载与预处理全解析刚接触高光谱图像分析的研究者常会遇到一个尴尬局面——手握着.mat格式的数据文件却不知从何下手。Indian Pines、PaviaU这些经典数据集在论文中被反复引用但当你真正打开这些文件时复杂的维度结构和晦涩的标签编码往往让人望而却步。本文将用最直白的代码演示带你跨越从有数据到会用数据的关键门槛。1. 环境配置与工具准备工欲善其事必先利其器。高光谱图像处理需要特定的Python库支持这里推荐使用Anaconda创建专属环境。打开终端执行以下命令conda create -n hyperspectral python3.8 conda activate hyperspectral pip install numpy scipy matplotlib scikit-learn spectral关键库的作用说明scipy.ioMATLAB文件(.mat)读取的核心工具numpy高维数组操作的基石matplotlib可视化不可或缺的利器spectral专业的高光谱图像处理库提示若遇到libGL.so缺失错误在Ubuntu系统可运行sudo apt install libgl1-mesa-glx检查环境是否配置成功import scipy.io as sio import numpy as np print(np.__version__, sio.__version__) # 应输出1.21.5 1.10.02. Indian Pines数据集全流程解析作为高光谱领域的MNISTIndian Pines数据集是入门的最佳起点。这个145×145像素的图像包含200个光谱波段覆盖了印第安纳州一片农业区的16类地物。2.1 数据加载与结构探查下载后的数据集通常包含两个文件Indian_pines_corrected.mat光谱数据立方体Indian_pines_gt.mat地面真实标签加载代码示例data sio.loadmat(Indian_pines_corrected.mat)[indian_pines_corrected] labels sio.loadmat(Indian_pines_gt.mat)[indian_pines_gt] print(f数据维度{data.shape}标签维度{labels.shape})典型输出数据维度(145, 145, 200)标签维度(145, 145)理解这个三维结构很关键前两维是空间分辨率高度×宽度第三维是光谱通道数200个波段标签是二维矩阵每个像素对应一个类别ID2.2 可视化技巧从假彩色到波段分析假彩色合成是快速了解数据特征的有效手段。选择第50、30、10波段作为RGB通道import matplotlib.pyplot as plt rgb data[:, :, [50, 30, 10]] # 波段选择 rgb_normalized (rgb - np.min(rgb)) / (np.max(rgb) - np.min(rgb)) plt.figure(figsize(12, 6)) plt.subplot(121) plt.imshow(rgb_normalized) plt.title(假彩色合成图像) plt.subplot(122) plt.imshow(labels, cmapjet) plt.title(地物分类标签) plt.colorbar() plt.show()注意不同波段的组合会突出不同地物特征建议尝试[60,30,10]、[100,50,20]等组合观察效果3. Pavia University数据集实战这个610×340像素的都市场景数据集来自意大利帕维亚大学包含103个有效波段和9类城市地物。其较大的空间尺度使其非常适合研究城市土地利用分类。3.1 特殊挑战处理大尺寸数据PaviaU的数据量是Indian Pines的10倍以上内存管理需要特别注意# 分块加载策略示例 def load_large_mat(file_path, key): mat sio.loadmat(file_path) return np.array(mat[key], dtypenp.float32) # 显式指定数据类型节省内存 data load_large_mat(PaviaU.mat, paviaU) print(f内存占用{data.nbytes/1024/1024:.2f}MB) # 约158MB3.2 波段标准化与噪声处理由于城市环境中存在金属、玻璃等高反射物体数据预处理尤为关键# 逐波段标准化 def band_normalize(hsi_cube): normalized np.zeros_like(hsi_cube) for i in range(hsi_cube.shape[2]): band hsi_cube[:, :, i] normalized[:, :, i] (band - np.mean(band)) / np.std(band) return normalized data_norm band_normalize(data) # 噪声波段检测示例 band_vars np.var(data_norm, axis(0,1)) noisy_bands np.where(band_vars 2.0)[0] # 方差阈值 print(f疑似噪声波段{noisy_bands})4. Salinas Valley农业数据集深度处理这个512×217像素的加州农业数据集包含204个波段特别适合研究作物分类。其独特的价值在于包含了多种蔬菜作物的精细分类如不同生长阶段的生菜。4.1 植被指数计算利用特定波段组合可以提取有用的农业特征# 计算NDVI归一化差值植被指数 red_band 30 # 假设红波段 nir_band 90 # 假设近红外波段 red data[:, :, red_band] nir data[:, :, nir_band] ndvi (nir - red) / (nir red 1e-10) # 避免除零 plt.imshow(ndvi, cmapRdYlGn, vmin-1, vmax1) plt.colorbar() plt.title(NDVI分布图)4.2 样本均衡化处理农业数据常存在严重的类别不平衡问题from sklearn.utils import resample # 获取所有类别像素坐标 classes np.unique(labels)[1:] # 排除背景0 samples [] for cls in classes: coords np.argwhere(labels cls) samples.append(coords) # 过采样少数类 max_samples max(len(s) for s in samples) resampled [] for s in samples: resampled.append(resample(s, replaceTrue, n_samplesmax_samples)) # 合并为平衡数据集 balanced_coords np.vstack(resampled)5. Houston双城记2013与2018对比分析这两组来自休斯顿大学的数据展现了高光谱技术的演进。2013版有144个波段而2018版虽只有50个波段但空间分辨率更高2.5m vs 1m。5.1 跨数据集统一处理框架建立通用加载接口方便对比研究class HoustonLoader: def __init__(self, year): self.year year self.bands 144 if year 2013 else 50 def load(self): prefix fHouston{self.year} data sio.loadmat(f{prefix}.mat)[fhouston{self.year}] labels sio.loadmat(f{prefix}_gt.mat)[fhouston{self.year}_gt] return data, labels # 使用示例 houston13 HoustonLoader(2013) data13, labels13 houston13.load()5.2 空间-光谱特征融合结合空间上下文信息提升分类精度from skimage.filters import gabor def extract_spatial_features(img, frequencies[0.1, 0.3]): features [] for freq in frequencies: filt_real, filt_imag gabor(img, frequencyfreq) features.extend([filt_real, filt_imag]) return np.stack(features, axis-1) # 对第一主成分提取空间特征 from sklearn.decomposition import PCA pca PCA(n_components1) pc1 pca.fit_transform(data13.reshape(-1, data13.shape[-1])).reshape(data13.shape[:2]) spatial_feat extract_spatial_features(pc1)6. 预处理流水线构建将前述步骤封装成可复用的处理流程from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler class HyperspectralPipeline: def __init__(self): self.steps [ (band_select, BandSelector([30, 50, 90])), (denoise, WaveletDenoiser(threshold0.1)), (normalize, StandardScaler()), (augment, SpatialAugment()) ] def fit_transform(self, X): for name, step in self.steps: X step.fit_transform(X) return X # 自定义波段选择器示例 class BandSelector: def __init__(self, bands): self.bands bands def fit_transform(self, X): return X[:, :, self.bands]实际项目中这样的预处理流水线可以节省大量重复工作。记得根据具体任务调整波段选择策略和降噪参数。