SPIHT算法对BP神经网络图像压缩处理的改善
来源:易妖游戏网
第22卷第6期 电子测量与仪器学报 JOURNAL OF ELECTRONIC MEASUREMENTAND INSTRUMENT f.22・ Ⅳ0.6 7 ・ 2008年12月 SPIHT算法对BP神经网络图像压缩处理的改善 熊校良杨光临 段晓辉 (北京大学信息科学技术学院电子学系信号与信息处理实验室,北京100871) 摘要:本文针对BP神经网络对图像高频信息压缩效果欠佳和收敛性较差的问题,提出了将SPIHT(多级树集合) 算法应用于BP神经网络图像压缩处理的新结构。在研究中,首先对原始灰阶图像做小波变换;其次采用SPIHT算法对小波 系数作量化编码处理;然后将产生的图像码流输入BP神经网络作进一步压缩处理。在实验中,本文提出的算法不仅在较大 压缩比下仍能得到较高的峰值信噪比,而且有效地改善了图像的“块效应”问题;同时,提高了BP神经网络图像压缩的收敛速 度,从而证明了该系统结构对图像压缩处理是有效的。 关键词:图像压缩,BP神经网络,SPIHT算法 中图分类号:TP391 文献标识码:A 国家标准学科分类代码:520.6040 Image Compression of BP Neural Network with SPIHT Algorithm Xiong Xiaoliang Yang Guanglin Duan Xiaohui (Signal and Information Processing Lab.,Dept.of Electronics,Peking University,Beijing 100871,China) Abstract:An image compression scheme for BP neural network with SPIHT algorithm is presented to solve the poor image quality and low convergence speed in high spatial ̄equency information compression of BP neurl neta— work image.In researching,the original grayscale image is convened to the wavelet coeficifents using wavelet transform.SPIHT algorithm is adopted to quantize and encode the wavelet coeficifents.And then the image code stream is transmitted to BP neural network for a further compression.In experiment,this system not only can get a better PSNR even under high compression ratio,but also avoid the“tiling”effect,and the convergence speed of BP neural network image processing is improved. Keywords:image compression,BP neural network,SPIHT algorithm. 引 言 有学者将小波变换引入BP神经网络图像压缩 处理中 J,其方法是将图像经小波变换后的小波系 数直接送入神经网络,虽然有效改善了图像的高频 信息失真,但是导致了神经网络收敛速度变慢、压缩 处理的时间过长。也研究了JPEG基线算法应用于 提出了SPIHT算法 应用于BP神经网络图像压缩 处理的结构,如图1所示。实验证明,这种结构对处 理图像的高频信息压缩和改善BP神经网络的收敛 性是有效的。 2 BP神经网络图像压缩原理 D.E.Rumelhart,G.E.Hinton和R.J.WiⅡi砌s BP神经网络图像压缩处理中 ,来改善图像高频信 息处理的质量,但是,在JPEG算法的大压缩比下, 不可避免的存在“块效应”问题。 在此基础上,本文针对BP神经网络在图像高 的BP神经网络理论可以描述为(1)、(2)式: Ⅳ = ∑ i=1 置 + )1≤ ≤K (1) +6:)1≤i≤N (2) 频信息压缩处理中效果欠佳和收敛性较差的问题, 本文于2007年11月收到。 Y =JF【∑ J=1 基金项目:国家自然科学基金(编号:60429101)资助项目。 ・ 8 ・ 电子测量与仪器学报 2008年 式中 ・)是多层网络每一个神经元的激励函数, 方误差准则,计算公式如下 是输入层到隐含层的K×N维连接权值矩阵, , ,、 是隐含层到输出层的N×K维连接权值矩阵,其中 一 ‘ (3) 、.『、K、Ⅳ皆整数。 式中: 表示第i个节点的期望输出。 在BP算法中,训练算法的收敛准则是最小均 小波 维度 维摩 小波 圜墼lI图像l——’l鬻(第一级压缩)l墼I——’ IB 喜二级压缩) l墼I——.’ Ilm算法Hl异 肼解 l——’图 lI 像I 图1 SPIHT算法应用于BP神经网络图像压缩处理的结构框图 Fig.1 Block diagram of image compression of BP neural network with SPIHT algorithm 当BP网络的隐含层节点数小于输入层节点数 表显著像素表,用于存放显著系数。 时即可实现数据压缩。其应用于图像压缩时,存在 将低通子带中所有根节点系数送到LIP, 对图像低频部分压缩效果较好,而对高频部分压缩 把所有树指定为D型树,赋给LIS 效果欠佳的问题,这将导致重建图像边缘效应…。 3 SPraT(多级树集合)算法 习 Y 子节点送至LIs 为了改善以上提出的问题,本文提出将SPIHT 算法应用于BP神经网络图像压缩处理的结构。 3.1小波变换及小波系数的特点 在采用SPIHT算法之前,需要对原始图像做小 是 波变换,目的是为了实现图像的多分辨率分解,以便 在量化编码时去除图像数据的空间冗余。利用 Mallat算法 可以将图像分为各层各分辨率上的近 似分量、垂直细节分量、水平细节分量、对角细节分 量,实现图像的多分辨率分解。图像经小波变换后, 图2 SPIHT算法流程图 能量主要集中在小波系数LL低频子带,剩余很少 Fig.2 Flow chart of the SPIHT algorithm 的能量分布在各级高频子带中;高频能量主要集中 在为数不多的高频显著系数上,它包含了图像的边 3.3 SPII-IT算法对BP神经网络图像压缩处理的改进 缘和纹理等重要信息,也是影响图像“块效应”及 小波系数经SPIHT算法编码后生成(0,1)码 “边缘效应”的关键因素 J。 流,将其送人BP神经网络作第二级压缩。BP网络 3.2 SPⅢT算法对小波系数的量化编码 图像压缩的关键性问题是边缘效应和收敛性问题。 为充分利用小波系数的上述特点,本文采用“多 本文采用SPIHT量化编码码流送入神经网络的方 级树集合”(SPIHT)算法,其思想是通过确定非 法,有效地改善了上述问题,这是因为: 显著系数的分布位置间接地定位显著系数,进而将其 首先,SPIHT算法有效地保留了高频显著系数, 保留在码流中以避免压缩时被丢失。SPIHT算法包 使边缘效应得到明显改善。SPIHT算法首先将树中 括2个主要的核心技术,即集合分割分类算法和空间 的所有节点进行显著性测试,如果树中没有显著节 方向树及其层次结构上的集合操作。具体来说,就是 点,则不再对整个树编码;如果树中存在显著节点, 利用子带间不重要系数的相关性,采用空间树分层分 则采用从树根开始的办法用尽可能少的编码比 割的方法,通过空间方向树的多次来确定重要元 特保留尽可能多的高频显著系数 』。 素,消除树间冗余 J。其算法如图2所示。其中,LIP 其次,SPIHT编码生成的(0,1)码流更适合BP 代表非显著像素表,用于存放单个非显著系数;LIS表 神经网络的收敛和判决输出。BP多层网络的误差 示非显著集合列表,用于存放非显著系数树;LSP代 曲面可能含有多个不同的局部极小值,梯度下降可 第6期 SPIHT算法对BP神经网络图像压缩处理的改善 ・ 9 ・ 能陷入这些局部极小值中的一个,而不能保证收敛 到全局的最小值。本文将(0,1)码流作为BP神经 网络的学习对象,这样算法处理的实质上是一组稀 和隐含层的节点数之比为R ,通过改变R 和R , 得到Lena图像经本文算法压缩处理后重建图像的 PSNR曲线图,如图3和4所示。 疏矩阵,如果再把网络的权值初始化为接近于0的 值,那么在梯度下降步骤中网络将表现为一个非常 平滑的函数,近似为输入的线性函数。这是因为 Sigmoid函数本身在权值靠近0时接近线性,仅当权 值已经增长了一定时间之后,它们才会到达可以表 示高度非线性网络函数的程度。当权到达这一点时 它们已经足够靠近误差的全局最小值,即便它是这 个区域的局部极小值也是可以接受的 。因此,在 这个局部极小值误差下得到的判决输出已经落在分 别以0和1为中心的很小的领域内,在输出层加一 级判决(阈值为0.5)即可高精度的恢复出(0,1)码 流 。 4实验过程与分析 在实验过程中,首先,对原始图像做小波变换; 其次,采用SPIHT算法对小波系数进行量化编码, 这一操作不仅实现第一级压缩,而且使包含边缘和 纹理等重要图像信息的小波高频显著系数保留到码 流中;然后,将码流送人BP神经网络作第二级压 缩。在码流输入和输出BP神经网络时,都需要作 维度变换,其目的是使码流和BP网络的输入层及 输出层节点数相匹配。图像重建即是它的逆过程。 4.1图像压缩处理的质量评价标准 本文依据压缩比(R)和峰值信噪比 (PSNR) 。。来衡量图像处理的质量,其表达式为 (4)、(5)式,式中R 表示SPIHT量化编码的压缩 比,R 表示BP神经网络的压缩比(其中,Ⅳ表示网 络输入层节点数, 表示网络隐含层节点数),两级 压缩比的乘积 就是整个系统的压缩比。 =Rs× =Rs×号 (4) ,) 2 PIs懈=10×log— - ——一dB(5) nN ∑∑( 一V 一 ) 4.2实验分析 本文实验采用的是灰阶Lena图像(65 kB,256 ×256 pixel ,8 bit/greyscale),小波变换选取bior4.4 小波作为小波基,变换层数设定为8层。设SPIHT 算法量化编码的压缩比为R。,BP神经网络输入层 sPIHT算法量化编码压缩比Rs 图3 重建图像PSNR随Rs变化的曲线图 Fig.3 Relationship curves of Rs and PSNR for original Lena and the decompressed Lena in BP neural network with SPIHT algorithm BP神经网络压缩 ̄LRbp(输入层:隐含层1 图4重建图像PSNR随RBP变化的曲线图 Fig.4 Relationship curves of RBP and PSNR for original Lena and the decompressed Lena in BP neural network with SPIHT algorithm 从图3和图4比较,我们发现图3中各条曲线 的斜率很大,而图4中各条曲线趋向于水平线,这说 明重建图像的质量随SPIHT编码的压缩比的不同 而显著变化,而随BP神经网络节点比的变化则不 明显。 从图5分析可以发现,在相同压缩比下,SPIHT 算法与其他3种图像压缩算法相比较,本文算法的 PSNR值明显高于其他3种算法。当压缩比为16:1 时,小波变换图像压缩算法和传统BP神经网络图 像压缩算法的恢复图像PSNR值已经小于30 dB,文 献[2]算法是31.4 dB,而本文算法则达到32.2 dB, 比文献[2]算法提高了0.8 dB。 从图6、图7和图8比较,可以看出经SPIHT算 法压缩重建后的图像失真很小,有效地消除了采用 ・ l0 ・ 电子测量与仪器学报 2008年 图5 4种不同算法下重建图像PSNR 随整个系统的压缩比R变化的曲线图 Fig.5 Relationship curves of R and PSNR for original Lena and the decompressed Lena with four different algorithms — ● ■ 图7 JPEG基线和BP算法压缩重建图像 及其直方图(压缩比为16:1) Fig.7 Decompressed Lena in BP neural network with JPEG baseline algorithm and its histogram (compression ratio 16:1) 图8 SPIHT算法和BP神经网络压缩重建图像 及其灰阶直方图(压缩比为16:1) Fig.8 Decompressed Lena in BP neural network with SPIHT algorithm and its histogram (compression ratio 16:1) JPEG算法的“块效应”问题。此外,重建图像质量 得到了改善,其灰阶直方图相似程度越高,这与实际 数字测量是一致的。比较图6、图7和图8的灰阶 直方图轮廓,可以发现图8的轮廓接近于图6的轮 廓。因此,从图像的灰度分布特征上更进一步证明 了本文提出的算法优于文献[2]算法。 4.3 BP神经网络收敛性实验 传统BP算法、文献[1]中的算法以及本文算法 的BP网络训练时间如表1所示: 表1三种算法的BP网络训练时间 Table 1 Training time of BP networks 实验过程中,在指定的节点比条件下,采用同样 的收敛误差,结果表明,本文算法BP网络训练时间 明显小于其他2种算法的训练时间,故说明SPIHT 算法能够改善BP网络的收敛性。 5 结 论 本文提出了将SPIHT算法应用于BP神经网络 图像压缩处理的结构,建立了该系统。经过实验分 析,发现该算法不仅在较大压缩比下仍具有很好的 图像重建质量,而且有效去除了图像的“块效应”, 同时,改善了BP神经网络图像压缩处理的收敛性, 第6期 SPIHT算法对BP神经网络图像压缩处理的改善 [8] 张丽峰,杨光临,段晓辉.双曲正切非线性函数和加均 值量化算法对BP神经网络图像压缩处理的影响[J]. 工程图学学报,2006,27(1):110—115. ZHANG L F,YANG G L,DUAN X H,et a1.Image Compression of BP Neural Network with Hyperbolic Tan— 缩短了系统的计算时间。同其他压缩算法相比较, 本文提出的将SPIHT算法应用于BP神经网络图像 压缩处理的算法具有较高的压缩比、较好的图像重 建质量、改善了BP神经网络图像压缩系统的收敛 速度,故该系统在数字图像快速传输领域有很好的 应用前景。 参考文献: [1]DENK T,PARHI K K,CHERKASSKY V.Combining neural networks and the wavelet transform for image conl- pression[A].IEEE Internaitonal Conference on Acous— tics,Speech,and Signal Processing[C].1993,1:637 —640. [2]杨光临,张丽峰,段晓辉,等.JPEG基线算法对BP神 经网络图像压缩处理的影响[J].工程图学学报, 2005,26(6):83—87. YANG G L,ZHANG L F,DUAN X H,et a1.Image compression of BP neural network with JPEG baseline al— gorithm[J].Journal of Engineering Graphics,2005,26 (6):83—87. [3]SAID A,PEARLMAN W A.A new,fast and efficient image codec based on set partitioning in hierarchical trees [J].IEEE Transactions on Circuits and Systems for Vid— eo Technology,1996,6(3):243—250. [4]MALLAT S G.Muhifrequency channel decompositions of images and wavelet models[J].IEEE Trnasactions on ASSP,1989,37:209l一2l10. [5]刘文耀.小波图像编码与专用VLSI设计[M].北京: 电子工业出版社,2006:77—80. LIU W Y.Image coding and speciifc VLSI design based on wavelet trnasform[M].Beijing:Publishing House of Electronics Industry.2006:77—80. [6]胡学龙,陆峰.一种基于第二代小波变换的图像压缩 方案[J].电子测量与仪器学报,2003,17(4):37—42. HU X L,LU F.An image compression system based on second generation wavelet trnasformation[J].Journal of Electronic Measurement and Instrument,2003,17(4): 37—42. [7]MITCHELL T M.Machine Learning[M].Beijing:Chi. na Machine Press,2003:104—105. gent Non-linear Function and Adding Mean Quantization Algorithm[J].Journal of Engineering Graphics,2006, 27(1):110—115. [9]YANG G L,SHIMIZU E.CGH compressed nad transmit— ted and reconstructed system with JPEG baseline process・ ing and fresnel transforming technique[J].IEEJ Trans. EIS,2001,121一C(8):1326—1333. [10] YANG G L,SⅢMIZU E.Ifnormation compressed and rtansmitted and reconstructed system of CGH with LOCO —I image processing and fraunhofer transforming tech— nique[J].IEEJTram.EIS,2O00,120一C(11):1520一 】527. 作者简介: 熊校良:1983年出生,男,北京大学硕士研究生,主要从 事图像处理,合成神经网络等领域的研究。 Xiong Xiaoliang,male,was born in 1983,is a M.S, student in Dept.of Electronics,Peking University,China.He erceived B.S.degree from Peking University in 2005.His re— search interests mainly include image processing and artificial neural network. 杨光临:1964年生,男,日本大阪市立大学工学博士,北 京大学副教授,主要从事电气自动化,光电子信息处理,进化 图像处理,电子全息,三维图像显示,三维图像解析与检测等 科学技术的教学与研究。 E—mail:ysl@pku.edu.ca Yang Guanglin,male,was born in 1964,received Dr. Eng.degree from Dept.of Electrical Engineeirng,School of En— igneering,Osaka Ciyt Univesrity of Japan in 2001.From 2002, he was an associate professor in Dept.of Electronics,School of Electronics Engineering nad Computer Science,Peking Universi— ty.His research interests mainly include electric automation, optoelectronic information processing,evolution image process・ ing,electron holography,3D image display,image—based 3D measurement of object for virtual restoration,and image recon— struction from hologram.