PPT学习记录
图像颜色，压缩，图像复原，图像增强(空间域变换，频域变换)
1.会议||杂志：
JCST, ICCV, CVPR,ECCV MM, ICIP, ICME, ICPR, CIVR
ICCV ECCV CVPR是机器视觉领域的三大会议。
2.邻域处理方法是图像增强和复原过程的核心
3.取样：图像空间坐标的数字化（确定水平和垂直方向上的像素个数）
非统一的图像采样：在灰度级变化尖锐的区域，采样细腻
变化平滑，粗糙采样
量化：图像函数值的数字化
4.数字图像的表示：二维离散亮度函数，二维矩阵
5.BMP格式
（1）位图文件头 包括文件类型，文件大小，偏移
（2）位图信息头 包括分辨率，压缩类型
（3）调色板 保存颜色信息（蓝/红/绿色分量）（真彩色图不需要调色板，因为：在RGB色彩空间，图像深度与色彩的映射关系主要有真彩色、伪彩色和调配色。真彩色(true-color)是指图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的色彩称为真彩色。例如图像深度为24，用R:G:B=8:8:8来表示色彩，则R、G、B各占用8位来表示各自基色分量的强度，每个基色分量的强度等级为2^8=256种。图像可容纳2^24=16M种色彩(24位色)。24位色被称为真彩色，它可以达到人眼分辨的极限，发色数是1677万多色，也就是2的24次方。但32位色就并非是2的32次方的发色数，它其实也是1677万多色，不过它增加了256阶颜色的灰度，为了方便称呼，就规定它为32位色。这些只是相对于人眼的识别能力，这样得到的色彩可以相对人眼基本反映原图的真实色彩，故称真彩色。From百科）
（4）图像数据 对于256色位图：用8位来表示一个像素颜色，所以一个字节表示一个像素。对于真彩色图，3个字节表示一个像素。
6.图像的质量
层次：0-255，图像为256个灰度级，图像实际拥有的灰度级的数量就是层次。
对比度：一幅图像灰度反差的大小
对比度 = 最大亮度 / 最小亮度
清晰度：（1）亮度（2）对比度（3）尺寸（4）细微层次（5）颜色饱和度
7.像素之间的基本关系：
邻域 && 连通
8邻域 = 4邻域 + D邻域
连通的必要条件：位置相邻，灰度近似
m连通：是4连通或者是D连通但是P与Q的四连通的交集是空（灰度值为0？）
通路：邻接像素均连通
距离：欧氏距离 D4距离:菱形 D8距离: 正方形，D8（p, q） = max( |x -s|, |y-t|)
8.图像增强
方法：空域方法（点处理（变换）、模版处理（滤波）） || 频域方法（傅里叶变换）
策略：全局处理 || 局部处理
对象：灰度图像 || 彩色图像
9.空间域增强 g( x, y ) = T{f( x, y )}
T是指变换 r是指灰度级 【0-255】
具体有：
反转变换 s = ( L - 1 ) - r ---黑白转换
对数变换 s = clog( 1 + r ) ---灰度压缩
幂次变换 s = cr^y
其中c、r均为正数。与对数变换相同，幂次变换将“部分”灰度区域映射到更宽的区域中。当r=1时，幂次变换转变为线性变换。
(1) 当r<0时，变换函数曲线在正比函数上方。此时扩展低灰度级，压缩高灰度级，使图像变亮。这一点与对数变换十分相似。
(2) 当r>0时，变换函数曲线在正比函数下方。此时扩展高灰度级，压缩低灰度级，使图像变暗。
对比度拉伸 == 灰度拉伸，提高图像处理时灰度级的动态范围
灰度级切片 == 关心范围指定较高值，其他指定较低值
平面切片 == 通过对特定位提高亮度，改善图片质量
较高位（前四位）包含视觉重要数据，后四位对微小细节起作用。256灰度级可以分为0-7共8个平面位
9. 代数运算
(1)加法：去除叠加性噪声
对f有噪声图像集{gi}
gi( x, y ) = f( x, y ) + hi( x, y )
噪声h( x, y )均值为0且互不相关
E(g( x, y )) = f( x ,y )----图像的均值将降低噪声的影响 N越大，均值越小，标准差越小。失真越小。
g(x,y) = af(x,y) + bh(x,y) a+b=1 可以得到各种图像合成的效果。也可以用于两张图片的衔接
(2)减法： 可以检测同一场景两幅图像之间的变化
(3)乘法：C(x, y) = A(x,y) * B(x,y) 图像的局部显示
(4)非 补 与（相交子图，可以提取感兴趣的子图像） 或 异或
10.
（1）直方图
h(rk) = nk
nk是图像中灰度级为rk的像素个数
p(rk) = nk / n
使函数值正则化到[0,1]区间，成为实数函数（概率密度统计）
（2）直方图均衡化
镜头边界的检测:
（1）连续帧相减：计算两帧像素变化的数目，当超过设定的阀值时，即边界。缺点是对摄像机的运动敏感，如放缩，平移。解决方法：用像素临近区域的平均值来代替每一个像素。（这个貌似可以用在拼图上）
（2）直方图相减：统计相邻两帧所有像素在不同灰度上的分布差异，当差异累加值超过阀值T时，即边界。优点：对对象运动不敏感（这个貌似可以用在汽车检测上）
或者可以计算差值的均值和方差
文献：H.J.Zhang,A.Kankanhalli,and S.W.Smoliar, “Automatic
Partitioning of Full-Motion Video”. ACM Multimedia System,
Apr.1993.（说明直方图相减很有用）
（3）时空切片分析：颜色和纹理的不连续
文献：C.W.Ngo,T.C.Pong,and R.T.Chin. “Video Partitioning by
Temporal Slice Coherency”. IEEE Transactions on Circuits and
Systems for Video Technology, Aug.2001.
11.空间滤波器---空间域图像增强---用来进行图像处理的空间模板---模糊OR锐化
滤波器---好像只是一个系数矩阵，用来乘以原图得到处理后的图像
平滑空间滤波器：包括线性滤波器（又名均值滤波器），非线性滤波器（又有最大值滤波器，中值滤波器，最小值滤波器）
均值滤波器：每个像素都用临近的像素的均值来表示
锐化滤波器：均值类似积分，那么微分产生相反的效果--锐化
（1）二阶微分滤波器---拉普拉斯算子
f‘‘ = f‘‘|x + f‘‘|y
写成离散形式：
f'' = f(x + 1 ,y) + f(x - 1, y) + f(x, y + 1) + f(x, y - 1) - 4f(x, y)
增强后图像
g(x, y) = f(x, y) +/- f''
（2）一阶微分滤波器---梯度算子
A.
f’ = {(z6 - z5)^2 + (z8 - z5)^2}的0.5次幂 (ppt174)
z5是8连通中间的像素值
B.微分滤波器模板系数设计
Roberts交叉梯度算子 f' = |z9 - z5| + |z8 - z6|
Prewitt梯度算子 f' = |(z7 + z8 + z9) - (z1 + z2 + z3)| + |(z3 + z6 + z9) - (z1 + z4 + z7)|
Sobel梯度算子 和PREWITT一样？
12.描述彩色光的三个基本量：辐射率，光强， 亮度
彩色模型有：RGB, CMY（青，深红，黄）和CMYK（青，深红，黄，黑）, HSI(色调，饱和度，亮度), YIQ（零度，色调）, YUV, YCbCr
CMY = 1 - RGB
其他好复杂，等到要用到的时候查就好了。
13.伪彩色图像处理
强度分层技术：
灰度级到彩色转换技术
14.全彩色图像处理、彩色变换、补色（彩色环上相对立的颜色）、彩色图像平滑和尖锐化，彩色空间分割
15.基于内容的图像检索---最重要（却是原书没有的内容）--Google可以进行图像搜索
背景：对于海量的图像，基于人工标注文
字的检索已不可能。该技术可以让计算机自动分析和检索。
现有系统：QBIC Virage Photobook Visual SEEK, MARS
特征提取:颜色，纹理，形状，空间关系
特征表示：
（1）颜色
统计直方图，累积直方图，颜色布局（RGB到YCbCr），颜色分块(将整幅图像品均分成64快，计算每一块中所有像素个颜色分量的平均值，作为该块的代表颜色， DCT变换，之字形扫描和量化， 构成描述符)
相似度匹配：直方图相交法，欧式距离，距离法， 中心矩法，参考颜色表法
（2）纹理：类似于布纹，草地，砖墙等重复性结构的图像称为纹理图像
定义：纹理可认为是灰度在空间以一定的形式变换而产生的图案,周期性，高频分量密切联系。
Tamura表示法：对比度，粗细度，方向性280
联合概率矩阵表示：基于像素间的距离和方向建立联合概率矩阵，从联合概率矩阵中提取出有意义的统计量作为纹理描述
小波表示：用小波子带的统计量（均值和方差）作为纹理表示
（3）形状
不同视角目标形状不同，需要解决平移，尺度，旋转变换不变形
描述方法：
傅里叶描述子，不变矩描述子，有限元素法
相关反馈
索引结构
MPEG-7 Multimedia Content Description Interface
16.傅里叶变换
（1）将一个函数f(x)通过N重积分映射到另一个函数F(u)。即N维连续傅里叶变换
积分改成求和，则是N重离散傅里叶变换DFT
（2）欧拉公式
(3)极坐标表示
（4）F（0,0)表示一幅图像的平均灰度级
（5）性质
17.频率域滤波
变化最慢的频率成分（u=v=0）对应一幅图像的平均灰度级 低频---平滑
频域率的滤波步骤：
中心变换+DFT+滤波器函数与F相乘+得到实部+取消中心变换
18.
陷波滤波器：F（0,0）=0，H=0,其他频率成分不变。H=1
低通滤波器：使低频通过，高频衰减，突出平滑过渡部分
高通滤波器：与上反，突出尖锐细节部分
（好像和取模有点类似，所以说数学真的要学好啊）
冲激函数：和中值定理或者特征值有点像
19.频域率的图像增强（定义不同的H函数）
（1）
理想低通滤波器：截断傅里叶变换中的所有高频部分
巴特沃斯低通滤波器：越接近截断频率，衰减越大。（H越小）H最大值是1，即没有衰减
高斯低通滤波器：用一个 高斯函数的H函数
（字符识别，通过模糊图像，桥接断裂字符的裂缝）（人脸皱纹减少）
目的：模糊细节，保留大的可识别特征
（2）
振铃效应（Ringingeffect）是影响复原图像质量的众多因素之一，其典型表现是在图像灰度剧烈变化的邻域出现类吉布斯（Gibbs）分布--(满足给定约束条件且熵最大的分布)的振荡。在图像盲复原中，振铃效应是一个不可忽视的问题，其严重降低了复原图像的质量，并且使得难于对复原图像进行后续处理。
（3）高通滤波器也分为理想，巴特沃斯，高斯三种，求H的相反数，或者用1来减就可以得到函数。
（4）拉普拉斯算子
（5）钝化模板：原图像减去低通图像得到的锐化/高通图像
20.已学图像增强。还有图像复原、小波变换、图像压缩、形态学处理、图像分割
下面是图像复原
21.图像增强是一个对比度拉伸，图像复原追求恢复原始图像的最优估值。除了解决退化问题，噪声和干扰也得解决。有高斯噪声，瑞利噪声，伽马噪声，指数分布噪声，均匀分布噪声，脉冲（椒盐）噪声（467）
22. 当退化的原因只有噪声时，空间滤波器（均值，顺序统计，自适应滤波器）
自适应，局部噪声消除滤波器：NAN
自适应中值滤波器：NAN
23.频率域滤波器
带阻滤波器：阻止一定频率范围内的信号，允许一定范围内信号通过（理想，巴特沃斯，高斯）
带通滤波器: 1-带阻滤波器
陷波滤波器：阻止或通过事先定义的中心频率邻域内的频率。
最佳陷波滤波器：
24.图像压缩
图像压缩的重中之重就是信息论基础。剔除冗余/相关数据，提高压缩率。这个在人工智能内进行自主学习的时候也有用到。
无损压缩好在无损，但是速度和压缩率可能不好，为了统一规范，压缩有了标准
如果有相关数据，可以融合成一组，或者用表达式存储。
所以，从统计角度看，是把图像转化为尽可能不相关的数据集。
25.
压缩又可以分为空域和频域方法，又名预测编码，变换编码
三种基本的数据冗余：
编码冗余：灰度级使用过度
像素间冗余：任何像素都可以用相邻像素的值为基础进行表达
心里视觉冗余：会导致信息损失
26.
客观保真度准则：损失的信息量用编码输入图像和编码输出图像的函数表示。
均方根误差 差的和的平均值的平方之后开方
均方信噪比 原来的值的平方的和比上差的平方的和
主观保真度准则：
信源编码器：减少或消除输入图像中的冗余，包括转换器（像素间冗余），量化器（心里视觉冗余，不可逆），符号编码器（编码冗余）
信源解码器：包括符号解码器，反向转换器
27. 信息信道
信源---信道---信宿
信息源：信源字母表（信源产生符号）和各个符号的概率 组成信息源
28.
变长编码：把最短的码字赋予出现概率最大的灰度级
LZW编码：消除像素间冗余，将原始数据中的重复字符串建立一个字符串表，然后用该重复字串在字串表的索引替代原始数据达到压缩的目的。
位平面编码：将一幅图像分解为一系列二值图像并通过二值图像压缩方法对每幅二值
图像进行压缩。
无损预测编码：通过仅提取每个像素中的新信息并对它们编码来消除像素间的冗余
29.
有损预测编码（空域方法）：NAN
ppt613
变换编码 （频域方法）：NAN
30.
JPEG:基于DCT的有损编码基本系统。DTT计算+量化+变长码赋值
图像分解成多个8x8的图形块， DCT类似于低通滤波器，低频集中左上角，高频分布在右下角，量化去掉高频分量，F（0,0）代表直流（DC）系数，其他63个元素时直流（AC）系数，得到DC码字和AC行程码字后，采用Huffman编码
31.MPEG帧的分类---针对运动图像
I帧---不需要参考其他画面而独立进行压缩编码的画面
P帧----参考前面已编码的I或P画面进行预测编码的画面
B帧---既参考前面的I或P画面，又参考后面的I或P画面进行双向预测编码的画面
帧内编码技术---参考同帧附近
帧间编码技术---参考附近帧