图像分割是从图像处理到图像分析的关键技术。图像分割的种类和方法很多，有些分割算法可直接用于任何图像，而另一些算法只能适用于分割特殊类别的图像。有些算法需要先对图像进行粗分割，因为它们需要从图像中提取出来的信息。没有唯一的标准的方法。分割结果的好坏需要根据具体的场合要求衡量。
早期的图像分割方法可以分为两大类。一类是边界方法，这种方法假设图像分割结果的某个子区域在原来图像中一定会有边缘存在；一类是区域方法，这种方法假设图像分割结果的某个子区域一定会有相同的性质，而不同区域的像素则没有共同的性质。这两种方法都有优点和缺点，有的学者考虑把两者结合起来进行研究。现在，随着计算机处理能力的提高，很多方法不断涌现，如基于彩色分量分割、纹理图像分割。所使用的数学工具和分析手段也是不断的扩展，从时域信号到频域信号处理，小波变换等等。
图像分割主要包括4种技术：并行边界分割技术、串行边界分割技术、并行区域分割技术和串行区域分割技术。下面是分别对每一项做简单的介绍。
1、并行边界分割
不同图像灰度不同，边界处一般会有明显的边缘，利用此特征可以分割图像。需要说明的是：边缘和物体间的边界并不等同，边缘指的是图像中像素的值有突变的地方，而物体间的边界指的是现实场景中的存在于物体之间的边界。有可能有边缘的地方并非边界，也有可能边界的地方并无边缘，因为现实世界中的物体是三维的，而图像只具有二维信息，从三维到二维的投影成像不可避免的会丢失一部分信息；另外，成像过程中的光照和噪声也是不可避免的重要因素。正是因为这些原因，基于边缘的图像分割仍然是当前图像研究中的世界级难题，目前研究者正在试图在边缘提取中加入高层的语义信息。
在实际的图像分割中，往往只用到一阶和二阶导数，虽然，原理上，可以用更高阶的导数，但是，因为噪声的影响，三阶以上的导数信息往往失去了应用价值。二阶导数还可以说明灰度突变的类型。在有些情况下，如灰度变化均匀的图像，只利用一阶导数可能找不到边界，此时二阶导数就能提供很有用的信息。二阶导数对噪声也比较敏感，解决的方法是先对图像进行平滑滤波，消除部分噪声，再进行边缘检测。不过，利用二阶导数信息的算法是基于过零检测的，因此得到的边缘点数比较少，有利于后继的处理和识别工作。
Roberts算子：边缘定位准，但是对噪声敏感。适用于边缘明显且噪声较少的图像分割。
Prewitt算子：对噪声有抑制作用，抑制噪声的原理是通过像素平均，但是像素平均相当于对图像的低通滤波，所以Prewitt算子对边缘的定位不如Roberts算子。
Sobel算子：Sobel算子和Prewitt算子都是加权平均，但是Sobel算子认为，邻域的像素对当前像素产生的影响不是等价的，所以距离不同的像素具有不同的权值，对算子结果产生的影响也不同。一般来说，距离越远，产生的影响越小。
Isotropic Sobel算子：加权平均算子，权值反比于邻点与中心点的距离，当沿不同方向检测边缘时梯度幅度一致，就是通常所说的各向同性。
上面的算子时利用一阶导数的信息。
Laplacian算子：这时二阶微分算子。其具有各向同性，即与坐标轴方向无关，坐标轴旋转后梯度结果不变。但是，其对噪声比较敏感，所以，图像一般先经过平滑处理，因为平滑处理也是用模板进行的，所以，通常的分割算法都是把Laplacian算子和平滑算子结合起来生成一个新的模板。
2、串行边界分割
并行边缘检测的方法，对图像的每一点上所做的处理不依赖于其它的点处理结果。串行边界分割在处理图像时不但利用了本身像素的信息，而且利用前面处理过像素的结果。对某个像素的处理，以及是否把它分类成为边界点，和先前对其它点的处理得到的信息有关。串行边界分割技术通常是通过顺序的搜索边缘点来工作的，一般有三个步骤：1.起始边缘点的确定。2.搜索准则，将根据这个准则确定下一个边缘点。3.终止条件，设定搜索过程结束的条件。
边界跟踪是一种串行边界分割的方法。
边界跟踪是由梯度图中一个边缘点出发，搜索并连接边缘点进而逐步检测所有边界的方法。在并行边界分割法中，边缘像素不一定能够组合成闭合的曲线，因为边界上有可能会遇到缺口。缺口可能太大而不能用一条直线或曲线连接，也有可能不是一条边界上的缺口。边界跟踪的方法者可以在一定程度上解决这些问题，对某些图像，这种方法的分割结果更好。具体算法是，先对原图像进行梯度运算，然后进行边界跟踪算法。1.起始点：对梯度图搜索，找到梯度最大点，做为边界跟踪的开始点。2.生长规则：在这个点的8邻域像素中，梯度最大的点被当做边界，同时，这个点还会做为下一个搜索的起始点。3.终止条件：按照2的准则一直搜索，直到梯度绝对值小于一个阈值时，搜索停止。有时为了保证边界的光滑性，每次只是在一定的范围的像素中选择，这样得到的边界点不但能保证连通性，还能保证光滑性。
3、并行区域分割
并行区域分割主要有两种方法：阈值分割和聚类。
直接的阈值分割一般不能适用于复杂景物的正确分割，如自然场景，因为复杂景物的图像，有的区域很难判断究竟是前景还是背景。不过，阈值分割在处理前景和背景有很强的对比的图像时特别有用，此时需要的计算复杂度小。当物体的灰度级比较集中时，简单的设置灰度级阈值提取物体是一个有效的办法。
阈值方法分为全局阈值和局部阈值两种，如果分割过程中对图像上每个像素所使用的阈值都相等，则为全局阈值方法；如果每个像素所使用的阈值可能不同，则为局部阈值方法。最佳全局阈值的确定的常用方法一般有下面几种：试验法，直方图法，最小误差法（这种方法是假设背景和前景的灰度分布都是正态分布的）。当光照不均匀、有突发噪声，或者背景灰度变化比较大时，整幅图像分割将没有合适的单一门限，因为单一的阈值不能兼顾图像各个像素的实际情况。这时，可对图像按照坐标分块，对每一块分别选一阈值进行分割，这种与坐标相关的阈值称为动态阈值方法，也称为自适应阈值方法。这类方法的时间和空间复杂度比较大，但是抗噪声能力比较强，对采用全局阈值不容易分割的图像有较好的效果。自适应阈值选取的比较简单的方法时对每一个像素确定以它为中心的一个邻域窗口，计算窗口内像素的最大和最小值，然后取它们的均值做为阈值。对图像分块后的每一个子块可以采用直方图分析，如果某个子块内有目标和背景，则直方图呈双峰。如果块内只有目标或背景，则直方图没有双峰，可根据邻域各块分割得到的参数插值进行分割。实际的自适应阈值分割完全可以根据图像的实际性质，对每个像素设定阈值，但这个过程要考虑到实际的要求和计算的复杂度问题。
4.串行区域分割
串行区域分割一般可分为两种方法：一种是区域生长，二是分裂合并。区域生长是指从某个像素出发，按照一定的准则，逐步加入邻近像素，当满足一定的条件时，区域生长终止。区域生长的好坏决定于1.初始点（种子点）的选取2.生长准则3.终止条件。
区域生长是从某个或者某些像素点出发，最后得到整个区域，进而实现目标的提取。分裂合并差不多是区域生长的逆过程：从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，实现目标的提取。分裂合并的假设是对于一幅图像，前景区域由一些相互连通的像素组成，因此，如果把一幅图像分裂到像素级，那么就可以判定该像素是否为前景像素，当所有像素点或者子区域完成判断后，把前景区域或像素合并就可得到前景目标。