MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG-4
视频编码的关键技术，也是新一代视频编码的研究热点和难点。
视频对象分割涉及对视频内容的分析和理解，这与
人工智能、图像理解、模式识别和神经网络等学科有密切联系。目前
人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高层次上对视频内容进行理解。因此，尽管MPEG-4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。
目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通滤波、
中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。
在
视频分割中基于数学形态理论的分水岭（watershed）算法被广泛使用，它又称水线算法，其基本过程是连续腐蚀二值
图像，由图像简化、标记提取、决策、后处理四个阶段构成。
分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。