不知怎么搞的，在项目中使用linearLayout.removeAllViews()在不同的手机上有的有效果有的就不行，linearLayout.removeAllViewsInLayout()也试过，就是没有达到想把mDrawView 从linearLayout中remove掉的效果。
解决方法：
if (null != mDrawView) {
LinearLayout parentLayout = (LinearLayout)mDrawView.getParent();
if (null != parentLayout) {
parentLayout.removeView(mDrawView);
}
}
当然了mDrawView在之前是有加载到linearLayout中的