Scrollview确实是不适合跟listview放到一起。我找到了另外的解决方案，这里提供给大家参考：
http://linconz.net/archives/168.html
《给ListView加上Header和Footer》
继android中自定义ListView 知道怎样自定义ListView后，也许在开发过程中会遇到这样的需求：
一个Activity，其中不只有ListView一个控件，还有其他的TextView、ImageView、Button等等很多控件，这样很可能会占据屏幕很大一部分，要知道手机的屏幕只有480像素，通常的想法是给这个Activity加上一个ScrollView，让其有滚动条，但是会发现ListView的高度不是随着内容而自动填充的。那么我们可以使用ListView的addHeaderView以及addFooterView 为ListView增加上下的头和尾，这样就可以让ListView填充到整个屏幕