学步园

在网上找了一下资料,用WebService进行大量数据传送的人并不多,主要原因是因为传送速度慢,因为WebService是以XML文件流的方式来传送的,写过XML的人都知道,XML中会有很多冗余的内容,比说字段名,他是每一行就要写一次,如果有约束,还要附加很多描述语句,而且从WebService返回数据时,还要进行64位编码,所以用WebService进行通迅效率很低.找了好久终于找到了一位高手的文章,原来WebService可以通过三步瘦身,但他用的方法是VS2003+wse2.0,而我用的是Vs2008+Wse3.0写法有所不同,于是写下此日志,帮助自己记录,也希望帮到有相关需求的人.

正文:

1.将DataSet设置为用于远程传送的精简二进制模式
2.用压缩程序对数据进行压缩(此处使用微软提供的ICSharpCode.SharpZipLib.dll)
3.使用WSE3.0的MTOM技术优化SOAP.
WSE3.0配置:

安装完WSE3.0后,你会发现安装目录下会有一个WebService3.dll,要将其引入到WebService项目中(不能像VS2005中可以直接创建一个WSE3.0的项目),然后要配置Web.config,置于具体的配置写法可以用Wse3.0安装目录下的WseConfigEditor3.exe进行配置,例如要开通MTOM,则先在General页中勾选Enable this project for Web Service Enhancements,再在Messaging页中Client Mode选择on 然后关闭程序,会提示生成配置文件,打开文件,将相关项目填回Web.config中就可以使用了.

具体Web.config内容如下

<?xml version="1.0" encoding="utf-8"?><br /> <configuration><br /> <configSections><br /> <section name="microsoft.web.services3" type="Microsoft.Web.Services3.Configuration.WebServicesConfiguration, Microsoft.Web.Services3, Version=3.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35" /><br /> </configSections><br /> <system.web><br /> <webServices><br /> <soapExtensionImporterTypes><br /> <add type="Microsoft.Web.Services3.Description.WseExtensionImporter, Microsoft.Web.Services3, Version=3.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35" /><br /> </soapExtensionImporterTypes><br /> <soapServerProtocolFactory type="Microsoft.Web.Services3.WseProtocolFactory, Microsoft.Web.Services3, Version=3.0.0.0, Culture=neutral, PublicKeyToken=31bf3856ad364e35" /><br /> </webServices><br /> <compilation><br /> <assemblies><br /> <add assembly="Microsoft.Web.Services3, Version=3.0.0.0, Culture=neutral, PublicKeyToken=31BF3856AD364E35" /><br /> </assemblies><br /> </compilation><br /> </system.web><br /> <microsoft.web.services3><br /> <messaging><br /> <mtom clientMode="On" /><br /> </messaging><br /> </microsoft.web.services3><br /> </configuration>

具体代码:

一.压缩类:

using System;<br /> using System.IO;<br /> using System.Text;<br /> using ICSharpCode.SharpZipLib.Zip.Compression;<br /> using ICSharpCode.SharpZipLib.Zip.Compression.Streams;</p> <p>namespace ClassLb1<br /> {<br /> /// <summary><br /> /// 压缩强度。<br /> /// </summary><br /> public enum CompressionLevel<br /> {<br /> /// <summary><br /> /// 采用最好的压缩率。<br /> /// </summary><br /> BestCompression,</p> <p> /// <summary><br /> /// 采用默认的压缩率。<br /> /// </summary><br /> DefaultCompression,</p> <p> /// <summary><br /> /// 采用最快的压缩速度。<br /> /// </summary><br /> BestSpeed,</p> <p> /// <summary><br /> /// 不采用任何压缩。<br /> /// </summary><br /> NoCompression<br /> }</p> <p> /// <summary><br /> /// CompressionHelper 的摘要说明。<br /> /// </summary><br /> public class CompressionHelper<br /> {<br /> /// <summary><br /> /// 获取和设置压缩强度。<br /> /// </summary><br /> public CompressionLevel Level;</p> <p> public CompressionHelper()<br /> {<br /> Level = CompressionLevel.DefaultCompression;<br /> }</p> <p> public CompressionHelper(CompressionLevel level)<br /> {<br /> Level = level;<br /> }</p> <p> #region Public Methods<br /> /// <summary><br /> /// 从原始字节数组生成已压缩的字节数组。<br /> /// </summary><br /> /// <param name="bytesToCompress">原始字节数组。</param><br /> /// <returns>返回已压缩的字节数组</returns><br /> public byte[] CompressToBytes(byte[] bytesToCompress)<br /> {<br /> MemoryStream ms = new MemoryStream();<br /> Stream s = GetOutputStream(ms);<br /> s.Write(bytesToCompress, 0, bytesToCompress.Length);</p> <p> s.Close();<br /> return ms.ToArray();<br /> }</p> <p> /// <summary><br /> /// 从已压缩的字节数组生成原始字节数组。<br /> /// </summary><br /> /// <param name="bytesToDecompress">已压缩的字节数组。</param><br /> /// <returns>返回原始字节数组。</returns><br /> public byte[] DecompressToBytes(byte[] bytesToDecompress)<br /> {<br /> byte[] writeData = new byte[4096]; //设置缓冲区<br /> Stream s2 = GetInputStream(new MemoryStream(bytesToDecompress)); //解压缩数组<br /> MemoryStream outStream = new MemoryStream(); //由于Stream类型不能直接转换为byte[]只能通过MemoryStream做中间变换</p> <p> while (true) //循环读取数据流到outStream,直至读取完毕<br /> {<br /> int size = s2.Read(writeData, 0, writeData.Length);<br /> if (size > 0)<br /> {<br /> outStream.Write(writeData, 0, size);<br /> }<br /> else<br /> {<br /> break;<br /> }<br /> }<br /> s2.Close();<br /> byte[] outArr = outStream.ToArray();<br /> outStream.Close();<br /> return outArr;<br /> }<br /> #endregion</p> <p> #region Private Methods<br /> /// <summary><br /> /// 根据压缩强度返回使用了不用压缩<span class='wp_keywordlink'><a href="http://www.xuebuyuan.com/category/%E7%AE%97%E6%B3%95" title="算法" target="_blank">算法</a></span>的 Deflate 对象。<br /> /// </summary><br /> /// <param name="level">压缩强度。</param><br /> /// <returns>返回使用了不用压缩算法的 Deflate 对象。</returns><br /> private Deflater GetDeflater(CompressionLevel level)<br /> {<br /> switch (level)<br /> {<br /> case CompressionLevel.DefaultCompression:<br /> return new Deflater(Deflater.DEFAULT_COMPRESSION);</p> <p> case CompressionLevel.BestCompression:<br /> return new Deflater(Deflater.BEST_COMPRESSION);</p> <p> case CompressionLevel.BestSpeed:<br /> return new Deflater(Deflater.BEST_SPEED);</p> <p> case CompressionLevel.NoCompression:<br /> return new Deflater(Deflater.NO_COMPRESSION);</p> <p> default:<br /> return new Deflater(Deflater.DEFAULT_COMPRESSION);<br /> }<br /> }</p> <p> /// <summary><br /> /// 从给定的流生成压缩输出流。<br /> /// </summary><br /> /// <param name="inputStream">原始流。</param><br /> /// <returns>返回压缩输出流。</returns><br /> private DeflaterOutputStream GetOutputStream(Stream inputStream)<br /> {<br /> return new DeflaterOutputStream(inputStream, GetDeflater(Level));<br /> }</p> <p> /// <summary><br /> /// 从给定的流生成压缩输入流。<br /> /// </summary><br /> /// <param name="inputStream">原始流。</param><br /> /// <returns>返回压缩输入流。</returns><br /> private InflaterInputStream GetInputStream(Stream inputStream)<br /> {<br /> return new InflaterInputStream(inputStream);<br /> }<br /> #endregion</p> <p> }<br /> }

二.客户端:

Thread thread1;<br /> private void button1_Click(object sender, EventArgs e)<br /> {<br /> //try<br /> //{<br /> label1.Text = "整理数据......";<br /> thread1 = new Thread(new ThreadStart(UpLoad));<br /> thread1.Start();<br /> //}<br /> //catch (Exception e1)<br /> //{<br /> // MessageBox.Show("上传数据失败!错误代码如下:/r/n" + e1.ToString());<br /> //}<br /> }</p> <p> /// <summary><br /> /// 上传数据<br /> /// </summary><br /> private void UpLoad()<br /> {<br /> int LinLimit = 10;</p> <p> string ZDDB1 = "ZD";<br /> string Prsta = AppDomain.CurrentDomain.SetupInformation.ApplicationBase;<br /> //Prsta = Prsta.Substring(0, Prsta.LastIndexOf("//", Prsta.Length - 2)); //截取Prsta的路径<br /> SqlConn sqlConn = new SqlConn();<br /> SqlConnection Conn2 = sqlConn.Sqlc2(Prsta, ZDDB1);<br /> Conn2.Open();<br /> string sqlse1 = "select top 100 * from SqlLogOut";<br /> SqlDataAdapter sqlDa = new SqlDataAdapter(sqlse1, Conn2);<br /> SqlCommandBuilder scb = new SqlCommandBuilder(sqlDa);</p> <p> DataSet Ds = new DataSet();<br /> sqlDa.Fill(Ds, "SqlLogOut");</p> <p> label1.Text = "共有" + Ds.Tables[0].Rows.Count.ToString() + "条记录 开始上传..........";</p> <p> int Loop1 = Ds.Tables[0].Rows.Count / LinLimit; //分包数<br /> if (Ds.Tables[0].Rows.Count % LinLimit > 0)<br /> Loop1++;<br /> for (int i = 1; i <= Loop1; i++)<br /> {<br /> DataSet DsPack = PackDs(Ds, LinLimit);<br /> DsPack.RemotingFormat = SerializationFormat.Binary; //将DS设置为用于远程序传送的精简二进制模式<br /> BinaryFormatter BinForm = new BinaryFormatter();<br /> MemoryStream ms = new MemoryStream();<br /> BinForm.Serialize(ms, DsPack);<br /> byte[] buffer = ms.ToArray();<br /> byte[] byUpload = new CompressionHelper(CompressionLevel.BestSpeed).CompressToBytes(buffer); //将byte数组再进行加压</p> <p> localhost.DataTransport daTr = new DataTransport.localhost.DataTransport();<br /> string Res = daTr.DataUpload(byUpload);<br /> if (Res == "#1")<br /> {<br /> progressBar1.Value =Convert.ToInt16( Convert.ToDouble(i) / Loop1 * 100);<br /> sqlDa.Update(Ds, "SqlLogOut"); //删除数据库上对应记录<br /> }<br /> }<br /> label1.Text = "上传完成.";<br /> Conn2.Close();<br /> thread1.Abort();<br /> }

三.WebService

public string DataUpload(byte[] byUpload,string UpBm)<br /> {<br /> try<br /> {<br /> byte[] byData = new CompressionHelper().DecompressToBytes(byUpload);<br /> BinaryFormatter binForm = new BinaryFormatter();<br /> DataSet dsUpload = binForm.Deserialize(new MemoryStream(byData)) as DataSet;</p> <p> Bz1= "#1";<br /> }<br /> catch (Exception e1)<br /> {<br /> Bz1 = e1.Message.ToString();<br /> }<br /> return Bz1;<br /> }

经此方法可以将原数据量大大压缩2/3以上,只是原来的1/3左右

qingyou0405 发表于2009年5月25日
PackDs(Ds, LinLimit), 能提供此方法的源代码吗？我现在在做一个功能，涉及到webservice远程数据传输， 我的email 33353405@163.com , 希望你能答复 。
turejackon 发表于2009年6月6日
回复 qingyou0405：PackDs(Ds, LinLimit)是用于装上传数据划分为若干个数据包,程序好简单,用一个同构DataSet每次取上传数据中的若干数据后清除相关行就可以了

malingxian 发表于2010年1月23日
ICSharpCode.SharpZipLib.dll是微软提供的？你很强啊turejackon
回复 malingxian：吓....不是吗,因为我也是看一个例子改过来的..他那里说是微软提供的.
malingxian 发表于2010年3月3日 10:57:51
回复 turejackon：呵呵，确实不是。如果用.NET 2.0以上的话，可以用MS内置的ZIP工具压缩。 很不幸，我也用WebService进行大数据量传输，也用SOAP进行压缩，但是Dataset的压缩应该单独拿出来进行优化。我的做法是 Dataset->XML->Byte[]进行压缩这样做的好处是要比Dataset单独进行压缩数据量小更多，速度上也没有什么影响。 你可以比较一下Dataset经SOAP后跟XML的大小，数据量越大，XML相对越小——因为二者结构不一样。
chen_chen121212 发表于2010年1月25日 19:08:13
c++做的服务器，用.net引用wsdl后找不到方法了，为啥啊？？？
你好，我按照你上面的方法，配置Web.config时，老是提示未能找到元素“****”的架构信息，网上相关资料比较少，能不能在线指导一下，我的email是xmlttys0@163.com

出处：http://blog.csdn.net/turejackon/archive/2009/03/05/3958962.aspx