現在的位置: 首頁 > 資料庫 > 正文

更有效地跟蹤Bug——記錄帶有詳細參數值的SQL

2018年08月07日 資料庫 ⁄ 共 7297字 ⁄ 字型大小 評論關閉

更有效地跟蹤Bug——記錄帶有詳細參數值的SQL

李順利

目錄

更有效地跟蹤Bug——記錄帶有詳細參數值的SQL.
1

引子... 2

log4jdbc. 3

主頁... 3

配置樣例... 3

效果... 4

使用評價... 5

jdbcdslog. 6

主頁... 6

配置樣例... 6

效果... 9

使用評價... 10

jdbcdslog-exp. 11

主頁... 11

配置樣例... 11

效果... 11

新特性和如何使用... 12

胡言亂語... 14

總結或建議... 14

引子

在實際開發工作中,可能需要很多調試的工作,通過調試,也許能夠更好地發現程序的具體問題。

假想下,今天QA同事給你報了一個bug,當然她們不會給出具體的原因,而僅僅是給出Bug導致的果,那麼你如何fix 這個 bug了,顯然每個人處理問題的方法是不一樣的,但是大致會這樣: 問QA,為什麼會出現這樣的Bug啊、在什麼時間什麼地方出現的…? 過後你可能會裝作思考狀,良久後說,這不是我們的問題,是部署的問題,是DB的問題…當然你還可以聊聊天了(一般來說QA 都是 MM了^_^)…

當然這不是優秀且富有激情的程序員乾的事情(也許你就是這樣,不過沒關係,也許大家或多或少地時候都在做同樣的事情),理想的情況是能夠根據QA MM 的敘述,加上查找有用的日誌,能夠重現並解決Bug,如果可以的話,可以和MM聊聊是如何導致這個Bug的。

在大部分的環境下,我們使用的都是很流行的框架,比如說 Hibernate,在查日誌的時候,當然你會關心裏面SQL的記錄,不過這些SQL也許並沒有實際的價值,因為它丟失了很多有用的信息。首先應該知道,如果關心Hibernate 生成的SQL,當然需要開啟 Show Sql 功能(<property name="showSql" value="true" />),但是你會發現你開啟後,Log記錄是類似這樣的insert
… ?  ?  ?語句,當然這還是有些實用價值的,不過這些語句只能算SQL的架子,並不是一個完整可以運行的SQL,而且確實更多詳細的數據,比如這裡的「?」是什麼。

假如你關心SQL 裡面的問號(?)到底是什麼的話,那麼請閱讀下面的內容?如果你認為這在調試過程中並沒有關注過,你可以移步尋找你真正感興趣的事情,當然還是很歡迎你繼續閱讀了。

本文介紹的就是這兩位主角:log4jdbcjdbcdslog。參考官方文檔(官方文檔都很詳細並全面),你應該能夠傻瓜式地配置起這些Tools,這裡我就說說我自己的一些使用建議,並改進增強這些工具的功能。

log4jdbc

主頁

http://code.google.com/p/log4jdbc/

配置樣例

mysql.database.driver=net.sf.log4jdbc.DriverSpy

mysql.database.url=jdbc:log4jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&amp;amp;characterEncoding=utf-8

(其它log及依賴包的配置請參考官網)

效果

clip_image002

使用評價

log4jdbc的優點的是配置簡單,支持全部的主流資料庫,而且log中有原生的sql(可以直接運行的,這個想法也是我想改造jdbcdslog的原因,下文介紹),而且整個project代碼寫的很優美,不過遺憾的是,目前還不支持 DataSource(XA,Pooling),就因為這點我捨棄了它,現在的項目是Data Source + XA ,真的感覺有點遺憾。不過下載源碼你會知道,有份TODO,作者會在下個版本進行實現,希望log4jdbc擴展得越來越實用。官網wiki里有篇文章http://code.google.com/p/log4jdbc/wiki/DataSourceExampleForWebSphere,也是介紹如何能夠使用DataSource
,我沒有深入研究了,如果有興趣的同學,可以研究下,再開源出來,相應大家會感謝您的辛苦。

Google code 上面確實有Javaer實現了(google code projcect  url:
log4jdbc-remix),我拿來用了一下,發現在不改變原配置(log4jdbc)的基礎上,是有問題的, 錯誤的具體issues請見http://code.google.com/p/log4jdbc-remix/issues/detail?id=3,後來也就沒有使用了(不過我相信作者肯定是成功改造後才共享出來,可能是一些環境問題導致的這個小小問題)。

(相關的配置相信你完全可以通過官網介紹成功地配置好,如果有少少問題的話,可以參考我使用log4jdbc的一個小Demo,請使用 svn check

http://usc.googlecode.com/svn/SSHWithAnnotationDemoUselog4jdbc/
)。

jdbcdslog

主頁

http://code.google.com/p/jdbcdslog/

配置樣例

MySql

mysql.database.driver=org.jdbcdslog.DriverLoggingProxy

mysql.database.url=jdbc\:jdbcdslog\:mysql\://127.0.0.1\:3306/test?useUnicode\=true&amp;amp;characterEncoding\=utf-8;targetDriver\=com.mysql.jdbc.Driver

mysql.database.user=root

mysql.database.password=lishunli

mysql.database.maxActive=100

mysql.database.maxIdle=30

mysql.database.maxWait=500

Spring DI

<jee:jndi-lookup
id="mssDataSourceActual"
jndi-name="${mss.dataSource.main.jndiName}"/>

<bean
id="mssDataSource"
class="org.jdbcdslog.ConnectionPoolXADataSourceProxy">

<property
name="targetDSDirect"
ref="mssDataSourceActual"
/>

</bean>

(jndi的使用,請google)

Weblogic + Oracle

<jdbc-driver-params>

  
<url>jdbc:oracle:thin:@10.100.53.85:1521:cmn?targetDS=oracle.jdbc.xa.client.OracleXADataSource</url>

<driver-name>org.jdbcdslog.ConnectionPoolXADataSourceProxy</driver-name>

<properties>

<property>

<name>user</name>

<value>mssapp</value>

</property>

<property>

<name>serverName</name>

<value>10.100.53.85</value>

</property>

<property>

<name>portNumber</name>

<value>1521</value>

</property>

<property>

<name>SID</name>

<value>cmn</value>

</property>

</properties>

<password-encrypted>{3DES}ThgsfHr3yB1bfpnD4u/t3A==</password-encrypted>

</jdbc-driver-params>

JBoss + Oracle

<xa-datasource>

<jndi-name>jdbc/coreDataSource</jndi-name>

<debug>true</debug>

<track-connection-by-tx>true</track-connection-by-tx>

<track-statements>true</track-statements>

<isSameRM-override-value>false</isSameRM-override-value>

<xa-datasource-class>org.jdbcdslog.ConnectionPoolXADataSourceProxy</xa-datasource-class>

<xa-datasource-property
name="URL">jdbc:oracle:thin:@10.100.53.85:1521:cmn?targetDS=oracle.jdbc.xa.client.OracleXADataSource</xa-datasource-property>

<xa-datasource-property
name="User">report</xa-datasource-property>

<xa-datasource-property
name="Password">report</xa-datasource-property>

<min-pool-size>10</min-pool-size>

<max-pool-size>200</max-pool-size>

<exception-sorter-class-name>org.jboss.resource.adapter.jdbc.vendor.OracleExceptionSorter</exception-sorter-class-name>

<no-tx-separate-pools/>

</xa-datasource>

效果

clip_image004

使用評價

支持DataSource(XA,Pooling)是jdbcdslog最大的亮點,還有一個就是作者真的很用心,wiki(文檔)寫的太詳細了,以至於只要看到這份wiki,就完全能夠使用jdbcdslog;而log記錄的sql的不友好則是它最大的缺憾(我個人是這樣認為的,也行你覺得非常完美),如果能像log4jdbc那樣顯示完整的SQL,那麼 jdbcdslog 就很優秀了。

為了向著我自己完美的目標前進,我自己增強了jdbcdslog,使其滿足我(也許還有其他人)的需要。

:個人覺得不友好的地方是:雖然參數都已經寫的很清晰了,但是這個語句並不能地直接使用(拿這個sql在控制台上面直接運行),如果需要的話,可能還需要我們一個一個參數進行替換後才可以使用。

(相關的配置可以參考我使用jdbcdslog的一個小Demo,請使用 svn check
http://usc.googlecode.com/svn/SSHWithAnnotationDemo/ )。


jdbcdslog-exp

主頁

當然,這個就是我fork的,主頁在http://code.google.com/p/jdbcdslog-exp/,具體的增強功能和如何使用,可以在這裡找到。

配置樣例

這個就不貼了,因為jdbcdslog-exp 並沒有修改jdbcdslog的配置,使用它的配置就可以了。不過增強功能的會需要少少配置,下面再說。

效果

增強的效果如下:

和上面的效果進行對照,你會發現我修改了什麼(注意紅色下劃線部分)

clip_image006

有沒有發現這個sql是可以直接運行的,而且也去掉了執行時間的日誌(複製更加簡單,Sql一般很長了,從 「select」再 shift+end 就可以選擇一行了),是不是很方便。

新特性和如何使用

1)可以直接填充SQL語句的參數,當然生成的日誌語句是可以直接複製出來使用的,這個在上面的效果圖中已經體現;

資料庫的不同,生成的SQL會有些不同,比如關鍵詞(特殊字元),在Oracle中有' and & and \r, \n,\t,SQL Server中有'
Mysql中有
' and " and \ and \r,\n,\t註:考慮過like語句中的特殊字元,不過jdbcdslog-exp並沒有實現,這部分,一則我覺得使用率比較少,一則如果真的有的話,注意下應該也不是那麼困難。,再比如日期格式。那麼如何更改資料庫類型來選擇合適的生成語句,請看:

在jdbcdslog.properties文件(這個可以參考原始的文檔,或者直接新建 jdbcdslog.properties 配置文件放在 class path 路徑下就可以了)中配置

#jdbcdslog driver name.if empty,is oracle(default db)

#you may choose "oracle","mysql" ,"sqlserver" or empty (Case-insensitive and does not need the double quotes)

jdbcdslog.driverName=oracle

2)可以配置是否顯示SQL執行的時間,默認不顯示,這個默認選擇,也在上面效果圖中體現了,當然你可以通過下面的配置顯示出來。

同樣在jdbcdslog.properties文件中配置

#jdbcdslog will show elapsed time

jdbcdslog.showTime=true

3)Maven的支持

Maven的天下已經或者快要來的,當然要支持了,你可以這樣依賴:

<dependency>
<groupId>com.googlecode.usc</groupId>
<artifactId>jdbcdslog</artifactId>
<version>1.0.6.2</version>
</dependency>

jdbcdslog-exp 已經放到Maven中央倉庫里了(如何deploy到 maven central repo?請閱讀我上篇文章:Maven
Artifacts如何部署到倉庫
),為了名稱的一致性,選用了jdbcdslog 作為構建名,而不是jdbcdslog-exp。

或者http://jdbcdslog-exp.googlecode.com/files/jdbcdslog-1.0.6.2.jar通過下載並放到class
patch裡面即可,更多下載請見http://code.google.com/p/jdbcdslog-exp/downloads/list,包括源代碼和Javadoc,當然你可以通過svn checkout下來,自己在繼續改進, svn url 為
http://jdbcdslog-exp.googlecode.com/svn/trunk/

胡言亂語

實際上,這篇博文早就寫了個大概,但是被下面的問題一直耽誤著:

我使用的是Weblogic + Oracle(安裝在本地其他的機器),使用的是org.jdbcdslog.ConnectionPoolXADataSourceProxy,但是不知為什麼,在某些情況下,就會出現weblogic卡著,執行不下去,一段時間後,就會出現超時(Time Out)異常,經過很長時間的調試和查看,可能有兩個原因造成的:

1)jdbcdslog(jdbcdslog-exp) 本身的Bug,對處理 datasource 類型沒有相應的關閉鏈接(我猜測);

2)本地Oracle DB安裝有問題,因為我的同事也發生過這樣的情況,不過比我少多了。

不過你不用擔心,這種情況還是比較少出現的,還不影響正常的使用(開發階段)的。如果您知道為什麼會出現這種情況或者有類似的問題出現,歡迎討論。謝謝。

總結或建議

1.如果要使用jdbcdslog 或者 jdbcdslog-exp,請先閱讀jdbcdslog』s UserGuide
http://code.google.com/p/jdbcdslog/wiki/UserGuide

2.jdbcdslog 只是一個獨立包,需要 slf4j-api 和 slf4j-log4j12 的支持。

3.Log中只需要開 statement的 info,其它的都不需要,如果考慮性能測試的時候,就另當別論了。像這樣(log4j.xml):

<!-- logger: jdbcdslog -->

<logger
name="org.jdbcdslog.StatementLogger">

<level
value="INFO"/>

</logger>

<logger
name="org.jdbcdslog.ResultSetLogger">

<level
value="OFF"/>

</logger>

<logger
name="org.jdbcdslog.SlowQueryLogger">

<level
value="OFF"/>

</logger>

<logger
name="org.jdbcdslog.ConnectionLogger">

<level
value="OFF"/>

</logger>

4.上面關於JDBC工具的實現使用的是代理,類似AOP思想,都是通過監聽(可能說Spy更好一點)數據層, 獲取JDBC所帶來的數據信息。當然還有很多優秀的工具包能夠實現這樣的功能,比如 spy6。

5.當然你如果對Git感興趣的話,你可以clone 或者 fork
git://github.com/usc/jdbcdslog.git (from
https://github.com/usc/jdbcdslog
)

6.如果你有什麼問題,非常歡迎通過Email(lishunli.me@gmail.com)
聯繫我,或者QQ:506817493, 或者微博@李順利Me(http://weibo.com/lishunli),

亦或者請幫忙在http://code.google.com/p/jdbcdslog-exp/issues/list
裡面
創建Issues,我會及時處理的,謝謝。

抱歉!評論已關閉.