今天来讨论一下装饰器。装饰器是一个很著名的设计模式,经常被用于有切面需求的场景,较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离出大量函数中与函数功能本身无关的雷同代码并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。
1. 装饰器入门
1.1. 需求是怎么来的?
装饰器的定义很是抽象,我们来看一个小例子。
def foo(): print 'in foo()' foo()
这是一个很无聊的函数没错。但是突然有一个更无聊的人,我们称呼他为B君,说我想看看执行这个函数用了多长时间,好吧,那么我们可以这样做:
import time def foo(): start = time.clock() print 'in foo()' end = time.clock() print 'used:', end - start foo()
很好,功能看起来无懈可击。可是蛋疼的B君此刻突然不想看这个函数了,他对另一个叫foo2的函数产生了更浓厚的兴趣。
怎么办呢?如果把以上新增加的代码复制到foo2里,这就犯了大忌了~复制什么的难道不是最讨厌了么!而且,如果B君继续看了其他的函数呢?
1.2. 以不变应万变,是变也
还记得吗,函数在Python中是一等公民,那么我们可以考虑重新定义一个函数timeit,将foo的引用传递给他,然后在timeit中调用foo并进行计时,这样,我们就达到了不改动foo定义的目的,而且,不论B君看了多少个函数,我们都不用去修改函数定义了!
import time def foo(): print 'in foo()' def timeit(func): start = time.clock() func() end =time.clock() print 'used:', end - start timeit(foo)
看起来逻辑上并没有问题,一切都很美好并且运作正常!……等等,我们似乎修改了调用部分的代码。原本我们是这样调用的:foo(),修改以后变成了:timeit(foo)。这样的话,如果foo在N处都被调用了,你就不得不去修改这N处的代码。或者更极端的,考虑其中某处调用的代码无法修改这个情况,比如:这个函数是你交给别人使用的。
1.3. 最大限度地少改动!
既然如此,我们就来想想办法不修改调用的代码;如果不修改调用代码,也就意味着调用foo()需要产生调用timeit(foo)的效果。我们可以想到将timeit赋值给foo,但是timeit似乎带有一个参数……想办法把参数统一吧!如果timeit(foo)不是直接产生调用效果,而是返回一个与foo参数列表一致的函数的话……就很好办了,将timeit(foo)的返回值赋值给foo,然后,调用foo()的代码完全不用修改!
#-*- coding: UTF-8 -*- import time def foo(): print 'in foo()' # 定义一个计时器,传入一个,并返回另一个附加了计时功能的方法 def timeit(func): # 定义一个内嵌的包装函数,给传入的函数加上计时功能的包装 def wrapper(): start = time.clock() func() end =time.clock() print 'used:', end - start # 将包装后的函数返回 return wrapper foo = timeit(foo) foo()
这样,一个简易的计时器就做好了!我们只需要在定义foo以后调用foo之前,加上foo = timeit(foo),就可以达到计时的目的,这也就是装饰器的概念,看起来像是foo被timeit装饰了。在在这个例子中,函数进入和退出时需要计时,这被称为一个横切面(Aspect),这种编程方式被称为面向切面的编程(Aspect-Oriented Programming)。与传统编程习惯的从上往下执行方式相比较而言,像是在函数执行的流程中横向地插入了一段逻辑。在特定的业务领域里,能减少大量重复代码。面向切面编程还有相当多的术语,这里就不多做介绍,感兴趣的话可以去找找相关的资料。
这个例子仅用于演示,并没有考虑foo带有参数和有返回值的情况,完善它的重任就交给你了 :)
2. Python的额外支持
2.1. 语法糖
上面这段代码看起来似乎已经不能再精简了,Python于是提供了一个语法糖来降低字符输入量。
import time def timeit(func): def wrapper(): start = time.clock() func() end =time.clock() print 'used:', end - start return wrapper @timeit def foo(): print 'in foo()' foo()
重点关注第11行的@timeit,在定义上加上这一行与另外写foo = timeit(foo)完全等价,千万不要以为@有另外的魔力。除了字符输入少了一些,还有一个额外的好处:这样看上去更有装饰器的感觉。
2.2. 内置的装饰器
内置的装饰器有三个,分别是staticmethod、classmethod和property,作用分别是把类中定义的实例方法变成静态方法、类方法和类属性。由于模块里可以定义函数,所以静态方法和类方法的用处并不是太多,除非你想要完全的面向对象编程。而属性也不是不可或缺的,Java没有属性也一样活得很滋润。从我个人的Python经验来看,我没有使用过property,使用staticmethod和classmethod的频率也非常低。
class Rabbit(object): def __init__(self, name): self._name = name @staticmethod def newRabbit(name): return Rabbit(name) @classmethod def newRabbit2(cls): return Rabbit('') @property def name(self): return self._name
这里定义的属性是一个只读属性,如果需要可写,则需要再定义一个setter:
@name.setter def name(self, name): self._name = name
2.3. functools模块
functools模块提供了两个装饰器。这个模块是Python 2.5后新增的,一般来说大家用的应该都高于这个版本。但我平时的工作环境是2.4 T-T
2.3.1. wraps(wrapped[, assigned][, updated]):
这是一个很有用的装饰器。看过前一篇反射的朋友应该知道,函数是有几个特殊属性比如函数名,在被装饰后,上例中的函数名foo会变成包装函数的名字wrapper,如果你希望使用反射,可能会导致意外的结果。这个装饰器可以解决这个问题,它能将装饰过的函数的特殊属性保留。
import time import functools def timeit(func): @functools.wraps(func) def wrapper(): start = time.clock() func() end =time.clock() print 'used:', end - start return wrapper @timeit def foo(): print 'in foo()' foo() print foo.__name__
首先注意第5行,如果注释这一行,foo.__name__将是'wrapper'。另外相信你也注意到了,这个装饰器竟然带有一个参数。实际上,他还有另外两个可选的参数,assigned中的属性名将使用赋值的方式替换,而updated中的属性名将使用update的方式合并,你可以通过查看functools的源代码获得它们的默认值。对于这个装饰器,相当于wrapper = functools.wraps(func)(wrapper)。
2.3.2. total_ordering(cls):
这个装饰器在特定的场合有一定用处,但是它是在Python 2.7后新增的。它的作用是为实现了至少__lt__、__le__、__gt__、__ge__其中一个的类加上其他的比较方法,这是一个类装饰器。如果觉得不好理解,不妨仔细看看这个装饰器的源代码:
def total_ordering(cls): """Class decorator that fills in missing ordering methods""" convert = { '__lt__': [('__gt__', lambda self, other: other < self), ('__le__', lambda self, other: not other < self), ('__ge__', lambda self, other: not self < other)], '__le__': [('__ge__', lambda self, other: other <= self), ('__lt__', lambda self, other: not other <= self), ('__gt__', lambda self, other: not self <= other)], '__gt__': [('__lt__', lambda self, other: other > self), ('__ge__', lambda self, other: not other > self), ('__le__', lambda self, other: not self > other)], '__ge__': [('__le__', lambda self, other: other >= self), ('__gt__', lambda self, other: not other >= self), ('__lt__', lambda self, other: not self >= other)] } roots = set(dir(cls)) & set(convert) if not roots: raise ValueError('must define at least one ordering operation: < > <= >=') root = max(roots) # prefer __lt__ to __le__ to __gt__ to __ge__ for opname, opfunc in convert[root]: if opname not in roots: opfunc.__name__ = opname opfunc.__doc__ = getattr(int, opname).__doc__ setattr(cls, opname, opfunc) return cls
下面我们设计一个用于检查参数类型的装饰器。
python是不带静态检查的动态语言,有时候需要在调用函数时保证参数合法。检查参数合法性是一个显著的切面场景,各个函数都可能有这个需求。但另一方面,参数合法性是不是应该由调用方来保证比较好也是一个需要结合实际才能回答的问题,总之双方约定好,不要都不检查或者都检查就可以了。下面这个模块用于在函数上使用装饰器进行参数的合法性验证。
你可以直接执行这个模块进行测试,如果完全没有输出则表示通过。你也可以找到几个以_test开头的函数,所有的测试用例都包含在这几个函数中。使用方法参见模块文档和测试用例。
# -*- coding: UTF-8 -*- ''' @summary: 验证器 该模块提供了一个装饰器用于验证参数是否合法,使用方法为: from validator import validParam, nullOk, multiType @validParam(i=int) def foo(i): return i+1 编写验证器: 1. 仅验证类型: @validParam(type, ...) 例如: 检查第一个位置的参数是否为int类型: @validParam(int) 检查名为x的参数是否为int类型: @validParam(x=int) 验证多个参数: @validParam(int, int) 指定参数名验证: @validParam(int, s=str) 针对*和**参数编写的验证器将验证这些参数实际包含的每个元素: @validParam(varargs=int) def foo(*varargs): pass @validParam(kws=int) def foo7(s, **kws): pass 2. 带有条件的验证: @validParam((type, condition), ...) 其中,condition是一个表达式字符串,使用x引用待验证的对象; 根据bool(表达式的值)判断是否通过验证,若计算表达式时抛出异常,视为失败。 例如: 验证一个10到20之间的整数: @validParam(i=(int, '10<x<20')) 验证一个长度小于20的字符串: @validParam(s=(str, 'len(x)<20')) 验证一个年龄小于20的学生: @validParam(stu=(Student, 'x.age<20')) 另外,如果类型是字符串,condition还可以使用斜杠开头和结尾表示正则表达式匹配。 验证一个由数字组成的字符串: @validParam(s=(str, '/^\d*$/')) 3. 以上验证方式默认为当值是None时验证失败。如果None是合法的参数,可以使用nullOk()。 nullOk()接受一个验证条件作为参数。 例如: @validParam(i=nullOk(int)) @validParam(i=nullOk((int, '10<x<20'))) 也可以简写为: @validParam(i=nullOk(int, '10<x<20')) 4. 如果参数有多个合法的类型,可以使用multiType()。 multiType()可接受多个参数,每个参数都是一个验证条件。 例如: @validParam(s=multiType(int, str)) @validParam(s=multiType((int, 'x>20'), nullOk(str, '/^\d+$/'))) 5. 如果有更复杂的验证需求,还可以编写一个函数作为验证函数传入。 这个函数接收待验证的对象作为参数,根据bool(返回值)判断是否通过验证,抛出异常视为失败。 例如: def validFunction(x): return isinstance(x, int) and x>0 @validParam(i=validFunction) def foo(i): pass 这个验证函数等价于: @validParam(i=(int, 'x>0')) def foo(i): pass @author: HUXI @since: 2011-3-22 @change: ''' import inspect import re class ValidateException(Exception): pass def validParam(*varargs, **keywords): '''验证参数的装饰器。''' varargs = map(_toStardardCondition, varargs) keywords = dict((k, _toStardardCondition(keywords[k])) for k in keywords) def generator(func): args, varargname, kwname = inspect.getargspec(func)[:3] dctValidator = _getcallargs(args, varargname, kwname, varargs, keywords) def wrapper(*callvarargs, **callkeywords): dctCallArgs = _getcallargs(args, varargname, kwname, callvarargs, callkeywords) k, item = None, None try: for k in dctValidator: if k == varargname: for item in dctCallArgs[k]: assert dctValidator[k](item) elif k == kwname: for item in dctCallArgs[k].values(): assert dctValidator[k](item) else: item = dctCallArgs[k] assert dctValidator[k](item) except: raise ValidateException,\ ('%s() parameter validation fails, param: %s, value: %s(%s)' % (func.func_name, k, item, item.__class__.__name__)) return func(*callvarargs, **callkeywords) wrapper = _wrapps(wrapper, func) return wrapper return generator def _toStardardCondition(condition): '''将各种格式的检查条件转换为检查函数''' if inspect.isclass(condition): return lambda x: isinstance(x, condition) if isinstance(condition, (tuple, list)): cls, condition = condition[:2] if condition is None: return _toStardardCondition(cls) if cls in (str, unicode) and condition[0] == condition[-1] == '/': return lambda x: (isinstance(x, cls) and re.match(condition[1:-1], x) is not None) return lambda x: isinstance(x, cls) and eval(condition) return condition def nullOk(cls, condition=None): '''这个函数指定的检查条件可以接受None值''' return lambda x: x is None or _toStardardCondition((cls, condition))(x) def multiType(*conditions): '''这个函数指定的检查条件只需要有一个通过''' lstValidator = map(_toStardardCondition, conditions) def validate(x): for v in lstValidator: if v(x): return True return validate def _getcallargs(args, varargname, kwname, varargs, keywords): '''获取调用时的各参数名-值的字典''' dctArgs = {} varargs = tuple(varargs) keywords = dict(keywords) argcount = len(args) varcount = len(varargs) callvarargs = None if argcount <= varcount: for n, argname in enumerate(args): dctArgs[argname] = varargs[n] callvarargs = varargs[-(varcount-argcount):] else: for n, var in enumerate(varargs): dctArgs[args[n]] = var for argname in args[-(argcount-varcount):]: if argname in keywords: dctArgs[argname] = keywords.pop(argname) callvarargs = () if varargname is not None: dctArgs[varargname] = callvarargs if kwname is not None: dctArgs[kwname] = keywords dctArgs.update(keywords) return dctArgs def _wrapps(wrapper, wrapped): '''复制元数据''' for attr in ('__module__', '__name__', '__doc__'): setattr(wrapper, attr, getattr(wrapped, attr)) for attr in ('__dict__',): getattr(wrapper, attr).update(getattr(wrapped, attr, {})) return wrapper #=============================================================================== # 测试 #=============================================================================== def _unittest(func, *cases): for case in cases: _functest(func, *case) def _functest(func, isCkPass, *args, **kws): if isCkPass: func(*args, **kws) else: try: func(*args, **kws) assert False except ValidateException: pass def _test1_simple(): #检查第一个位置的参数是否为int类型: @validParam(int) def foo1(i): pass _unittest(foo1, (True, 1), (False, 's'), (False, None)) #检查名为x的参数是否为int类型: @validParam(x=int) def foo2(s, x): pass _unittest(foo2, (True, 1, 2), (False, 's', 's')) #验证多个参数: @validParam(int, int) def foo3(s, x): pass _unittest(foo3, (True, 1, 2), (False, 's', 2)) #指定参数名验证: @validParam(int, s=str) def foo4(i, s): pass _unittest(foo4, (True, 1, 'a'), (False, 's', 1)) #针对*和**参数编写的验证器将验证这些参数包含的每个元素: @validParam(varargs=int) def foo5(*varargs): pass _unittest(foo5, (True, 1, 2, 3, 4, 5), (False, 'a', 1)) @validParam(kws=int) def foo6(**kws): pass _functest(foo6, True, a=1, b=2) _functest(foo6, False, a='a', b=2) @validParam(kws=int) def foo7(s, **kws): pass _functest(foo7, True, s='a', a=1, b=2) def _test2_condition(): #验证一个10到20之间的整数: @validParam(i=(int, '10<x<20')) def foo1(x, i): pass _unittest(foo1, (True, 1, 11), (False, 1, 'a'), (False, 1, 1)) #验证一个长度小于20的字符串: @validParam(s=(str, 'len(x)<20')) def foo2(a, s): pass _unittest(foo2, (True, 1, 'a'), (False, 1, 1), (False, 1, 'a'*20)) #验证一个年龄小于20的学生: class Student(object): def __init__(self, age): self.age=age @validParam(stu=(Student, 'x.age<20')) def foo3(stu): pass _unittest(foo3, (True, Student(18)), (False, 1), (False, Student(20))) #验证一个由数字组成的字符串: @validParam(s=(str, r'/^\d*$/')) def foo4(s): pass _unittest(foo4, (True, '1234'), (False, 1), (False, 'a1234')) def _test3_nullok(): @validParam(i=nullOk(int)) def foo1(i): pass _unittest(foo1, (True, 1), (False, 'a'), (True, None)) @validParam(i=nullOk(int, '10<x<20')) def foo2(i): pass _unittest(foo2, (True, 11), (False, 'a'), (True, None), (False, 1)) def _test4_multitype(): @validParam(s=multiType(int, str)) def foo1(s): pass _unittest(foo1, (True, 1), (True, 'a'), (False, None), (False, 1.1)) @validParam(s=multiType((int, 'x>20'), nullOk(str, '/^\d+$/'))) def foo2(s): pass _unittest(foo2, (False, 1), (False, 'a'), (True, None), (False, 1.1), (True, 21), (True, '21')) def _main(): d = globals() from types import FunctionType print for f in d: if f.startswith('_test'): f = d[f] if isinstance(f, FunctionType): f() if __name__ == '__main__': _main()
本文转自:http://www.cnblogs.com/huxi/archive/2011/03/01/1967600.html