本文主要是介绍python装饰器和偏函数联合运用碰到的问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在写一个爬虫系统，用来爬取学校各个新闻网站的新闻并推送到微信上。
开始，我每个网站写一个爬虫函数，后来发现爬取的过程有许多相同的地方，代码冗余度太大，就想到了用装饰器：
def newsResultProcess(fun): # 每个新闻爬虫按要求返回5个参数即可,爬取元素的顺序必须是：id、标题、时间@functools.wraps(fun)def wrapper(*args, **kwargs):html, remod, fullurl, imageurl, timestamp = fun(*args, **kwargs)html = u''.join(html.split())result = re.findall(remod, html)result = filter(lambda x: timestamp == x[2], result)return map(lambda x: (fullurl % x[0], x[1], imageurl), result)return wrapper每个爬虫函数就可以写成这样：
@newsResultProcess
def deanNews(): #教务新闻deannewsurl = 'http://dean.swjtu.edu.cn/servlet/NewsAction?Action=NewsMore'deanfullnewsurl = 'http://dean.swjtu.edu.cn/servlet/NewsView?NewsID=%s'deannewsimage = siteurl + '/static/img/dean.jpg'timestamp = time.strftime(u'%Y-%m-%d')response = urllib2.urlopen(deannewsurl)html = response.read().decode('utf-8')remod = re.compile(ur'<ahref=.*?ID=(.*?)"class.*?title="(.*?)".*?hidden;">(.*?)</div></li>')return html, remod, deanfullnewsurl, deannewsimage, timestamp这样，每个爬虫函数只要写入每个网页不同的内容就可以了，即链接，时间戳格式，正则表达式，网页编码方式。代码基本上没有什么冗余度了
后来为了提高响应速度，又写了一个装饰器，用来进行缓存：
def newsCache(fun):@functools.wraps(fun)def wrapper(*args, **kwargs):ret = cache.get(fun.__name__)if ret == None:ret = fun(*args, **kwargs)cache.set(fun.__name__, ret, newsexpire)return retreturn wrapper
缓存系统根据函数名来区分各个函数返回的内容
再后来，我发现一个网站可能要爬取多个网页的新闻，这些网页只是链接不同，其他都一样，只用装饰器，仍然会有很高的冗余度。于是，我想到了偏函数，将链接作为参数提供给爬虫函数，用偏函数来固定不同爬虫的链接。就像这样：
@newsCache
@newsResultProcess
def yanghuaCollege( url,image):fullnewsurl = 'http://www.yanghua.net/WebSite/Head/Show.aspx?ID=%s'image = siteurl + imagetimestamp = time.strftime(u'%Y-%m-%d')response = urllib2.urlopen(url)html = response.read().decode('gbk')remod = re.compile(ur'<ahref.*?ID=(\d+).*?>(.*?)\((.*?)\)')return html, remod, fullnewsurl, image, timestampyanghuaCivil = functools.partial(yanghuaCollege, url='', image='/static/img/civil.jpg')可是这里问题出现了，这时微信端所有新闻页返回的结果都是一样的，又思考了一会我才发现了问题所在：
首先要说装饰器，添加了装饰器后，原来的那个单纯的用def 定义的函数已经不存在了，函数名字__name__也变成了装饰器的名字,不过这里有个补救措施，使用functools里的wraps装饰器，这样外部装饰器返回的函数名仍然不变，这样再根据函数名识别不同的缓存就没有问题。
然后再说偏函数，偏函数就是相当于把一个函数的参数固定，再用一个引用指向这个固定了参数的函数，并不影响原来的函数。但是运用偏函数后，返回的这个函数对象，并不是只在参数上存在区别，实际的情况可以自己打印dir测试。在这里，偏函数返回的函数对象没有了__name__属性（实际上，少了很多属性）。这里我还要仔细研究一下偏函数的工作方式。
最后，当两者放在一起的时候，在这里问题就更严重了，由于装饰器作用之后，函数的一切数性都已确定，所以，缓存装饰器里的函数名，还是内部装饰器返回的，即原函数的名字。于是再加上偏函数的时候，所有返回的偏函数内部用来区分的函数名都是一样的，而且这里不会因为偏函数没有__name__属性发生AttributeError异常，因为缓存里的函数名字在装饰器发生作用的时候是存在的。
最后，我想到的解决办法是，既然函数名已经无法在定义偏函数的时候确定，就只能动态的添加__name__属性了
def newsCache(fun):@functools.wraps(fun)def wrapper(*args, **kwargs):if 'name' in kwargs:fun.__name__ = kwargs['name'] # 由于先进行装饰再使用偏函数，函数名字只能这样动态确定ret = cache.get(fun.__name__)if ret == None:ret = fun(*args, **kwargs)cache.set(fun.__name__, ret, newsexpire)return retreturn wrapperdef newsResultProcess(fun): # 每个新闻爬虫按要求返回5个参数即可,爬取元素的顺序必须是：id、标题、时间@functools.wraps(fun)def wrapper(*args, **kwargs):html, remod, fullurl, imageurl, timestamp = fun(*args, **kwargs)html = u''.join(html.split())result = re.findall(remod, html)result = filter(lambda x: timestamp == x[2], result)return map(lambda x: (fullurl % x[0], x[1], imageurl), result)return wrapper
<pre name="code" class="python">@newsCache
@newsResultProcess
def yanghuaCollege(urlNo, image, name):url = 'http://www.yanghua.net/WebSite/Head/AcademyBulletin.aspx?CollegeNo=' + urlNofullnewsurl = 'http://www.yanghua.net/WebSite/Head/Show.aspx?ID=%s'image = siteurl + imagetimestamp = time.strftime(u'%Y-%m-%d')response = urllib2.urlopen(url)html = response.read().decode('gbk')remod = re.compile(ur'<ahref.*?ID=(\d+).*?>(.*?)\((.*?)\)')return html, remod, fullnewsurl, image, timestampyanghuaCivil = functools.partial(yanghuaCollege, urlNo='001', image='/static/img/civil.jpg', name='yanghyaCivil')
yanghuaSme = functools.partial(yanghuaCollege, urlNo='002', image='/static/img/sme.jpg', name='yanghyaSme')到这里，我的爬虫系统终于正常工作了！
python初学，写的不好还请指教！
这篇关于python装饰器和偏函数联合运用碰到的问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
