深入理解python的元类以及元类实现单例模式

2023-10-20 00:48

本文主要是介绍深入理解python的元类以及元类实现单例模式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自:https://www.cnblogs.com/tkqasn/p/6524879.html

一、理解类也是对象

在理解元类之前,你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk,这显得有些奇特。在大多数编程语言中,类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立:

复制代码
class ObjectCreator(object):passmy_object = ObjectCreator()
print my_object
#输出:<__main__.ObjectCreator object at 0x8974f2c>
复制代码

但是,Python中的类还远不止如此。类同样也是一种对象。只要你使用关键字class,Python解释器在执行的时候就会创建一个对象。下面的代码段:

class ObjectCreator(object):pass

将在内存中创建一个对象,名字就是ObjectCreator。这个对象(类)自身拥有创建对象(类实例)的能力,而这就是为什么它是一个类的原因。但是,它的本质仍然是一个对象,于是你可以对它做如下的操作:
你可以将它赋值给一个变量, 你可以拷贝它, 你可以为它增加属性, 你可以将它作为函数参数进行传递。

下面是示例:

复制代码
print ObjectCreator     # 你可以打印一个类,因为它其实也是一个对象
#输出:<class '__main__.ObjectCreator'>

Idef echo(o):print oecho(ObjectCreator)                 # 你可以将类做为参数传给函数
#输出:<class '__main__.ObjectCreator'>
print hasattr(ObjectCreator, 'new_attribute')
#输出:False

ObjectCreator.new_attribute = 'foo' #  你可以为类增加属性
print hasattr(ObjectCreator, 'new_attribute')
#输出:True
print ObjectCreator.new_attribute
#输出:foo

ObjectCreatorMirror = ObjectCreator # 你可以将类赋值给一个变量
print ObjectCreatorMirror()
#输出:<__main__.ObjectCreator object at 0x108551310>
复制代码

 

 二、动态地创建类

1、通过return class动态的构建需要的类

因为类也是对象,你可以在运行时动态的创建它们,就像其他任何对象一样。首先,你可以在函数中创建类,使用class关键字即可。 

复制代码
def choose_class(name):if name == 'foo':class Foo(object):passreturn Foo     # 返回的是类,不是类的实例else:class Bar(object):passreturn Bar
MyClass = choose_class('foo')print MyClass              # 函数返回的是类,不是类的实例
#输出:<class '__main__.Foo'>print MyClass()            # 你可以通过这个类创建类实例,也就是对象
#输出:<__main__.Foo object at 0x1085ed950
复制代码

2、通过type函数构造类

但这还不够动态,因为你仍然需要自己编写整个类的代码。由于类也是对象,所以它们必须是通过什么东西来生成的才对。当你使用class关键字时,Python解释器自动创建这个对象。但就和Python中的大多数事情一样,Python仍然提供给你手动处理的方法。还记得内建函数type吗?这个古老但强大的函数能够让你知道一个对象的类型是什么,就像这样:

复制代码
print type(1)
#输出:<type 'int'>
print type("1")
#输出:<type 'str'>
print type(ObjectCreator)
#输出:<type 'type'>
print type(ObjectCreator())
#输出:<class '__main__.ObjectCreator'>
复制代码

这里,type有一种完全不同的能力,它也能动态的创建类。type可以接受一个类的描述作为参数,然后返回一个类。(我知道,根据传入参数的不同,同一个函数拥有两种完全不同的用法是一件很傻的事情,但这在Python中是为了保持向后兼容性)

type的语法:

type(类名, 父类的元组(针对继承的情况,可以为空),包含属性的字典(名称和值))

比如下面的代码:

class MyShinyClass(object):pass

可以手动通过type创建,其实

MyShinyClass = type('MyShinyClass', (), {})  # 返回一个类对象
print MyShinyClass
#输出:<class '__main__.MyShinyClass'>
print MyShinyClass()  #  创建一个该类的实例
#输出:<__main__.MyShinyClass object at 0x1085cd810>

 你会发现我们使用“MyShinyClass”作为类名,并且也可以把它当做一个变量来作为类的引用。

接下来我们通过一个具体的例子看看type是如何创建类的,范例:

复制代码
1、构建Foo类
#构建目标代码
class Foo(object):bar = True
#使用type构建
Foo = type('Foo', (), {'bar':True})2.继承Foo类
#构建目标代码:
class FooChild(Foo):pass
#使用type构建
FooChild = type('FooChild', (Foo,),{})print FooChild
#输出:<class '__main__.FooChild'>
print FooChild.bar   # bar属性是由Foo继承而来
#输出:True3.为Foochild类增加方法
def echo_bar(self):print self.barFooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar})
hasattr(Foo, 'echo_bar')
#输出:False
hasattr(FooChild, 'echo_bar')
#输出:True
my_foo = FooChild()
my_foo.echo_bar()
#输出:True
复制代码

可以看到,在Python中,类也是对象,你可以动态的创建类。这就是当我们使用关键字class时Python在幕后做的事情,而这就是通过元类来实现的。

三、元类

1、什么是元类

通过上文的描述,我们知道了Python中的类也是对象。元类就是用来创建这些类(对象)的,元类就是类的类,你可以这样理解为:

MyClass = MetaClass()    #元类创建
MyObject = MyClass()     #类创建实例
实际上MyClass就是通过type()来创创建出MyClass类,它是type()类的一个实例;同时MyClass本身也是类,也可以创建出自己的实例,这里就是MyObject

函数type实际上是一个元类。type就是Python在背后用来创建所有类的元类。现在你想知道那为什么type会全部采用小写形式而不是Type呢?好吧,我猜这是为了和str保持一致性,str是用来创建字符串对象的类,而int是用来创建整数对象的类。type就是创建类对象的类。你可以通过检查__class__属性来看到这一点。Python中所有的东西,注意,我是指所有的东西——都是对象。这包括整数、字符串、函数以及类。它们全部都是对象,而且它们都是从一个类创建而来。

复制代码
age = 35
age.__class__
#输出:<type 'int'>
name = 'bob'
name.__class__
#输出:<type 'str'>
def foo(): pass
foo.__class__
#输出:<type 'function'>
class Bar(object): pass
b = Bar()
b.__class__
#输出:<class '__main__.Bar'>

对于任何一个__class__的__class__属性又是什么呢?
a.__class__.__class__
#输出:<type 'type'>
age.__class__.__class__
#输出:<type 'type'>
foo.__class__.__class__
#输出:<type 'type'>
b.__class__.__class__
#输出:<type 'type'>
复制代码

因此,元类就是创建类这种对象的东西, type就是Python的内建元类,当然了,你也可以创建自己的元类。

2、__metaclass__属性

你可以在写一个类的时候为其添加__metaclass__属性,定义了__metaclass__就定义了这个类的元类。

复制代码
class Foo(object):   #py2__metaclass__ = something…class Foo(metaclass=something):   #py3__metaclass__ = something…
复制代码

例如:当我们写如下代码时 :

class Foo(Bar):pass

在该类并定义的时候,它还没有在内存中生成,知道它被调用。Python做了如下的操作:
1)Foo中有__metaclass__这个属性吗?如果是,Python会在内存中通过__metaclass__创建一个名字为Foo的类对象(我说的是类对象,请紧跟我的思路)。
2)如果Python没有找到__metaclass__,它会继续在父类中寻找__metaclass__属性,并尝试做和前面同样的操作。
3)如果Python在任何父类中都找不到__metaclass__,它就会在模块层次中去寻找__metaclass__,并尝试做同样的操作。
4)如果还是找不到__metaclass__,Python就会用内置的type来创建这个类对象。

现在的问题就是,你可以在__metaclass__中放置些什么代码呢?
答案就是:可以创建一个类的东西。那么什么可以用来创建一个类呢?type,或者任何使用到type或者子类化type的东西都可以。

三、自定义元类

元类的主要目的就是为了当创建类时能够自动地改变类。通常,你会为API做这样的事情,你希望可以创建符合当前上下文的类。假想一个很傻的例子,你决定在你的模块里所有的类的属性都应该是大写形式。有好几种方法可以办到,但其中一种就是通过设定__metaclass__。采用这种方法,这个模块中的所有类都会通过这个元类来创建,我们只需要告诉元类把所有的属性都改成大写形式就万事大吉了。

__metaclass__实际上可以被任意调用,它并不需要是一个正式的类。所以,我们这里就先以一个简单的函数作为例子开始。

1、使用函数当做元类

复制代码
# 元类会自动将你通常传给‘type’的参数作为自己的参数传入
def upper_attr(future_class_name, future_class_parents, future_class_attr):'''返回一个类对象,将属性都转为大写形式'''#选择所有不以'__'开头的属性attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))# 将它们转为大写形式uppercase_attr = dict((name.upper(), value) for name, value in attrs)#通过'type'来做类对象的创建return type(future_class_name, future_class_parents, uppercase_attr)#返回一个类class Foo(object):__metaclass__ = upper_attrbar = 'bip' 
复制代码
复制代码
print hasattr(Foo, 'bar')
# 输出: False
print hasattr(Foo, 'BAR')
# 输出:True
 
f = Foo()
print f.BAR
# 输出:'bip'
复制代码

2、使用class来当做元类

由于__metaclass__必须返回一个类。

复制代码
# 请记住,'type'实际上是一个类,就像'str'和'int'一样。所以,你可以从type继承
# __new__ 是在__init__之前被调用的特殊方法,__new__是用来创建对象并返回之的方法,__new_()是一个类方法
# 而__init__只是用来将传入的参数初始化给对象,它是在对象创建之后执行的方法。
# 你很少用到__new__,除非你希望能够控制对象的创建。这里,创建的对象是类,我们希望能够自定义它,所以我们这里改写__new__
# 如果你希望的话,你也可以在__init__中做些事情。还有一些高级的用法会涉及到改写__call__特殊方法,但是我们这里不用,下面我们可以单独的讨论这个使用class UpperAttrMetaClass(type):def __new__(upperattr_metaclass, future_class_name, future_class_parents, future_class_attr):attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))uppercase_attr = dict((name.upper(), value) for name, value in attrs)return type(future_class_name, future_class_parents, uppercase_attr)#返回一个对象,但同时这个对象是一个类
复制代码

 但是,这种方式其实不是OOP。我们直接调用了type,而且我们没有改写父类的__new__方法。现在让我们这样去处理:

复制代码
class UpperAttrMetaclass(type):def __new__(upperattr_metaclass, future_class_name, future_class_parents, future_class_attr):attrs = ((name, value) for name, value in future_class_attr.items() if not name.startswith('__'))uppercase_attr = dict((name.upper(), value) for name, value in attrs)# 复用type.__new__方法# 这就是基本的OOP编程,没什么魔法。由于type是元类也就是类,因此它本身也是通过__new__方法生成其实例,只不过这个实例是一个类.return type.__new__(upperattr_metaclass, future_class_name, future_class_parents, uppercase_attr)
复制代码

你可能已经注意到了有个额外的参数upperattr_metaclass,这并没有什么特别的。类方法的第一个参数总是表示当前的实例,就像在普通的类方法中的self参数一样。当然了,为了清晰起见,这里的名字我起的比较长。但是就像self一样,所有的参数都有它们的传统名称。因此,在真实的产品代码中一个元类应该是像这样的:

class UpperAttrMetaclass(type):def __new__(cls, name, bases, dct):attrs = ((name, value) for name, value in dct.items() if not name.startswith('__')uppercase_attr  = dict((name.upper(), value) for name, value in attrs)return type.__new__(cls, name, bases, uppercase_attr)

如果使用super方法的话,我们还可以使它变得更清晰一些。

class UpperAttrMetaclass(type):def __new__(cls, name, bases, dct):attrs = ((name, value) for name, value in dct.items() if not name.startswith('__'))uppercase_attr = dict((name.upper(), value) for name, value in attrs)return super(UpperAttrMetaclass, cls).__new__(cls, name, bases, uppercase_attr)

四、使用原来创建ORM的实例 

我们通过创建一个类似Django中的ORM来熟悉一下元类的使用,通常元类用来创建API是非常好的选择,使用元类的编写很复杂但使用者可以非常简洁的调用API。

复制代码
#我们想创建一个类似Django的ORM,只要定义字段就可以实现对数据库表和字段的操作。
class User(Model):# 定义类的属性到列的映射:id = IntegerField('id')name = StringField('username')email = StringField('email')password = StringField('password')
复制代码

例如:

# 创建一个实例:
u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
# 保存到数据库:
u.save()

接下来我么来实现这么个功能:

  ORM代码

 

五、使用__new__方法和元类方式分别实现单例模式

1、__new__、__init__、__call__的介绍

在讲到使用元类创建单例模式之前,比需了解__new__这个内置方法的作用,在上面讲元类的时候我们用到了__new__方法来实现类的创建。然而我在那之前还是对__new__这个方法和__init__方法有一定的疑惑。因此这里花点时间对其概念做一次了解和区分。

__new__方法负责创建一个实例对象,在对象被创建的时候调用该方法它是一个类方法。__new__方法在返回一个实例之后,会自动的调用__init__方法,对实例进行初始化。如果__new__方法不返回值,或者返回的不是实例,那么它就不会自动的去调用__init__方法。

__init__ 方法负责将该实例对象进行初始化,在对象被创建之后调用该方法,在__new__方法创建出一个实例后对实例属性进行初始化。__init__方法可以没有返回值。

__call__方法其实和类的创建过程和实例化没有多大关系了,定义了__call__方法才能被使用函数的方式执行。

复制代码
例如:
class A(object):def __call__(self):print "__call__ be called"a = A()
a()
#输出
#__call__ be called 
复制代码

打个比方帮助理解:如果将创建实例的过程比作建一个房子。

  • 那么class就是一个房屋的设计图,他规定了这个房子有几个房间,每个人房间的大小朝向等。这个设计图就是累的结构
  • __new__就是一个房屋的框架,每个具体的房屋都需要先搭好框架后才能进行专修,当然现有了房屋设计才能有具体的房屋框架出来。这个就是从类到类实例的创建。
  • __init__就是装修房子的过程,对房屋的墙面和地板等颜色材质的丰富就是它该做的事情,当然先有具体的房子框架出来才能进行装饰了。这个就是实例属性的初始化,它是在__new__出一个实例后才能初始化。
  • __call__就是房子的电话,有了固定电话,才能被打电话嘛(就是通过括号的方式像函数一样执行)。
复制代码
#coding:utf-8
class Foo(object):def __new__(cls, *args, **kwargs):#__new__是一个类方法,在对象创建的时候调用print "excute __new__"return super(Foo,cls).__new__(cls,*args,**kwargs)def __init__(self,value):#__init__是一个实例方法,在对象创建后调用,对实例属性做初始化print "excute __init"self.value = valuef1 = Foo(1)
print f1.value
f2 = Foo(2)
print f2.value#输出===:
excute __new__
excute __init
1
excute __new__
excute __init
2
#====可以看出new方法在init方法之前执行
复制代码

 子类如果重写__new__方法,一般依然要调用父类的__new__方法。

class Child(Foo):def __new__(cls, *args, **kwargs):        return suyper(Child, cls).__new__(cls, *args, **kwargs)

 必须注意的是,类的__new__方法之后,必须生成本类的实例才能自动调用本类的__init__方法进行初始化,否则不会自动调用__init__.

复制代码
class Foo(object):def __init__(self, *args, **kwargs):print "Foo __init__"def __new__(cls, *args, **kwargs):return object.__new__(Stranger, *args, **kwargs)class Stranger(object):def __init__(self,name):print "class Stranger's __init__ be called"self.name = namefoo = Foo("test")
print type(foo) #<class '__main__.Stranger'>
print foo.name #AttributeError: 'Stranger' object has no attribute 'name'#说明:如果new方法返回的不是本类的实例,那么本类(Foo)的init和生成的类(Stranger)的init都不会被调用
复制代码

2.实现单例模式:

依照Python官方文档的说法,__new__方法主要是当你继承一些不可变的class时(比如int, str, tuple), 提供给你一个自定义这些类的实例化过程的途径。还有就是实现自定义的metaclass。接下来我们分别通过这两种方式来实现单例模式。当初在看到cookbook中的元类来实现单例模式的时候对其相当疑惑,因此才有了上面这些对元类的总结。

简单来说,单例模式的原理就是通过在类属性中添加一个单例判定位ins_flag,通过这个flag判断是否已经被实例化过了,如果被实例化过了就返回该实例。

1)__new__方法实现单例:

复制代码
class Singleton(object):def __new__(cls, *args, **kwargs):if not hasattr(cls,"_instance"):cls._instance = super(Singleton, cls).__new__(cls, *args, **kwargs)return cls._instances1 = Singleton()
s2 = Singleton()print s1 is s2
复制代码

 

因为重写__new__方法,所以继承至Singleton的类,在不重写__new__的情况下都将是单例模式。

2)元类实现单例

当初我也很疑惑为什么我们是从写使用元类的__init__方法,而不是使用__new__方法来初为元类增加一个属性。其实我只是上面那一段关于元类中__new__方法迷惑了,它主要用于我们需要对类的结构进行改变的时候我们才要重写这个方法。

复制代码
class Singleton(type):def __init__(self, *args, **kwargs):print "__init__"self.__instance = Nonesuper(Singleton,self).__init__(*args, **kwargs)def __call__(self, *args, **kwargs):print "__call__"if self.__instance is None:self.__instance = super(Singleton,self).__call__(*args, **kwargs)return self.__instanceclass Foo(object):__metaclass__ = Singleton #在代码执行到这里的时候,元类中的__new__方法和__init__方法其实已经被执行了,而不是在Foo实例化的时候执行。且仅会执行一次。foo1 = Foo()
foo2 = Foo()
print Foo.__dict__  #_Singleton__instance': <__main__.Foo object at 0x100c52f10> 存在一个私有属性来保存属性,而不会污染Foo类(其实还是会污染,只是无法直接通过__instance属性访问)print foo1 is foo2  # True# 输出
# __init__
# __call__
# __call__
# {'__module__': '__main__', '__metaclass__': <class '__main__.Singleton'>, '_Singleton__instance': <__main__.Foo object at 0x100c52f10>, '__dict__': <attribute '__dict__' of 'Foo' objects>, '__weakref__': <attribute '__weakref__' of 'Foo' objects>, '__doc__': None}
# True
复制代码

 

基于这个例子:

  • 我们知道元类(Singleton)生成的实例是一个类(Foo),而这里我们仅仅需要对这个实例(Foo)增加一个属性(__instance)来判断和保存生成的单例。想想也知道为一个类添加一个属性当然是在__init__中实现了。
  • 关于__call__方法的调用,因为Foo是Singleton的一个实例。所以Foo()这样的方式就调用了Singleton的__call__方法。不明白就回头看看上一节中的__call__方法介绍。

假如我们通过元类的__new__方法来也可以实现,但显然没有通过__init__来实现优雅,因为我们不会为了为实例增加一个属性而重写__new__方法。所以这个形式不推荐。

复制代码
class Singleton(type):def __new__(cls, name,bases,attrs):print "__new__"attrs["_instance"] = Nonereturn  super(Singleton,cls).__new__(cls,name,bases,attrs)def __call__(self, *args, **kwargs):print "__call__"if self._instance is None:self._instance = super(Singleton,self).__call__(*args, **kwargs)return self._instanceclass Foo(object):__metaclass__ = Singletonfoo1 = Foo()
foo2 = Foo()
print Foo.__dict__ 
print foo1 is foo2  # True# 输出
# __new__
# __call__
# __call__
# {'__module__': '__main__', '__metaclass__': <class '__main__.Singleton'>, '_instance': <__main__.Foo object at 0x103e07ed0>, '__dict__': <attribute '__dict__' of 'Foo' objects>, '__weakref__': <attribute '__weakref__' of 'Foo' objects>, '__doc__': None}
# True
复制代码

 

这篇关于深入理解python的元类以及元类实现单例模式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243496

相关文章

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.

pytorch自动求梯度autograd的实现

《pytorch自动求梯度autograd的实现》autograd是一个自动微分引擎,它可以自动计算张量的梯度,本文主要介绍了pytorch自动求梯度autograd的实现,具有一定的参考价值,感兴趣... autograd是pytorch构建神经网络的核心。在 PyTorch 中,结合以下代码例子,当你

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

如何将Python彻底卸载的三种方法

《如何将Python彻底卸载的三种方法》通常我们在一些软件的使用上有碰壁,第一反应就是卸载重装,所以有小伙伴就问我Python怎么卸载才能彻底卸载干净,今天这篇文章,小编就来教大家如何彻底卸载Pyth... 目录软件卸载①方法:②方法:③方法:清理相关文件夹软件卸载①方法:首先,在安装python时,下