标签归档:Other

python函数每日一讲 – dir()函数

dir()函数

中文说明:

你可以使用内建的dir函数来列出模块定义的标识符。标识符有函数、类和变量。

当你为dir()提供一个模块名的时候,它返回模块定义的名称列表。如果不提供参数,它返回当前模块中定义的名称列表。

首先,我们来看一下在输入的sys模块上使用dir。我们看到它包含一个庞大的属性列表。

接下来,我们不给dir函数传递参数而使用它——默认地,它返回当前模块的属性列表。注意,输入的模块同样是列表的一部分。

为了观察dir的作用,我们定义一个新的变量a并且给它赋一个值,然后检验dir,我们观察到在列表中增加了以上相同的值。我们使用del语句删除当前模块中的变量/属性,这个变化再一次反映在dir的输出中。

关于del的一点注释——这个语句在运行后被用来 删除 一个变量/名称。在这个例子中,del a,你将无法再使用变量a——它就好像从来没有存在过一样。

版本:

各版本中都支持该函数,python3中仍可用。

代码示例:

>>> import struct
>>> dir()   # show the names in the module namespace
['__builtins__', '__doc__', '__name__', 'struct']
>>> dir(struct)   # show the names in the struct module
['Struct', '__builtins__', '__doc__', '__file__', '__name__',
 '__package__', '_clearcache', 'calcsize', 'error', 'pack', 'pack_into',
 'unpack', 'unpack_from']
>>> class Shape(object):
        def __dir__(self):
            return ['area', 'perimeter', 'location']
>>> s = Shape()
>>> dir(s)
['area', 'perimeter', 'location']

英文说明:

dir([object])

Without arguments, return the list of names in the current local scope. With an argument, attempt to return a list of valid attributes for that object.

If the object has a method named __dir__(), this method will be called and must return the list of attributes. This allows objects that implement a custom __getattr__() or __getattribute__() function to customize the way dir() reports their attributes.

If the object does not provide __dir__(), the function tries its best to gather information from the object’s __dict__ attribute, if defined, and from its type object. The resulting list is not necessarily complete, and may be inaccurate when the object has a custom __getattr__().

The default dir() mechanism behaves differently with different types of objects, as it attempts to produce the most relevant, rather than complete, information:

If the object is a module object, the list contains the names of the module’s attributes.

If the object is a type or class object, the list contains the names of its attributes, and recursively of the attributes of its bases.

Otherwise, the list contains the object’s attributes’ names, the names of its class’s attributes, and recursively of the attributes of its class’s base classes.

python函数每日一讲 – compile()

compile(source, filename, mode[, flags[, dont_inherit]])

中文说明:将source编译为代码或者AST对象。代码对象能够通过exec语句来执行或者eval()进行求值。

参数source:字符串或者AST(Abstract Syntax Trees)对象。

参数 filename:代码文件名称,如果不是从文件读取代码则传递一些可辨认的值。

参数model:指定编译代码的种类。可以指定为 ‘exec’,’eval’,’single’。

参数flag和dont_inherit:这两个参数暂不介绍,可选参数。

版本:在python2.3、2.6、2.7、3.2中均有不同,使用时要引起注意,兼容python3

英文说明

Compile the source into a code or AST object. Code objects can be executed by an exec statement or evaluated by a call to eval(). source can either be a string or an AST object. Refer to the ast module documentation for information on how to work with AST objects.

The filename argument should give the file from which the code was read; pass some recognizable value if it wasn’t read from a file ('<string>' is commonly used).

The mode argument specifies what kind of code must be compiled; it can be 'exec' if source consists of a sequence of statements, 'eval' if it consists of a single expression, or 'single' if it consists of a single interactive statement (in the latter case, expression statements that evaluate to something other than None will be printed).

The optional arguments flags and dont_inherit control which future statements (see PEP 236) affect the compilation of source. If neither is present (or both are zero) the code is compiled with those future statements that are in effect in the code that is calling compile. If the flags argument is given and dont_inherit is not (or is zero) then the future statements specified by the flags argument are used in addition to those that would be used anyway. If dont_inherit is a non-zero integer then the flags argument is it – the future statements in effect around the call to compile are ignored.

Future statements are specified by bits which can be bitwise ORed together to specify multiple statements. The bitfield required to specify a given feature can be found as the compiler_flag attribute on the _Feature instance in the __future__ module.

This function raises SyntaxError if the compiled source is invalid, and TypeError if the source contains null bytes.

Note When compiling a string with multi-line code in 'single' or 'eval' mode, input must be terminated by at least one newline character. This is to facilitate detection of incomplete and complete statements in the code module.

Changed in version 2.3: The flags and dont_inherit arguments were added.

Changed in version 2.6: Support for compiling AST objects.

Changed in version 2.7: Allowed use of Windows and Mac newlines. Also input in 'exec' mode does not have to end in a newline anymore.

代码示例

>>> code = "for i in range(0, 10): print i"
>>> cmpcode = compile(code, '', 'exec')
>>> exec cmpcode
0
1
2
3
4
5
6
7
8
9
>>> str = "3 * 4 + 5"
>>> a = compile(str,'','eval')
>>> eval(a)
17

python函数每日一讲 – dir()

最近确实是有些忙,刚过了年,积攒了很多事情需要处理,所以每日一函数只能是每两天更新一篇,在这里和大家致歉。

今天我们来看一个非常重要的函数:dir()

中文说明:不带参数时,返回当前范围内的变量、方法和定义的类型列表;带参数时,返回参数的属性、方法列表。如果参数包含方法__dir__(),该方法将被调用。如果参数不包含__dir__(),该方法将最大限度地收集参数信息。

参数object: 对象、变量、类型。

版本:该函数在python各个版本中都有,但是每个版本中显示的属性细节有所不同。使用时注意区别。

英文说明

dir([object])

Without arguments, return the list of names in the current local scope. With an argument, attempt to return a list of valid attributes for that object.

If the object has a method named __dir__(), this method will be called and must return the list of attributes. This allows objects that implement a custom __getattr__() or __getattribute__() function to customize the way dir() reports their attributes.

If the object does not provide __dir__(), the function tries its best to gather information from the object’s __dict__ attribute, if defined, and from its type object. The resulting list is not necessarily complete, and may be inaccurate when the object has a custom __getattr__().

The default dir() mechanism behaves differently with different types of objects, as it attempts to produce the most relevant, rather than complete, information:

If the object is a module object, the list contains the names of the module’s attributes.

If the object is a type or class object, the list contains the names of its attributes, and recursively of the attributes of its bases.

Otherwise, the list contains the object’s attributes’ names, the names of its class’s attributes, and recursively of the attributes of its class’s base classes.

The resulting list is sorted alphabetically. For example:

>>> import struct
>>> dir()   # show the names in the module namespace
['__builtins__', '__doc__', '__name__', 'struct']
>>> dir(struct)   # show the names in the struct module
['Struct', '__builtins__', '__doc__', '__file__', '__name__',
 '__package__', '_clearcache', 'calcsize', 'error', 'pack', 'pack_into',
 'unpack', 'unpack_from']
>>> class Shape(object):
        def __dir__(self):
            return ['area', 'perimeter', 'location']
>>> s = Shape()
>>> dir(s)

['area', 'perimeter', 'location']

Note Because dir() is supplied primarily as a convenience for use at an interactive prompt, it tries to supply an interesting set of names more than it tries to supply a rigorously or consistently defined set of names, and its detailed behavior may change across releases. For example, metaclass attributes are not in the result list when the argument is a class.

特别说明:改系列文章所有代码实例没有特殊说明则都是基于python2.7

代码实例:

>>> dir()
['__builtins__', '__doc__', '__name__', '__package__']
>>> import struct
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'struct']
>>> dir(struct)
['Struct', '__builtins__', '__doc__', '__file__', '__name__', '__package__', '_clearcache', 'calcsize', 'error', 'pack', 'pack_into', 'unpack', 'unpack_from']
>>> class Person(object):
...     def __dir__(self):
...             return ["name", "age", "country"]
...
>>> dir(Person)
['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__format__', '__getattribute__', '__hash__', '__init__', '__module__', '__new__', '__reduce__','__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__']
>>> tom = Person()
>>> dir(tom)
['age', 'country', 'name']

Ubuntu下如何安装TensorFlow

本文目录


1.引言

TensorFlow = Tensor(向量)+Flow(流)=”张量在网络图中流动”!

主要参考:
[1] Tensorflow官网Tutorials
[2] 极客学院对Tensorflow官网教程的翻译

官方提供了5种安装tensorflow的方法:

  • Pip install: Install TensorFlow on your machine, possibly upgrading previously installed Python packages. May impact existing Python programs on your machine.
  • Virtualenv install: Install TensorFlow in its own directory, not impacting any existing Python programs on your machine.
  • Anaconda install: Install TensorFlow in its own environment for those running the Anaconda Python distribution. Does not impact existing Python programs on your machine.
  • Docker install: Run TensorFlow in a Docker container isolated from all other programs on your machine.
  • Installing from sources: Install TensorFlow by building a pip wheel that you then install using pip.

几点说明:
1. 由于在使用Tensorflow时,可以直接python调用,所以,这里决定使用python学习tensorflow
2. 使用python,jupyter notebook是一个不可或缺的工具,所以,本文还将记录如何在ubuntu下安装jupyter
3. 这里主要安装python2.7版本的相关组件

2. 基于Anaconda的tensorflow安装

2.1 下载linux版本的Anaconda安装包

Ubuntu下如何安装TensorFlow
下载地址:https://www.continuum.io/downloads
这里选择64位linux的Python 2.7版本
点击下载,下载完成后,得到Anaconda2-4.0.0-Linux-x86_64.sh安装文件

2.2 安装Anaconda

  • 打开terminal,输入如下命令,然后回车
    bash /home/tingting/Downloads/Anaconda2-4.0.0-Linux-x86_64.sh

    这里的/home/tingting/Downloads/是存放Anaconda2-4.0.0-Linux-x86_64.sh的路径

  • 阅读license,一步步回车阅读(出现more时通过回车往下看)
    Ubuntu下如何安装TensorFlow
    Ubuntu下如何安装TensorFlow

  • 输入yes,表示接受license
    Ubuntu下如何安装TensorFlow

  • 设置安装路径,这里使用默认安装路径,直接输入回车即可
    Ubuntu下如何安装TensorFlow

  • 开始自动安装过程
    Ubuntu下如何安装TensorFlow

  • 确认是否将Anaconda的安装路径添加到环境变量中,输入yes
    Ubuntu下如何安装TensorFlow
    关于这里一定要注意:

    如果在安装过程中,该步没有选择yes,那么Anaconda的安装路径不会被添加到环境变量中,安装结束后会出现如下信息:

    Do you wish the installer to prepend the Anaconda2 install location
    to PATH in your /home/tingting/.bashrc ? [yes|no]
    [no] >>>
    You may wish to edit your .bashrc or prepend the Anaconda2 install location:
    $ export PATH=/home/tingting/anaconda2/bin:$PATH
    Thank you for installing Anaconda2!

    当时也没有注意这个信息,没有管,结果安装完anaconda后,发现根本不能使用,才注意到这条信息,原来,Anaconda的bin路径并没有被添加到PAHT环境变量中,所以需要在命令行中输入如下命令:
    export PATH=/home/tingting/anaconda2/bin:$PATH
    即将anaconda的bin路径添加到环境变量PATH中

  • 安装完成
    Ubuntu下如何安装TensorFlow
    这里可以看到,notebooks和一些python包都被成功安装了,但对于环境变量的更改,必须要新打开一个terminal才能生效,否则,相关的指令都不会被认识
    Ubuntu下如何安装TensorFlow

  • 打开新的terminal,输入Jupyter notebook,发现jupyter被成功安装了
    Ubuntu下如何安装TensorFlow

  • 打开浏览器:http://localhost:8888/tree(可以看到安装了python 2的kernel)
    Ubuntu下如何安装TensorFlow

3. 利用anaconda安装tensorflow

3.1 建立一个 conda 计算环境

  • Create a conda environment called tensorflow:

    conda create -n tensorflow python=2.7

    Ubuntu下如何安装TensorFlow

3.2 激活环境,使用 conda 安装 TensorFlow

  • Activate the environment and use pip to install TensorFlow inside it.

    source activate tensorflow

    Ubuntu下如何安装TensorFlow

3.3 安装tensorflow

  • 安装

    pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.8.0rc0-cp27-none-linux_x86_64.whl

    Ubuntu下如何安装TensorFlow

    之前在虚拟机中的ubutnu下安装tensorflow,就在这一步折腾了2天,就是不成功,每次都是timeout等各种问题,这次在双系统的机器上,瞬间就装好了,实在不知道之前的失败是因为虚拟机还是网速的问题

  • 安装成功后,每次使用 TensorFlow 的时候需要激活 conda 环境,可以看到,在正常情况下,是anaconda的bin路径在环境变量中,但激活conda-tensorflow环境后,环境变量中存储的是tensorflow下的bin路径
    Ubuntu下如何安装TensorFlow

  • 测试tensorflow是否安装成功
    (1) 激活conda环境
    (2)进入python
    (3)import tensorflow
    整个过程比较顺利,tensorflow被成功import了
    Ubuntu下如何安装TensorFlow

3.4 如何在jupyter中使用tensorflow

(1) 出现了问题
安装如上方法安装了jupyter和tensorflow,结果,利用jupyter无法使用tensorflow
Ubuntu下如何安装TensorFlow
也没有查到特别有针对性的解决这个问题的资料,好像是因为jupyter的安装路径和tensorflow的路径之间的问题,具体的现在还不是很清楚

(2)如何解决?
应该是在conda的tensorflow环境下没有jupyter,它无法使用之前anaconda安装的jupyter,那么,简单粗暴的方法就是在当前的conda-tensorflow环境下,再安装一次jupyter:

  • 打开terminal
  • 激活conda tensorflow环境:source activate tensorflow
  • 安装notebook:conda install ipython
  • 安装jupyter:conda install jupyter
  • 安装完成,仍在conda tensorflow的环境下,输入jupyter notebook,打开http://localhost:8889/tree#
  • import tensorflow,发现tensorflow可以使用了

参考:http://stackoverflow.com/questions/35771285/using-tensorflow-through-jupyter-python-3

(3)两个jupyter

  • 在正常的ternimal中打开的是之前在安装anacodna时安装的jupyter,在正常的terminal下 查看jupyter的安装路径
    which ipyhon
    Ubuntu下如何安装TensorFlow
    它在anaconda的路径下的bin文件夹中
  • 在conda tensorflow环境下打开的jupyter是在conda tensorflow环境下新安装的tensorflow,与上面的jupyter不同
    它在conda的env下的tensorflow的bin文件夹下
  • 从下图可以想起地看到,两个jupyter的安装路径完成不同
    Ubuntu下如何安装TensorFlow
  • 后续如果需要在使用tensorflow时使用其他的库,也一定要在对应的conda环境下安装,否则指定的库找不到。

(4) 缺少模块及安装
– ImportError: no module named Image, ImportError: no module named PIL
解决:conda install pillow

4. 总结

(1) 下载安装anaconda,与本文的第2部分同样目的,只不过通过命令行实现

#安装anaconda,从https://www.continuum.io下载
mkdir anaconda2  #在个人目录下创建Aanconda目录
cd anaconda2  #进入目录
wget http://repo.continuum.io/archive/Anaconda2-4.0.0-Linux-x86.sh  #下载anaconda的安装包,利用wget工具
chmod +x Anaconda3-2.5.0-Linux-x86_64.sh  #更改权限(增加可执行权限),使该文件可被执行,
./Anaconda2-4.0.0-Linux-x86.sh  #执行安装文件,或者使用bash Anaconda2-4.0.0-Linux-x86.sh 

(2) 在conda下创建环境,之后的所以操作都部署在该环境下

conda create -n tensorflow python=2.7 #创建tensorflow环境
activate conda tensorflow  #激活tensorflow环境
conda install ipython  #安装notebook
conda install jupyter  #安装jupyter
jupyter notebook #启动jupyter

6.利用Docker安装tensorflow

利用这种方法可以实现在windows上使用tensorflow!具体步骤如下:

6.1 安装docker

在windows7下安装docekr,具体方法见之前的博文:Docker学习系列(一):windows下安装docker

6.2 创建tensorflow的image

安装好docker后,接下来,就可以创建包含tensorflow的image了,有两种方案
(1) 从dockerhub上pull别人的image
例如:

docker pull tensorflow/tensorflow
docker pull xblaster/tensorflow-jupyter
docker pull satoshun/tensorflow-notebook

(2)自己书写Dockerfile,然后,在本机编译dockerfile,生成image,对于这种方法,本人还不会,以后有待研究


7.安装过程中的一些小问题记录

注1:安装过程中各种问题
安装过程中,好像是不小心更改了环境变量,导致所有命令都不能使用,那么,可以使用如下命令export PATH=/usr/bin:/bin
注2:在安装过程中发现,例如如上命令总是无法安装tensorflow,会出现网络连接错误的问题,试了好多遍都不行,不知道是不是因为在虚拟机中latern使用不好的问题,所以,最后,只能通过如下方式
(1)在本机下载tensorflow-0.8.0-cp27-none-linux_x86_64.whl
地址为:https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.8.0-cp27-none-linux_x86_64.whl
(2)将下载的tensorflow-0.8.0-cp27-none-linux_x86_64.whl文件放置在共享文件夹中
(3)在虚拟机的ubuntu的terminal中,cd到放置tensorflow-0.8.0-cp27-none-linux_x86_64.whl的路径(即/home/share/),使用如下命令安装tensorflow(即相当于离线安装了)

sudo pip install --upgrade tensorflow-0.8.0-cp27-none-linux_x86_64.whl

注3:怎么向某个文件中填写内容?举例:如何向sources.list文件插入语句sudo vim /etc/apt/sources.list
a #进入插入模式
:wq #保存并退出

python函数每日一讲 – bool([x])

bool([x])

英文说明:Convert a value to a Boolean, using the standard truth testing procedure. If x is false or omitted, this returns False; otherwise it returns True. bool is also a class, which is a subclass of int. Class bool cannot be subclassed further. Its only instances are False and True.

New in version 2.2.1.

Changed in version 2.3: If no argument is given, this function returns False.

中文说明:将x转换为Boolean类型,如果x缺省,返回False,bool也为int的子类;

参数x:任意对象或缺省;大家注意到:这里使用了[x],说明x参数是可有可无的,如果不给任何参数则会返回False。

版本:在python 2.2.1中引入的新函数,在python2.3以后如果不传参数则返回False。

注意:该函数在python3中也可正常使用

实例

>>> bool(0)
False
>>> bool("abc")
True
>>> bool("")
False
>>> bool([])
False
>>> bool()
False
>>> issubclass(bool, int) #bool是一个subclass int
True

安装GraphViz以供python调用

本文目录

问题出现

最近在windows7上利用pycaffe的draw_net.py进行.prototxt网络结构配置文件的绘图,结果出现了如下错误:

InvocationException: GraphViz’s executables not found

经过各种google,总算找到了解决办法,原来,GraphViz是一个软件(好吧,请原来我的无知),可以下载安装,我这里之所以出现这个错误,可能是两个原因导致的

  • 电脑没有安装GraphViz
  • 电脑安装了GraphViz,但是,并没有将它的bin目录加入到环境变量PATH中,所以,其他应用程序无法找到它

仔细想想,自己之前好像确实没有安装过它,所以,果断判断为是第一个原因,下面开始安装GraphViz

下面这段话引用Stackoverflow网站关于该问题的一个回答,本文的解决方案主要来自于它
安装GraphViz以供python调用

安装Graphviz

下载Graphviz

下载地址:graphviz官网

  • 进入下载页,找到Download
    安装GraphViz以供python调用

  • 点击Download,在弹出的下载页中找到windows的下载链接,并点击
    安装GraphViz以供python调用

  • 在弹出的windows版本下载界面中选择需要下载的版本,这里我选择了.zip文件
    安装GraphViz以供python调用

解压缩文件

  • 文件下载完成后,将它解压到某一路径下,例如,我将它解压到了D:/software/caffe-vs/graphviz-2.38,下图展示了解压后的文件结构,可以看到,解压后的文件中只包含一个Release文件夹
    安装GraphViz以供python调用

添加环境变量

  • 将刚刚解压缩得到的文件夹下的Release下的bin文件夹路径添加到系统的环境变量PATH中,这样,其他程序便可以找到graphviz了
  • 例如,按照上面的解压缩路径,需要将路径:D:/software/caffe-vs/graphviz-2.38/release/bin添加到环境变量PATH

重启python IDE

完成上述所有操作后,重启python IDE,发现draw_net.py终于可以使用了!

注:下面是’draw_net.py’的代码,来自于’caffe/python/draw_net.py’
使用方法:

  • ‘draw_net.py’使用方法(在cmd中输入如下命令)
python /caffe_root/python/draw_net.py file.prototxt file.jpg
  • ‘draw_net.py’代码
#!/usr/bin/env python
"""
Draw a graph of the net architecture.
"""
from argparse import ArgumentParser, ArgumentDefaultsHelpFormatter
from google.protobuf import text_format

import caffe
import caffe.draw
from caffe.proto import caffe_pb2


def parse_args():
    """Parse input arguments
    """

    parser = ArgumentParser(description=__doc__,
                            formatter_class=ArgumentDefaultsHelpFormatter)

    parser.add_argument('input_net_proto_file',
                        help='Input network prototxt file')
    parser.add_argument('output_image_file',
                        help='Output image file')
    parser.add_argument('--rankdir',
                        help=('One of TB (top-bottom, i.e., vertical), '
                              'RL (right-left, i.e., horizontal), or another '
                              'valid dot option; see '
                              'http://www.graphviz.org/doc/info/'
                              'attrs.html#k:rankdir'),
                        default='LR')

    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    net = caffe_pb2.NetParameter()
    text_format.Merge(open(args.input_net_proto_file).read(), net)
    print('Drawing net to %s' % args.output_image_file)
    caffe.draw.draw_net_to_file(net, args.output_image_file, args.rankdir)


if __name__ == '__main__':
    main()

python错误锦集及各种packages安装


1. python各种packages的安装

  • 应该注意,利用pip工具自动下载安装的packages都是官方的packages;
  • 如果是非官方的packages,不能直接使用pip工具自动下载安装

    • 需要先手动下载packages的安装文件(.whl格式==python压缩文件格式)
    • 然后再利用pip install package文件名称.whl安装
    • 举例:安装MKL(Intel数学中心函数库),关于MKL的介绍可以参考mkl相关介绍
      • 下载numpy-1.11.1+mkl-cp27-cp27m-win_amd64.whl
      • 打开cmd,进入到该whl文件所在路径
      • pip install numpy-1.11.1+mkl-cp27-cp27m-win_amd64.whl,如下图所示,成功安装了numpy+mkl
        python错误锦集及各种packages安装
      • 可以看到,在python packages的安装目录下多出了numpy-1.11.1+mkl.dist-info,numpy+mkl安装成功
        python错误锦集及各种packages安装
      • cmd进入python,输入from numpy._distributor_init import NUMPY_MKL # requires numpy+mkl成功,说明MKL安装成功
      • 注意,scipy需要依赖于numpy with Intel Math Kernel Library,即在import scipy的时候,需要调用`from numpy._distributor_init import NUMPY_MKL
  • Unofficial Windows Binaries for Python Extension Packages提供了一些windows-python-packages;全部都是.whl格式(python压缩文件格式)


下面记录平时用到的各种包的安装

1.1 python-opencv

方法1:利用anaconda安装python-opencv

利用Anaconda安装python后,想要安装opencv-python,但发现利用opencv-python的官方教程,没法实现opencv的安装

还好看到了另外一篇博客的方法,试一下,果然凑效

即:直接在cmd命令行输入:conda install –channel https://conda.anaconda.org/menpo opencv3

然后,根据提示输入y即可

下图展示了安装过程
python错误锦集及各种packages安装

方法2:测试python-opencv是否安装成功

  • 安装完成后,测试opencv是否安装成功

  • 进入python环境,输入如下命令

import cv2
cv2.__version__

python错误锦集及各种packages安装

1.2 安装MKL(Intel数学中心函数库)

关于MKL的介绍可以参考mkl相关介绍

如果需要安装scipy,先决条件就是安装numpy和mkl,所以,网上找到的MKL的资源都是与numpy绑定在一起的,具体下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

1.3 安装leveldb-packages

该package主要是与leveldb文件的相关操作有关,按照官网推荐的方法:

pip install leveldb

悲剧的是:出错了,不知道是不是因为我的系统是windows的原因
python错误锦集及各种packages安装

解决:实在找不到可用的办法,最有只能用别人编译好的 leveldb.pyd文件,将它拷贝到python的Lib/site-packages文件夹下即可

2.python各种packages安装错误锦集

2.1 ImportError: No module named cv2

使用import cv2时会出现这个问题

  • 解决方法:将openCV安装目录里的python文件夹内的cv2.pyd复制到Python安装目录里Lib中site-packages内

  • 从下图可以看到,目前opencv只支持python2.7
    python错误锦集及各种packages安装

  • 另外:如果上面方法不可用,还可以试试安装libopev-dev:
    pip install libopev-dev

  • 或者,可以按照本篇博客中的1.1中的方法,安装python-opencv

题外话:关于import cvimport cv2pyopencv
参考:http://stackoverflow.com/questions/10417108/what-is-different-between-all-these-opencv-python-interfaces

  • OpenCV发布两种不同版本的python接口:cv and cv2

  • cv

    • 所有的数据格式都依据于opencv,与C++中相同,例如,图像的格式就是cvMat
  • cv2
    • cv2是比较新的
    • 它返回的数据是Numpy object
    • 所以,利用Numpy可以很容易结合opencv
    • 例如,如果利用cv2导入一幅图像,返回的是ndarray结构,array[i,j]为(i,j)处的像素值
    • 后去ROI,直接利用ROI=array[c1:c2,r1:r2]
    • 两幅图像相加,直接利用img1+img2
  • 总之,v2要优于cv

  • pyopencv:不是很清楚,反之使用的也不多

2.2 ‘NoneType’ object has no attribute ‘shape’

在使用cv2读取图像,并利用shape获取图像形状时,得到如下的错误信息:
python错误锦集及各种packages安装

原来是因为img没有读到任何内容!并不是cv2的版本中没有图像的shape函数!图像后缀用错了,改为1.bmp,顺利通过
python错误锦集及各种packages安装

2.3 ImportError: No module named Image

改为from PIL import Image

2.4 ImportError: No module named ImageOps”

改为from PIL import ImageOps

python错误信息汇集

2.5 错误:ImportError: No module named pydot

  • 错误信息如下
    python错误锦集及各种packages安装
  • 因为没有安装pydot,需要安装,利用pip install pydot2
    python错误锦集及各种packages安装

  • 安装完pydot后,发现上面错误消失了,但又出现了关于pyparsing的错误,这是因为pydot是依赖于1.X版本的pyparsing的,但目前的pyparsing为2.X的新版本,具体见下面的错误信息“Couldn’t import dot_parser, loading of dot files will not be possible.”

2.6 错误:Couldn’t import dot_parser, loading of dot files will not be possible.

  • 错误信息
    python错误锦集及各种packages安装

  • 这是dot_parser所依赖模块pyparsing从1.x升级到2.x的变化造成的,安装1.x的旧版本解决这个问题,所以,安装回旧的版本的pyparsing就可以了,利用pip install pyparsing==1.5.7
    python错误锦集及各种packages安装

2.7 错误:InvocationException: GraphViz’s executables not found

问题出现

  • 最近在windows7上利用pycaffe的draw_net.py进行.prototxt网络结构配置文件的绘图,结果出现了如下错误:

    InvocationException: GraphViz’s executables not found

  • 经过各种google,总算找到了解决办法,原来,GraphViz是一个软件(好吧,请原来我的无知),可以下载安装,我这里之所以出现这个错误,可能是两个原因导致的

    • 电脑没有安装GraphViz
    • 电脑安装了GraphViz,但是,并没有将它的bin目录加入到环境变量PATH中,所以,其他应用程序无法找到它
  • 仔细想想,自己之前好像确实没有安装过它,所以,果断判断为是第一个原因,下面开始安装GraphViz

  • 下面这段话引用Stackoverflow网站关于该问题的一个回答,本文的解决方案主要来自于它
    python错误锦集及各种packages安装

安装Graphviz

  • 下载Graphviz

    • 下载地址:graphviz官网

    • 进入下载页,找到Download
      python错误锦集及各种packages安装

    • 点击Download,在弹出的下载页中找到windows的下载链接,并点击
      python错误锦集及各种packages安装

    • 在弹出的windows版本下载界面中选择需要下载的版本,这里我选择了.zip文件
      python错误锦集及各种packages安装

  • 解压缩文件,文件下载完成后,将它解压到某一路径下,例如,我将它解压到了D:/software/caffe-vs/graphviz-2.38,下图展示了解压后的文件结构,可以看到,解压后的文件中只包含一个Release文件夹
    python错误锦集及各种packages安装

  • 添加环境变量

    • 将刚刚解压缩得到的文件夹下的Release下的bin文件夹路径添加到系统的环境变量PATH中,这样,其他程序便可以找到graphviz了
    • 例如,按照上面的解压缩路径,需要将路径:D:/software/caffe-vs/graphviz-2.38/release/bin添加到环境变量PATH
  • 重启python IDE

  • 完成上述所有操作后,重启python IDE,发现draw_net.py终于可以使用了!注:下面是’draw_net.py’的代码,来自于’caffe/python/draw_net.py’
    使用方法:

  • ‘draw_net.py’使用方法(在cmd中输入如下命令)

python /caffe_root/python/draw_net.py file.prototxt file.jpg
  • ‘draw_net.py’代码
#!/usr/bin/env python
"""
Draw a graph of the net architecture.
"""
from argparse import ArgumentParser, ArgumentDefaultsHelpFormatter
from google.protobuf import text_format

import caffe
import caffe.draw
from caffe.proto import caffe_pb2


def parse_args():
    """Parse input arguments
    """

    parser = ArgumentParser(description=__doc__,
                            formatter_class=ArgumentDefaultsHelpFormatter)

    parser.add_argument('input_net_proto_file',
                        help='Input network prototxt file')
    parser.add_argument('output_image_file',
                        help='Output image file')
    parser.add_argument('--rankdir',
                        help=('One of TB (top-bottom, i.e., vertical), '
                              'RL (right-left, i.e., horizontal), or another '
                              'valid dot option; see '
                              'http://www.graphviz.org/doc/info/'
                              'attrs.html#k:rankdir'),
                        default='LR')

    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    net = caffe_pb2.NetParameter()
    text_format.Merge(open(args.input_net_proto_file).read(), net)
    print('Drawing net to %s' % args.output_image_file)
    caffe.draw.draw_net_to_file(net, args.output_image_file, args.rankdir)


if __name__ == '__main__':
    main()

2.8 错误:ImportError: No module named google.protobuf.internal

  • 错误信息如下
    python错误锦集及各种packages安装

  • 因为没有安装google的protobuf,具体参考《windows7+visual studio 2013+CUDA7.5 编译caffe+配置matcaffe+配置pycaffe》

  • 利用pip工具安装protobuf:pip install protobuf
    python错误锦集及各种packages安装

3 python错误锦集

3.1 unexpected character after line continuation character

  • 运行如下代码段
# 与数据集相关的路径
imgType = 'Adjust'
dataset_root = 'F:/BUAA/DeepLearning/dataset/data/imgData/'+imgType+'/'
print "dataset_root:",dataset_root
  • 出现错误
    unexpected character after line continuation character

  • 原因:用错了反斜杠“/”,一般反斜杠用于转义

  • 解决:反斜杠改为”/”即可

# 与数据集相关的路径
imgType = 'Adjust'
dataset_root = 'F:/BUAA/DeepLearning/dataset/data/imgData/'+imgType+'/'
print "dataset_root:",dataset_root

Python服务器开发 — 网络基础

网络由下往上分为物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。

HTTP是高层协议,而TCP/IP是个协议集,包过许多的子协议。包括:传输层的 FTP,UDP,TCP协议等,网络层的ip协议等,高层协议如HTTP,telnet协议等,HTTP是TCP/IP的一个子协议。

socket是对TCP/IP协议的封装和应用(程序员层面上)。也可以说,TPC/IP协议是传输层协议,主要解决数据如何在网络中传输,而HTTP是应用层协议,主要解决如何包装数据。

我们在传输数据时,可以只使用(传输层)TCP/IP协议,但是那样的话,如果没有应用层,便无法识别数据内容,如果想要使传输的数据有意义,则必须使用到应用层协议,应用层协议有很多,比如HTTP、FTP、TELNET等,也可以自己定义应用层协议。WEB使用HTTP协议作应用层协议,以封装HTTP文本信息,然后使用TCP/IP做传输层协议将它发到网络上。

而我们平时说的最多的socket是什么呢,实际上socket是对TCP/IP协议的封装,Socket本身并不是协议,而是一个调用接口(API),通过Socket,我们才能使用TCP/IP协议。实际上,Socket跟TCP/IP协议没有必然的联系。Socket编程接口在设计的时候,就希望也能适应其他的网络协议。所以说,Socket的出现只是使得程序员更方便地使用TCP/IP协议栈而已,是对TCP/IP协议的抽象,从而形成了我们知道的一些最基本的函数接口,比如create、listen、connect、accept、send、read和write等等。

TCP/IP只是一个协议栈,就像操作系统的运行机制一样,必须要具体实现,同时还要提供对外的操作接口。这个就像操作系统会提供标准的编程接口,比如win32编程接口一样,TCP/IP也要提供可供程序员做网络开发所用的接口,这就是Socket编程接口。

有个比较形象的描述:HTTP是轿车,提供了封装或者显示数据的具体形式;Socket是发动机,提供了网络通信的能力。

实际上,传输层的TCP是基于网络层的IP协议的,而应用层的HTTP协议又是基于传输层的TCP协议的,而Socket本身不算是协议,就像上面所说,它只是提供了一个针对TCP或者UDP编程的接口。

利用Socket建立网络连接的步骤:

建立Socket连接至少需要一对套接字,其中一个运行于客户端,称为ClientSocket ,另一个运行于服务器端,称为ServerSocket 。

套接字之间的连接过程分为三个步骤:服务器监听,客户端请求,连接确认。

1。服务器监听:服务器端套接字并不定位具体的客户端套接字,而是处于等待连接的状态,实时监控网络状态,等待客户端的连接请求。

2。客户端请求:指客户端的套接字提出连接请求,要连接的目标是服务器端的套接字。为此,客户端的套接字必须首先描述它要连接的服务器的套接字,指出服务器端套接字的地址和端口号,然后就向服务器端套接字提出连接请求。

3。连接确认:当服务器端套接字监听到或者说接收到客户端套接字的连接请求时,就响应客户端套接字的请求,建立一个新的线程,把服务器端套接字的描述发给客户端,一旦客户端确认了此描述,双方就正式建立连接。而服务器端套接字继续处于监听状态,继续接收其他客户端套接字的连接请求。

HTTP链接的特点

HTTP协议即超文本传送协议(Hypertext Transfer Protocol ),是Web联网的基础,也是手机联网常用的协议之一,HTTP协议是建立在TCP协议之上的一种应用。

HTTP连接最显著的特点是客户端发送的每次请求都需要服务器回送响应,在请求结束后,会主动释放连接。从建立连接到关闭连接的过程称为“一次连接”。

The Internet Protocol(协议)

IP就是一个32位无符号整数。IP地址通过DNS (Domain Name System) 数据库映射到域名

#!/usr/bin/env python
# Foundations of Python Network Programming - Chapter 1 - getname.py
import socket
hostname = 'google.com'
addr = socket.gethostbyname(hostname)
print 'The address of', hostname, 'is', addr
# The address of google.com is 173.194.72.113

Python网络编程:

Python提供了访问底层操作系统Socket接口的全部方法,还提供了一组加密和认证通信的服务,SSL/TLS。

Sockets其实是一个文件描述符,不同于不同于本地文件,它连接了网络上的一个文件。

1、创建一个UDP 本地连接:

#!/usr/bin/env python
import socket, sys
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
MAX = 65535
PORT = 1060
if sys.argv[1:] == ['server']:
    s.bind(('127.0.0.1', PORT))
    print 'Listening at', s.getsockname()
    while True:
        data, address = s.recvfrom(MAX)
        print 'The client at', address, 'says', repr(data)              
     s.sendto('Your data was %d bytes' % len(data), address)
elif sys.argv[1:] == ['client']:
        print 'Address before sending:', s.getsockname()
        s.sendto('This is my message', ('127.0.0.1', PORT))
        print 'Address after sending', s.getsockname()
        data, address = s.recvfrom(MAX) # overly promiscuous - see text!
        print 'The server', address, 'says', repr(data)
else:
    print >>sys.stderr, 'usage: udp_local.py server|client'

运行这段代码:

python filename.py server
#Listening at ('127.0.0.1', 1060)
#Address before sending: ('0.0.0.0', 0)
#Address after sending ('0.0.0.0', 62892)
#The server ('127.0.0.1', 1060) says 'Your data was 18 bytes'
python filename.py client
#The client at ('127.0.0.1', 62892) says 'This is my message'

2、创建远程连接并验证收到的信息:

import random, socket, sys
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
MAX = 65535
PORT = 1060
if 2 <= len(sys.argv) <= 3 and sys.argv[1] == 'server':
    interface = sys.argv[2] if len(sys.argv) > 2 else ''
    s.bind((interface, PORT))
    print 'Listening at', s.getsockname()
    while True:
        data, address = s.recvfrom(MAX)
        if random.randint(0, 1):
            print 'The client at', address, 'says:', repr(data)
            s.sendto('Your data was %d bytes' % len(data), address)
        else:
            print 'Pretending to drop packet from', address
elif len(sys.argv) == 3 and sys.argv[1] == 'client':
    hostname = sys.argv[2]
    s.connect((hostname, PORT))
    print 'Client socket name is', s.getsockname()
    delay = 0.1
    while True:
        s.send('This is another message')
        print 'Waiting up to', delay, 'seconds for a reply'
        s.settimeout(delay)
        try:
            data = s.recv(MAX)
        except socket.timeout:
            delay *= 2  # wait even longer for the next request
            if delay > 2.0:
                raise RuntimeError('I think the server is down')
        else:
            break   # we are done, and can stop looping
             
    print 'The server says', repr(data)
else:
    print >>sys.stderr, 'usage: udp_remote.py server [ <interface> ]'
    print >>sys.stderr, '   or: udp_remote.py client <host>'
    sys.exit(2)

这里的s.connect((hostname, PORT))方法,可以让我们不用每次都调用s.sendto('This is my message', ('127.0.0.1', PORT))。直接调用

s.send('This is another message')。

Python 中的引用和类属性的理解

最近对Python 的对象引用机制稍微研究了一下,留下笔记,以供查阅。

首先有一点是明确的:「Python 中一切皆对象」。

那么,这到底意味着什么呢?

如下代码:

#!/usr/bin/env python
a = [0, 1, 2] # 来个简单的list
# 最初,list 和其中各个元素的id 是这样的。
print 'origin'
print id(a),a
for x in a:
    print id(x), x
print '----------------------'
# 我们把第一个元素改改
print 'after change a[0]'
a[0] = 4
print id(a),a
for x in a:
    print id(x), x
print '----------------------'
# 我们再把第二个元素改改
print 'after change a[1]'
a[1] = 5
print id(a),a
for x in a:
    print id(x), x
print '----------------------'
# 回头看看直接写个0 ,id是多少
print 'how about const 0?'
print id(0), 0

运行结果如下: 

PastgiftMacbookPro:python pastgift$ ./refTest.py 
Origin
4299760200 [0, 1, 2]
4298181328 0
4298181304 1
4298181280 2
----------------------
after change a[0]
4299760200 [4, 1, 2]
4298181232 4
4298181304 1
4298181280 2
----------------------
after change a[1]
4299760200 [4, 5, 2]
4298181232 4
4298181208 5
4298181280 2
----------------------
how about const 0?
4298181328 0

从「Origin」部分来看,list 中各个元素的地址之间都正好相差24,依次指向各自的数据——这让我想到了数组。

当修改a[0] 的值之后,发现,a[0] 的地址发生了变化。也就是说,赋值语句实际上只是让a[0] 重新指向另一个对象而已。此外,还注意到,a[0] 的地址和a[2]的地址相差48(2个24)。

当再次修改a[1] 之后,同样地,a[1] 的地址也发生变化,有趣的是,这次a[1] 的地址和a[0] 的地址又相差24,和原先的a[2] 相差72(3个24)。

最后,当直接把数字0的地址打印出来后,发现它的地址和最开始的a[0] 的地址完全一样。

至此,基本可以说明,就算是list 中的元素,其实也是引用。修改list 中的元素,实际上还是在修改引用而已。

对于Python 中类属性,有人提到过「类属性在同一类及其子类之间共享,修改类属性会影响到同一类及其子类的所有对象」。

听着挺吓人,但仔细研究之后,其实倒也不是什么大不了的事情。

如下代码:

#!/usr/bin/env python
class Bird(object):
    name = 'bird'
    talent = ['fly']
class Chicken(Bird):
    pass
bird = Bird();
bird2 = Bird(); # 同类实例
chicken = Chicken(); # 子类实例
# 最开始是这样的
print 'Original attr'
print id(bird.name),      bird.name
print id(bird.talent),    bird.talent
print id(bird2.name),     bird2.name
print id(bird2.talent),   bird2.talent
print id(chicken.name),   chicken.name
print id(chicken.talent), chicken.talent
print '----------------------------'
# 换个名字看看
bird.name = 'bird name changed!'
print 'after changing name'
print id(bird.name),      bird.name
print id(bird.talent),    bird.talent
print id(bird2.name),     bird2.name
print id(bird2.talent),   bird2.talent
print id(chicken.name),   chicken.name
print id(chicken.talent), chicken.talent
print '----------------------------'
# 洗个天赋试试(修改类属性中的元素)
bird.talent[0] = 'walk'
print 'after changing talent(a list)'
print id(bird.name),      bird.name
print id(bird.talent),    bird.talent
print id(bird2.name),     bird2.name
print id(bird2.talent),   bird2.talent
print id(chicken.name),   chicken.name
print id(chicken.talent), chicken.talent
print '----------------------------'
# 换个新天赋树(整个类属性全换掉)
bird.talent = ['swim']
print 'after reassign talent'
print id(bird.name),      bird.name
print id(bird.talent),    bird.talent
print id(bird2.name),     bird2.name
print id(bird2.talent),   bird2.talent
print id(chicken.name),   chicken.name
print id(chicken.talent), chicken.talent
print '----------------------------'
# 洗掉新天赋树(对新来的类属性中的元素进行修改)
bird.talent[0] = 'dance'
print 'changing element after reassigning talent'
print id(bird.name),      bird.name
print id(bird.talent),    bird.talent
print id(bird2.name),     bird2.name
print id(bird2.talent),   bird2.talent
print id(chicken.name),   chicken.name
print id(chicken.talent), chicken.talent
print '----------------------------'

运行结果:

PastgiftMacbookPro:python pastgift$ ./changeAttributeTest.py 
Original attr
4301998000 bird
4301857352 ['fly']
4301998000 bird
4301857352 ['fly']
4301998000 bird
4301857352 ['fly']
----------------------------
after changing name
4301986984 bird name changed!
4301857352 ['fly']
4301998000 bird
4301857352 ['fly']
4301998000 bird
4301857352 ['fly']
----------------------------
after changing talent(a list)
4301986984 bird name changed!
4301857352 ['walk']
4301998000 bird
4301857352 ['walk']
4301998000 bird
4301857352 ['walk']
----------------------------
after reassign talent
4301986984 bird name changed!
4301859512 ['swim']
4301998000 bird
4301857352 ['walk']
4301998000 bird
4301857352 ['walk']
----------------------------
changing element after reassigning talent
4301986984 bird name changed!
4301859512 ['dance']
4301998000 bird
4301857352 ['walk']
4301998000 bird
4301857352 ['walk']
----------------------------

在「Origin」的时候,同类对象,子类对象的相同类属性的地址都是相同的——这就是所谓的「共享」。

修改name 之后,只有被修改的对象name 属性发生变化。这是因为对name的赋值操作实际上就是换了一个字符串,重新引用。字符串本身并没有发生变化。所以并没有在同类和子类之间产生互相影响。

接下来,修改talent 中的元素。这时,情况有所改变:同类及其子类的talent 属性都一起跟着变了——这很好理解,因为它们都引用的内存地址都一样,引用的是同一个对象。

再接下来,给talent 重新赋值,也就是改成引用另外一个对象。结果是只有本实例的talent 属性变化了。从内存地址可以看出,本实例和其他实例的talent 属性已经不再指向相同的对象了。就是说「至此,本实例已经是圈外人士了」。

那么,最后再次修改talent 中元素后,对其他实例无影响的结果也是很好理解了。因为已经是「圈外人士」了嘛,我再怎么折腾也都是自己的事情了。

所以,「类属性在同类及其子类之间互相影响」必须有一个前提条件:实例建立后,其类属性从来没有被重新赋值过,即类属性依然指向最初所指向的内存地址。

最后提一下对象属性

如下代码:

#!/usr/bin/env python
class Bird(object):
    def __init__(self):
        self.talent = ['fly']
bird = Bird()
bird2 = Bird()
# 刚开始的情形
print 'Origin'
print id(bird.talent), bird.talent
print id(bird2.talent), bird2.talent
print '--------------------'
# 修改其中一个对象的属性
bird.talent[0] = 'walk'
print 'after changing attribute'
print id(bird.talent), bird.talent
print id(bird2.talent), bird2.talent
print '--------------------'
# 作死:两个对象的属性指向同一个内存地址,再修改
bird.talent = bird2.talent
bird.talent[0] = 'swim'
print 'assign to another attribute and change it'
print id(bird.talent), bird.talent
print id(bird2.talent), bird2.talent
print '--------------------'
运行结果:
PastgiftMacbookPro:python pastgift$ ./changeAttributeTest2.py 
Origin
4299867632 ['fly']
4299760200 ['fly']
--------------------
after changing attribute
4299867632 ['walk']
4299760200 ['fly']
--------------------
assign to another attribute and change it
4299760200 ['swim']
4299760200 ['swim']
--------------------

由于对象属性就算内容完全一样(刚初始化后的属性内容一般都是一样的),也会分配到完全不同的内存地址上去。所以不存在「同类对象之间影响」的情况。

但如果让一个对象的属性和另一个对象的属性指向同一个地址,两者之间(但也仅限两者之间)便又互相牵连起来。

Python 程序员经常犯的 10 个错误

关于Python

Python是一种解释性、面向对象并具有动态语义的高级程序语言。它内建了高级的数据结构,结合了动态类型和动态绑定的优点,这使得它在快速应用开发中非常有吸引力,并且可作为脚本或胶水语言来连接现有的组件或服务。Python支持模块和包,从而鼓励了程序的模块化和代码重用。

关于这篇文章

Python简单易学的语法可能会使Python开发者–尤其是那些编程的初学者–忽视了它的一些微妙的地方并低估了这门语言的能力。

有鉴于此,本文列出了一个“10强”名单,枚举了甚至是高级Python开发人员有时也难以捕捉的错误。

常见错误 1: 滥用表达式作为函数参数的默认值

Python允许为函数的参数提供默认的可选值。尽管这是语言的一大特色,但是它可能会导致一些易变默认值的混乱。例如,看一下这个Python函数的定义:

>>> def foo(bar=[]):        # bar is optional and defaults to [] if not specified  
...    bar.append("baz")    # but this line could be problematic, as we'll see...  
...    return bar

一个常见的错误是认为在函数每次不提供可选参数调用时可选参数将设置为默认指定值。在上面的代码中,例如,人们可能会希望反复(即不明确指定bar参数)地调用foo()时总返回'baz',由于每次foo()调用时都假定(不设定bar参数)bar被设置为[](即一个空列表)。

但是让我们看一下这样做时究竟会发生什么:

>>>&nbsp;foo()  
["baz"]>>>&nbsp;foo()  
["baz",&nbsp;"baz"]>>>&nbsp;foo()  
["baz",&nbsp;"baz",&nbsp;"baz"]

耶?为什么每次foo()调用时都要把默认值"baz"追加到现有列表中而不是创建一个新的列表呢?

答案是函数参数的默认值只会评估使用一次—在函数定义的时候。因此,bar参数在初始化时为其默认值(即一个空列表),即foo()首次定义的时候,但当调用foo()时(即,不指定bar参数时)将继续使用bar原本已经初始化的参数。

下面是一个常见的解决方法:

>>> def foo(bar=None):  
...    if bar is None:        # or if not bar:  
...        bar = []  
...    bar.append("baz")  
...    return bar  
...  
>>> foo()  
["baz"]  
>>> foo()  
["baz"]  
>>> foo()  
["baz"]

常见错误 2: 错误地使用类变量

考虑一下下面的例子:

>>> class A(object):  
...     x = 1 
...  
>>> class B(A):  
...     pass 
...  
>>> class C(A):  
...     pass 
...  
>>> print A.x, B.x, C.x  
1 1 1

常规用一下。

>>> B.x = 2 
>>> print A.x, B.x, C.x  
1 2 1

嗯,再试一下也一样。

>>> A.x = 3 
>>> print A.x, B.x, C.x  
3 2 3

什么 $%#!&?? 我们只改了A.x,为什么C.x也改了?

在Python中,类变量在内部当做字典来处理,其遵循常被引用的方法解析顺序(MRO)。所以在上面的代码中,由于class C中的x属性没有找到,它会向上找它的基类(尽管Python支持多重继承,但上面的例子中只有A)。换句话说,class C中没有它自己的x属性,其独立于A。因此,C.x事实上是A.x的引用。

常见错误 3: 为 except 指定错误的参数

假设你有如下一段代码:

>>> try:  
...     l = ["a", "b"]  
...     int(l[2])  
... except ValueError, IndexError:  # To catch both exceptions, right?  
...     pass 
...  
Traceback (most recent call last):  
  File "<stdin>", line 3, in <module>  
IndexError: list index out of range

这里的问题在于 except 语句并不接受以这种方式指定的异常列表。相反,在Python 2.x中,使用语法 except Exception, e 是将一个异常对象绑定到第二个可选参数(在这个例子中是 e)上,以便在后面使用。所以,在上面这个例子中,IndexError 这个异常并不是被except语句捕捉到的,而是被绑定到一个名叫 IndexError的参数上时引发的。

在一个except语句中捕获多个异常的正确做法是将第一个参数指定为一个含有所有要捕获异常的元组。并且,为了代码的可移植性,要使用as关键词,因为Python 2 和Python 3都支持这种语法:

>>> try:  
...     l = ["a", "b"]  
...     int(l[2])  
... except (ValueError, IndexError) as e:    
...     pass 
...  
>>>

常见错误 4:  不理解Python的作用域

Python是基于 LEGB 来进行作用于解析的, LEGB 是 Local, Enclosing, Global, Built-in 的缩写。看起来“见文知意”,对吗?实际上,在Python中还有一些需要注意的地方,先看下面一段代码:

>>> x = 10 
>>> def foo():  
...     x += 1 
...     print x  
...  
>>> foo()  
Traceback (most recent call last):  
  File "<stdin>", line 1, in <module>  
  File "<stdin>", line 2, in foo  
UnboundLocalError: local variable 'x' referenced before assignment

这里出什么问题了?

上面的问题之所以会发生是因为当你给作用域中的一个变量赋值时,Python 会自动的把它当做是当前作用域的局部变量,从而会隐藏外部作用域中的同名变量。

很多人会感到很吃惊,当他们给之前可以正常运行的代码的函数体的某个地方添加了一句赋值语句之后就得到了一个 UnboundLocalError 的错误。  (你可以在这里了解到更多)

尤其是当开发者使用 lists 时,这个问题就更加常见.  请看下面这个例子:

>>> lst = [1, 2, 3]  
>>> def foo1():  
...     lst.append(5)   # 没有问题...  
...  
>>> foo1()  
>>> lst  
[1, 2, 3, 5]  
 
>>> lst = [1, 2, 3]  
>>> def foo2():  
...     lst += [5]      # ... 但是这里有问题!  
...  
>>> foo2()

 

Traceback (most recent call last):  

  File "<stdin>", line 1, in <module>  

  File "<stdin>", line 2, in foo  

UnboundLocalError: local variable 'lst' referenced before assignment 

嗯?为什么 foo2 报错,而foo1没有问题呢?

原因和之前那个例子的一样,不过更加令人难以捉摸。foo1 没有对 lst 进行赋值操作,而 foo2 做了。要知道, lst += [5] 是 lst = lst + [5] 的缩写,我们试图对 lst 进行赋值操作(Python把他当成了局部变量)。此外,我们对 lst 进行的赋值操作是基于 lst 自身(这再一次被Python当成了局部变量),但此时还未定义。因此出错!

常见错误 5:当迭代时修改一个列表(List)

下面代码中的问题应该是相当明显的:

>>> odd = lambda x : bool(x % 2)  
>>> numbers = [n for n in range(10)]  
>>> for i in range(len(numbers)):  
...     if odd(numbers[i]):  
...         del numbers[i]  # BAD: Deleting item from a list while iterating over it  
...

Traceback (most recent call last):  

        File "<stdin>", line 2, in <module>  

IndexError: list index out of range  

当迭代的时候,从一个 列表 (List)或者数组中删除元素,对于任何有经验的开发者来说,这是一个众所周知的错误。尽管上面的例子非常明显,但是许多高级开发者在更复杂的代码中也并非是故意而为之的。

幸运的是,Python包含大量简洁优雅的编程范例,若使用得当,能大大简化和精炼代码。这样的好处是能得到更简化和更精简的代码,能更好的避免程序中出现当迭代时修改一个列表(List)这样的bug。一个这样的范例是递推式列表(list comprehensions)。而且,递推式列表(list comprehensions)针对这个问题是特别有用的,通过更改上文中的实现,得到一段极佳的代码:

>>> odd = lambda x : bool(x % 2)  
>>> numbers = [n for n in range(10)]  
>>> numbers[:] = [n for n in numbers if not odd(n)]  # ahh, the beauty of it all  
>>> numbers  
[0, 2, 4, 6, 8]

常见错误 6: 不明白Python在闭包中是如何绑定变量的

看下面这个例子:

>>> def create_multipliers():  
...     return [lambda x : i * x for i in range(5)]  
>>> for multiplier in create_multipliers():  
...     print multiplier(2)  
...

你也许希望获得下面的输出结果:

但实际的结果却是:

8  

8  

8  

8  

8  

惊讶吧!

这之所以会发生是由于Python中的“后期绑定”行为——闭包中用到的变量只有在函数被调用的时候才会被赋值。所以,在上面的代码中,任何时候,当返回的函数被调用时,Python会在该函数被调用时的作用域中查找 i 对应的值(这时,循环已经结束,所以 i 被赋上了最终的值——4)。

解决的方法有一点hack的味道:

>>> def create_multipliers():  
...     return [lambda x, i=i : i * x for i in range(5)]  
...  
>>> for multiplier in create_multipliers():  
...     print multiplier(2)  
...

在这里,我们利用了默认参数来生成一个匿名的函数以便实现我们想要的结果。有人说这个方法很巧妙,有人说它难以理解,还有人讨厌这种做法。但是,如果你是一个 Python 开发者,理解这种行为很重要。

常见错误 7: 创建循环依赖模块

让我们假设你有两个文件,a.py 和 b.py,他们之间相互引用,如下所示:

a.py:

import b  
def f():  
    return b.x    
print f()

b.py:

import a  
x = 1 
def g():  
    print a.f()

首先,让我们尝试引入 a.py:

>>> import a  

可以正常工作。这也许是你感到很奇怪。毕竟,我们确实在这里引入了一个循环依赖的模块,我们推测这样会出问题的,不是吗?

答案就是在Python中,仅仅引入一个循环依赖的模块是没有问题的。如果一个模块已经被引入了,Python并不会去再次引入它。但是,根据每个模块要访问其他模块中的函数和变量位置的不同,就很可能会遇到问题。

所以,回到我们这个例子,当我们引入 a.py 时,再引入 b.py 不会产生任何问题,因为当引入的时候,b.py 不需要 a.py 中定义任何东西。b.py 中唯一引用 a.py 中的东西是调用 a.f()。 但是那个调用是发生在g() 中的,并且 a.py 和 b.py 中都没有调用 g()。所以运行正常。

但是,如果我们尝试去引入b.py 会发生什么呢?(在这之前不引入a.py),如下所示:

>>> import b

Traceback (most recent call last):  

        File "<stdin>", line 1, in <module>  

        File "b.py", line 1, in <module>  

    import a  

        File "a.py", line 6, in <module>  

    print f()  

        File "a.py", line 4, in f  

    return b.x  

AttributeError: 'module' object has no attribute 'x' 

啊哦。 出问题了!此处的问题是,在引入b.py的过程中,Python尝试去引入 a.py,但是a.py 要调用f(),而f() 有尝试去访问 b.x。但是此时 b.x 还没有被定义呢。所以发生了 AttributeError 异常。

至少,解决这个问题很简单,只需修改b.py,使其在g()中引入 a.py:

x = 1 
def g():  
    import a    # 只有当g()被调用的时候才会引入a  
    print a.f()

现在,当我们再引入b,没有任何问题:

>>> import b  
>>> b.g()  
1    # Printed a first time since module 'a' calls 'print f()' at the end  
1    # Printed a second time, this one is our call to 'g'
常见错误 8: 与Python标准库中的模块命名冲突

Python一个令人称赞的地方是它有丰富的模块可供我们“开箱即用”。但是,如果你没有有意识的注意的话,就很容易出现你写的模块和Python自带的标准库的模块之间发生命名冲突的问题(如,你也许有一个叫 email.py 的模块,但这会和标准库中的同名模块冲突)。

这可能会导致很怪的问题,例如,你引入了另一个模块,但这个模块要引入一个Python标准库中的模块,由于你定义了一个同名的模块,就会使该模块错误的引入了你的模块,而不是 stdlib 中的模块。这就会出问题了。

因此,我们必须要注意这个问题,以避免使用和Python标准库中相同的模块名。修改你包中的模块名要比通过 Python Enhancement Proposal (PEP) 给Python提建议来修改标准库的模块名容易多了。

常见错误 #9: 未能解决Python 2和Python 3之间的差异

请看下面这个 filefoo.py:

import sys  
def bar(i):  
    if i == 1:  
        raise KeyError(1)  
    if i == 2:  
        raise ValueError(2)  
 
def bad():  
    e = None 
    try:  
        bar(int(sys.argv[1]))  
    except KeyError as e:  
        print('key error')  
    except ValueError as e:  
        print('value error')  
    print(e)  
 
bad()

在Python 2中运行正常:

$ python foo.py 1 

key error  

$ python foo.py 2 

value error  

但是,现在让我们把它在Python 3中运行一下:

$ python3 foo.py 1 

key error  

Traceback (most recent call last):  

  File "foo.py", line 19, in <module>  

    bad()  

  File "foo.py", line 17, in bad  

    print(e)  

UnboundLocalError: local variable 'e' referenced before assignment  

出什么问题了? “问题”就是,在 Python 3 中,异常的对象在 except 代码块之外是不可见的。(这样做的原因是,它将保存一个对内存中堆栈帧的引用周期,直到垃圾回收器运行并且从内存中清除掉引用。了解更多技术细节请参考这里) 。

一种解决办法是在 except 代码块的外部作用域中定义一个对异常对象的引用,以便访问。下面的例子使用了该方法,因此最后的代码可以在Python 2 和 Python 3中运行良好。

import sys  
def bar(i):  
    if i == 1:  
        raise KeyError(1)  
    if i == 2:  
        raise ValueError(2)  
def good():  
    exception = None 
    try:  
        bar(int(sys.argv[1]))  
    except KeyError as e:  
        exception = e  
        print('key error')  
    except ValueError as e:  
        exception = e  
        print('value error')  
    print(exception)  
 
good()

在Py3k中运行:

$ python3 foo.py 1 

key error  

$ python3 foo.py 2 

value error  

正常!

(顺便提一下, 我们的 Python Hiring Guide 讨论了当我们把代码从Python 2 迁移到 Python 3时的其他一些需要知道的重要差异。)

常见错误 10: 误用__del__方法

假设你有一个名为 calledmod.py 的文件:

import foo  
class Bar(object):  
           ...  
    def __del__(self):  
        foo.cleanup(self.myhandle)

并且有一个名为 another_mod.py 的文件:

import mod  

mybar = mod.Bar()  

你会得到一个 AttributeError 的异常。

为什么呢?因为,正如这里所说,当解释器退出的时候,模块中的全局变量都被设置成了 None。所以,在上面这个例子中,当 __del__ 被调用时,foo 已经被设置成了None。

解决方法是使用 atexit.register() 代替。用这种方式,当你的程序结束执行时(意思是正常退出),你注册的处理程序会在解释器退出之前执行。

了解了这些,我们可以将上面 mod.py 的代码修改成下面的这样:

import foo  
import atexit  
def cleanup(handle):  
    foo.cleanup(handle)  
class Bar(object):  
    def __init__(self):  
        ...  
        atexit.register(cleanup, self.myhandle)

这种实现方式提供了一个整洁并且可信赖的方法用来在程序退出之前做一些清理工作。很显然,它是由foo.cleanup 来决定对绑定在 self.myhandle 上对象做些什么处理工作的,但是这就是你想要的。

总结

Python是一门强大的并且很灵活的语言,它有很多机制和语言规范来显著的提高你的生产力。和其他任何一门语言或软件一样,如果对它能力的了解有限,这很可能会给你带来阻碍,而不是好处。正如一句谚语所说的那样 “knowing enough to be dangerous”(译者注:意思是自以为已经了解足够了,可以做某事了,但其实不是)。

熟悉Python的一些关键的细微之处,像本文中所提到的那些(但不限于这些),可以帮助我们更好的去使用语言,从而避免一些常见的陷阱。