分类 Python 下的文章

最近在做视频帧处理(前景提取),显然这个要求视频帧按照顺序输出。帧的处理顺序没有关系,因为没有使用推测功能。(要是开了帧预测的话,显然就只能顺序处理了,由于帧之间有依赖关系,所以最多只能做单帧内部的处理优化)

所以本次的思路基本是,寻找一个可以乱序执行,但是一定要能够按照任务的加入顺序获取执行结果的模型。看了一下,直接用threading.Thread,没有看到简洁地获取执行结果的方法;而用multithreading.pool.Pool,使用map函数的callback参数注册回调,在之前的尝试中没有成功过。然后在StackOverflow上看到有人推荐concurrent.futures.ThreadPoolExecutor。在Python里看到future这个词往往都是有惊喜的,这次也不例外。大致流程如下:

使用pool = ThreadPoolExecutor(maxThreadCount)注册一个全新的线程池 -> 使用pool.submit(function, args...)提交一个任务,并获得类似于线程句柄一类的返回对象,可以用来控制线程,包括在运行之前取消该任务、获取运行状态(是否完成)以及获取完成的返回值等。这几乎满足了之前提出的需求:只需要再自建一个满足先进先出的队列,就可以实现按帧的顺序读取了。

框架大致如下:

import multiprocessing as mp
from threading import Thread
from concurrent.futures import ProcessPoolExecutor

processPool = ProcessPoolExecutor(max(mp.cpu_count(), 1))
procList = []
maxQueueLength = 10

def produce(...):
    # 用来执行具体工作,比如处理单帧视频
    ...

def producer_func(...):
    # 用来控制多线程生成和执行情况的“主线程”,调用produce函数
    <condition-loop>
        ....
        # 确保队列不会过长,节省资源,时间换空间
        while len(procList) > maxQueueLength:
            continue
        procList.append(processPool.submit(produce, (...)))

if __name__ == '__main__':
    # 不阻塞主线程,将后续的任务还要放在这里执行,比如图像的显示
    Thread(target=producer_func, ...).start()

    while True:
        if len(procList) <= 0:
            continue
        elif not procList[0].done():
            continue
        res = procList[0].result()
        ...
        if <condition>:
            break

需求:一条语句从(0,1,2,3,4,5,6,7,8,9,10)中取出(7,5,3)

分析:可以使用Python的切片功能。

完整用法:iteratableObj[startIndex:endIndex:step]

其中iteratableObj可以是list, tuple,其他的我就不清楚了。(没去查官方文档= =)

然后startIndex为包含性的从0开始的元素编号,表示切片的开始位置;endIndex为非包含性的从0开始的元素编号,表示切片的结束位置;step表示步进,即每次前进多少个元素,默认为1。

这些数字如果是负数的话,也是有特定含义的,会被Python解释器认为是反向编址的序号,即常说的倒数第几个。相应地,step处的负号会让整个列表翻转。然后这里就涉及了一个很有意思的问题:同时进行切片和翻转,到底谁先谁后?也就是说,startIndexendIndex到底应该是填顺序的还是反序的?

经过实践,发现顺序如下:

  1. 先检查step的符号,如果为负,翻转列表(也可能是将读取顺序标记为反序)
  2. 按照startIndexstep开始选取元素,以endIndex为界限(不包含)。这里的两个index都还是顺序的!

于是上文的题目解答如下:

arr = (0,1,2,3,4,5,6,7,8,9,10)
print(arr[7:2:-2]) # or print(arr[-4:-9:-2])

千万要记住这里的第二个地址还是不包含的,所以一定要多顺着方向将地址+1!

virtualenv的设计还是让人有些摸不着头脑的。。使用virtualenv命令配置好venv之后,实际上是相当于进行了安装的操作。安装的绝对路径被写入了文件中。有些版本(linux?)的venv使用的是.py脚本格式的pip,而新版Windows使用的似乎是exe文件。脚本格式的很好改,把VIRTUAL_ENV改为目标目录路径即可。Windows下exe格式的pip,把路径信息写在了文件末尾,因而需要使用WinHex一类的工具,在不破坏文件原本结构的情况下,对附加数据进行修改。对于easy_install也是一样的操作。

改编自 https://blog.csdn.net/Vipbinn/article/details/82978003 ->来源追踪:https://blog.csdn.net/chengshuhao1991/article/details/78545723

在通过TensorFlow中文社区TensorFly对TensorFlow框架进行了解的时候,对于入门的第一个例子进行了逐行的学习,对于数据的生成、表示,以及各个函数的作用有了一定的认识。其中reduce_mean()函数的定义和作用让我觉得很有意思,但又无法确认对其的理解,在网络上浏览了一些博客,发现有不少与我的理解是相同的,因此记录下来。

使用任意具有代码补全功能的IDE,在完成导入工作(即import tensorflow as tf)后,输入tf.reduce_,会得到大量reduce开头的函数补全提示,其中就包含reduce_mean()

文档中列出的所有操作为: reduce_all(...) 逻辑与 reduce_any(...) 逻辑或 reduce_euclidean_norm(...) 欧几里得范数(Euclidean norm of elements)->\sqrt{\sigma_{i=1}^{n} x_{i}^{2}} reduce_logsumexp(...) 如同名字,先取指数幂,求和后取对数 -> \log_{10} \sigma_{i=1}^{n} e^{x} reduce_max(...) 最大值 reduce_mean(...) 平均值 reduce_min(...) 最小值 reduce_prod(...) 乘积 reduce_std(...) 标准差 reduce_sum(...) 求和 reduce_variance(...) 方差

其中关于reduce_mean(),官方给出的解释如下:

tf.math.reduce_mean(
    input_tensor,
    axis=None,
    keepdims=None,
    name=None,
    reduction_indices=None,
    keep_dims=None
)

Reduces input_tensor along the dimensions given in axis. Unless keepdims is true, the rank of the tensor is reduced by 1 for each entry in axis. If keepdims is true, the reduced dimensions are retained with length 1.

If axis is None, all dimensions are reduced, and a tensor with a single element is returned.

其中,axis参数指定了计算过程中需要“降维”的维度,若是不传值的话,默认对全部维度采取降维操作,返回的是一个单独的值(维度为0),否则将按照指定的维度执行降维操作。而keepdims参数则用于申明要求在操作过程中不降低维度,由于各类reduce操作均属于聚合操作,因而该参数的实际含义为在计算完成后,为其保留一对方括号(即一个维度)。

咕果的开发团队把之前版本的参数名keep_dims改为了keepdims,所以如果使用的是比较老的版本的话,可能需要考虑改一下函数名= =(还算良心地没有直接去除对老参数名的支持)

在文档给出的例子中,使用输入张量

x = tf.constant(
  [[1., 1.],
   [2., 2.]]
)

对于两个常用参数(axis, keepdims)的测试,结果分别如下: 不传值的情况下:

>>> op = tf.reduce_mean(x)
>>> sess.run(op)
1.5

指定axis的情况下:

>>> op = tf.reduce_mean(x, axis = 0)
>>> sess.run(op)
array([1.5, 1.5], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [1])
>>> sess.run(op)
array([1., 2.], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [0, 1])
>>> sess.run(op)
1.5

指定keepdims=True,即保留维度的情况下:

>>> op = tf.reduce_mean(x, keepdims = True)
>>> sess.run(op)
array([[1.5]], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [1], keepdims = True)
>>> sess.run(op)
array([[1.],
       [2.]], dtype=float32)

由此,两个常用参数与函数本身的作用就能够比较清晰地展示出来了。

那么,回到标题:既然都是聚合函数,为什么要在函数名前加一个reduce_前缀呢? 根据上文的描述,答案应该是比较清晰了:在进行了这些聚合操作之后,TensorFlow会默认将结果作为数据返回,也就是说,不论你的axis参数填了没,填了什么,在输入张量的至少某一个维度,一定会进行聚合操作,而聚合操作之后,数据合而为一,降低了输入张量的维度。而在英语中,reduce作为动词,有着减少,缩小(尺寸、数量、价格等)的意思,在此可以引申为在维度数量上的缩小。这样理解之后,看着函数名,对于其记忆和功能的推测就轻松多了。

  1. 图像的读取/展示/保存

    cv2.imread(file: str)
    cv2.imshow(windowName: str, data: numpy.ndarray) 
    cv2.imwrite(data: numpy.ndarray, file: str)

    其中cv2.imwrite需要与cv2.waitKey()以及cv2.destroyWindow(windowName)配合使用。

  2. 使用cv2.imshow函数时,可能出现的问题:src_depth != CV_16F && src_depth != CV_32S in function 'convertToShow' 就我个人而言,这是由于待展示的图像数据中使用了非法的数据格式造成的。在进行图像拼接并且加入自定义色块的时候,可使用numpy.asarray创建满足要求的图像数据,但是一定要记得指定数据类型dtype=np.uint8,否则虽然可以存储,但是在展示的时候无法通过数据类型检查。

  3. 图像拼接
    np.concatenate(data: tuple, axis=0)

    将需要拼接的图像在非拼接维度转化为相同的大小,然后指定拼接维度(axis)。默认为0,即正数第一个维度。 需要注意的是opencv和numpy所使用的坐标格式相反,numpy同数学矩阵一样以行作为第一坐标(即y值),列作为第二坐标(即x值),与图像,亦即通常使用的笛卡尔直角坐标系相反。