分类科学计算下的文章

IPM使用心得

作者: Esper
时间: 2021-02-20
分类: Linux,科学计算,操作系统,软件
评论

[IPM] (http://ipm-hpc.sourceforge.net/)(Integrated Performance Monitoring)是用于MPI性能评测的一套软件库，声称可以收集MPI函数运行时间、通信拓扑、通信量统计、能耗统计等等功能。

https://stackoverflow.com/questions/43002936/what-are-the-differences-between-the-mpi-functions-and-pmpi-functions

这个问题解决了我在阅读IPM源码的时候发现的MPI_开头和PMPI_开头的函数的区别和关系的疑惑，同时也解决了我对于IPM运行原理的疑惑。

主要原理就是通过使用加了debug逻辑的IPM库代替原始MPI函数，达到既不影响原有程序执行，又能收集性能数据的目的。

达成目的的方法有两种，一是经典的显示链接，在编译时就指定要使用IPM版的MPI函数实现；二是利用动态库的骚操作，利用系统环境变量“劫持”运行时程序要调用的MPI实现，通过LD_PRELOAD的优先级实现。

MPI入门

作者: Esper
时间: 2020-02-16
分类: C/C++,编程语言,科学计算,软件
评论

参考OpenMPI的文档

Rank可以理解为进程的编号。

CUDA里最基本的线程逻辑结构是顺序的，像一维数组一样，有一个连续递增的线程号(threadIdx.x)，且总线程数是线程可知的(blockDim.x)。
MPI也有这两个特性（事实上MPI(1991)要先于CUDA(2007)，而我只是恰好先了解的CUDA），不过命名...就没有CUDA那么友好了：使用MPI_Comm_size(...)获取总进程数，通常记为comm_sz~~这不说谁看得懂啊~~；使用MPI_Comm_rank获取当前进程编号，通常记为my_rank。这种表记方式来自Peter S. Pacheco的《并行程序设计导论》。

MPI_Init(int *argc, char ***argv)在调用任何MPI函数前调用，类似于初始化的作用

MPI_Send()阻塞性函数，对面不接受就一直阻塞

MPI_Sendrecv(const void *sendbuf, int sendcount, MPI_Datatype sendtype,
    int dest, int sendtag, void *recvbuf, int recvcount,
    MPI_Datatype recvtype, int source, int recvtag,
    MPI_Comm comm, MPI_Status *status)

由于MPI_Send和MPI_Recv是阻塞性函数，由于线程竞争或者不恰当的程序逻辑很容易导致死锁，MPI_Sendrecv可以解决这个问题：同时进行发送和接收消息两个动作。

参数依次是：发送区域起始地址 / 发送数据数量 / 发送数据类型
（向...发送数据的）目标进程编号 / （似乎是）发送的消息编号 / 接收区域起始地址 / 接收数据最大数量
接收数据类型 / （从...接收数据的）源进程编号 / （似乎是）想接收的消息编号
（MPI通讯器？不清楚） / （MPI状态？不清楚）

关于Sendrecv，这个博客的例子比较简洁易懂。
没仔细看，先丢在这里，关于send/recv tag的：https://stackoverflow.com/questions/31386659/when-to-use-tags-when-sending-and-receiving-messages-in-mpi

MPI_Finalize()（尚不清楚是否一定要求调用）清除进程中所有的MPI状态量，类似于退出MPI环境，在该进程中，之后MPI的函数库中只能调用MPI_Get_version, MPI_Initialized, MPI_Finalized三个函数。

TensorFlow中的reduce函数

作者: Esper
时间: 2019-07-28
分类: 编程语言,Python,科学计算,软件
评论

改编自 https://blog.csdn.net/Vipbinn/article/details/82978003 ->来源追踪：https://blog.csdn.net/chengshuhao1991/article/details/78545723

在通过TensorFlow中文社区TensorFly对TensorFlow框架进行了解的时候，对于入门的第一个例子进行了逐行的学习，对于数据的生成、表示，以及各个函数的作用有了一定的认识。其中reduce_mean()函数的定义和作用让我觉得很有意思，但又无法确认对其的理解，在网络上浏览了一些博客，发现有不少与我的理解是相同的，因此记录下来。

使用任意具有代码补全功能的IDE，在完成导入工作（即import tensorflow as tf）后，输入tf.reduce_，会得到大量reduce开头的函数补全提示，其中就包含reduce_mean()。

文档中列出的所有操作为： reduce_all(...) 逻辑与 reduce_any(...) 逻辑或 reduce_euclidean_norm(...) 欧几里得范数（Euclidean norm of elements）->\sqrt{\sigma_{i=1}^{n} x_{i}^{2}} reduce_logsumexp(...) 如同名字，先取指数幂，求和后取对数 -> \log_{10} \sigma_{i=1}^{n} e^{x} reduce_max(...) 最大值 reduce_mean(...) 平均值 reduce_min(...) 最小值 reduce_prod(...) 乘积 reduce_std(...) 标准差 reduce_sum(...) 求和 reduce_variance(...) 方差

其中关于reduce_mean()，官方给出的解释如下：

tf.math.reduce_mean(
    input_tensor,
    axis=None,
    keepdims=None,
    name=None,
    reduction_indices=None,
    keep_dims=None
)
Reduces input_tensor along the dimensions given in axis. Unless keepdims is true, the rank of the tensor is reduced by 1 for each entry in axis. If keepdims is true, the reduced dimensions are retained with length 1.

If axis is None, all dimensions are reduced, and a tensor with a single element is returned.

其中，axis参数指定了计算过程中需要“降维”的维度，若是不传值的话，默认对全部维度采取降维操作，返回的是一个单独的值（维度为0），否则将按照指定的维度执行降维操作。而keepdims参数则用于申明要求在操作过程中不降低维度，由于各类reduce操作均属于聚合操作，因而该参数的实际含义为在计算完成后，为其保留一对方括号（即一个维度）。

咕果的开发团队把之前版本的参数名keep_dims改为了keepdims，所以如果使用的是比较老的版本的话，可能需要考虑改一下函数名= =（还算良心地没有直接去除对老参数名的支持）

在文档给出的例子中，使用输入张量

x = tf.constant(
  [[1., 1.],
   [2., 2.]]
)

对于两个常用参数（axis, keepdims）的测试，结果分别如下：不传值的情况下：

>>> op = tf.reduce_mean(x)
>>> sess.run(op)
1.5

指定axis的情况下：

>>> op = tf.reduce_mean(x, axis = 0)
>>> sess.run(op)
array([1.5, 1.5], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [1])
>>> sess.run(op)
array([1., 2.], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [0, 1])
>>> sess.run(op)
1.5

指定keepdims=True，即保留维度的情况下：

>>> op = tf.reduce_mean(x, keepdims = True)
>>> sess.run(op)
array([[1.5]], dtype=float32)

>>> op = tf.reduce_mean(x, axis = [1], keepdims = True)
>>> sess.run(op)
array([[1.],
       [2.]], dtype=float32)

由此，两个常用参数与函数本身的作用就能够比较清晰地展示出来了。

那么，回到标题：既然都是聚合函数，为什么要在函数名前加一个reduce_前缀呢？根据上文的描述，答案应该是比较清晰了：在进行了这些聚合操作之后，TensorFlow会默认将结果作为数据返回，也就是说，不论你的axis参数填了没，填了什么，在输入张量的至少某一个维度，一定会进行聚合操作，而聚合操作之后，数据合而为一，降低了输入张量的维度。而在英语中，reduce作为动词，有着减少，缩小（尺寸、数量、价格等）的意思，在此可以引申为在维度数量上的缩小。这样理解之后，看着函数名，对于其记忆和功能的推测就轻松多了。

TensorFlow入门

作者: Esper
时间: 2019-07-24
分类: 编程语言,Python,科学计算,软件
评论

基本的数值计算相关操作

摘自 https://blog.csdn.net/zywvvd/article/details/78593618 一般前提条件为参与运算的数据类型相同。这些操作可以直接在tensorflow.Session中执行。

    # 常量的定义
    # 其中若data为浮点数，而不显式声明dtype的话，dtype将被隐式地设定为tf.float32
    tf.constant(data, dtype)

    # 变量类型转换
    tf.cast(data, dtype)

    # 算术操作符：+ - * / % 
    tf.add(x, y, name=None)        # 加法(支持广播)
    tf.subtract(x, y, name=None)   # 减法
    tf.multiply(x, y, name=None)   # 元素级乘法 -> 矩阵乘法为tf.matmul()
    tf.divide(x, y, name=None)     # 浮点除法, 返回浮点数
    tf.mod(x, y, name=None)        # 取余

    # 幂指对数操作符：^ ^2 ^0.5 e^ ln 
    tf.pow(x, y, name=None)        # 幂次方
    tf.square(x, name=None)        # 平方
    tf.sqrt(x, name=None)          # 开根号，必须传入浮点数或复数
    tf.exp(x, name=None)           # 计算 e 的次方
    tf.log(x, name=None)           # 以 e 为底，必须传入浮点数或复数

    # 取符号、负、倒数、绝对值、近似、两数中较大/小的
    tf.negative(x, name=None)      # 取负(y = -x)
    tf.sign(x, name=None)          # 返回 x 的符号
    tf.reciprocal(x, name=None)    # 取倒数
    tf.abs(x, name=None)           # 求绝对值
    tf.round(x, name=None)         # 四舍五入
    tf.ceil(x, name=None)          # 向上取整
    tf.floor(x, name=None)         # 向下取整
    tf.rint(x, name=None)          # 取最接近的整数 
    tf.maximum(x, y, name=None)    # 返回两tensor中的最大值 (x > y ? x : y)
    tf.minimum(x, y, name=None)    # 返回两tensor中的最小值 (x < y ? x : y)

    # 三角函数和反三角函数
    tf.cos(x, name=None)    
    tf.sin(x, name=None)    
    tf.tan(x, name=None)    
    tf.acos(x, name=None)
    tf.asin(x, name=None)
    tf.atan(x, name=None)   

    # 其它
    tf.div(x, y, name=None)  # python 2.7 除法, x/y-->int or x/float(y)-->float
    tf.truediv(x, y, name=None) # python 3 除法, x/y-->float
    tf.floordiv(x, y, name=None)  # python 3 除法, x//y-->int
    tf.realdiv(x, y, name=None)
    tf.truncatediv(x, y, name=None)
    tf.floor_div(x, y, name=None)
    tf.truncatemod(x, y, name=None)
    tf.floormod(x, y, name=None)
    tf.cross(x, y, name=None)
    tf.add_n(inputs, name=None)  # inputs: A list of Tensor objects, each with same shape and type
    tf.squared_difference(x, y, name=None)

需要注意的一点是，由于TensorFlow的编程模型为流图模式，实际上在运行过程中每个张量都只会被计算一次，因而每次定义新Tensor的时候，只是会把旧Tensor的引用去除，旧Tensor的操作还是会在流图中运行。因而，若是定义了一个语法错误的Tensor的话就麻烦了，会直接报错。。。（惨痛的教训）
20190724 目前还没发现Python可以从流图中删除Tensor的方法，StackOverflow和GitHub上都说没有可行的办法，“没有办法干净利落地从流图中删除一个结点”。因而只有另一个方法：在必要情况下换用新图。使用tf.reset_default_graph()也没有用，根据实测，它只会“清空”默认图，可以定义新变量，但是只能运行旧的流图。~~也就是说实际上鸟用没有~~

变量与作用域

改编自https://www.jianshu.com/p/2061b221cd8f , https://www.cnblogs.com/esCharacter/p/7872064.html 根据定义，tensorflow.Variable可以用于定义一个变量。变量之间的运算被定义为Tensor，中文名称为张量，是物理学中一种不随坐标系改变而发生变化的物理量，在TensorFlow中为运算操作的表达方式。（然而由于在下数学能力实在缺乏，只能Python编程中近似将其理解为多维矩阵）使用Variable类的构造函数进行变量定义要求非空的初始化值。对应有一个方法可以达到相似的目的：tensorflow.get_variable()。两者的联系与区别如下：

	`tensorflow.Variable()`	`tensorflow.get_variable()`
命名重复	新变量自动重命名	报错
对象引用	每次调用创建新对象	在同一作用域下可以引用同名对象

根据作者描述，在通过tensorflow.variable_scope()定义作用域后，可以通过tensorflow.get_variable()进行变量的重用。其意义在于，可以通过作用域的临时定义（with tf.Graph().as_default():）进行上下文的切换，提供了便捷的变量存取方法。

tensorflow.Variable(tensorflow.Tensor)语句只会构建计算图。这些tensorflow.Tensor对象仅代表将要运行的操作的结果，是一种流图语言的定义语句，因而并不可以直接输出，需要在tensorflow.Session里运行后获得结果。返回值为numpy.ndarray格式。部分代码如下：

a = tf.Variable([[1,2],[3,4]], name='a')
sess.run(a)

完整执行过程将于下一节 [tensorflow“执行器” session] 中讲述。

tensorflow“执行器” `Session`

根据字面意义上理解，session可以理解为会话，也就是说相当于启动了一个“执行器”。以我初学者的个人简介来看，就像是一套净化水装置的入口开关开启，接下来就可以装入数据进行处理了。上一节 [变量与作用域] 中的sess就是这里的tensorflow.Session。sess的创建方式很简单：

import tensorflow as tf

sess = tf.Session()

但是若是在创建完Session之后将上一节的代码复制粘贴入运行，会出现这么一个问题：

tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value Variable

根据字面意思，显然是变量未初始化。若是需要使用tensorflow.Variable一类的对象变量的话，需要先在Session中进行初始化：

sess.run(tf.global_variables_initializer())

然后可以获得结果：

>>> sess.run(a)
array([[1, 2],
       [3, 4]])

可以使用sess.close()手动关闭Session。虽然GPU指示器显示Python仍然在占用cpu，但是重新建立会话

摘自官方文档：

可以将多个张量传递给tf.Session.run。run方法以透明方式处理元组或字典的任何组合，如下例所示：
print(sess.run({'ab':(a, b), 'total':total}))
它返回的结果拥有相同的布局结构：
{'total': 7.0, 'ab': (3.0, 4.0)}

因为字典没有排序规则，所以实际上对于使用影响不大。

限制运行时GPU内存占用的方法：

import tensorflow as tf
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.3
sess = tf.Session(config=config)

通过设置per_process_gpu_memory_fraction来限制GPU内存的使用比例。

numpy的广播(broadcasting)机制

作者: Esper
时间: 2019-07-23
分类: 编程语言,Python,科学计算,软件
评论

根据个人理解，其本质上是对于某些特殊的、形状不相符的数组进行一定规则的变化，使得数组间满足矩阵运算的规则。（说不定也可以理解为是简化输入的一种方式？）

首先说一句，似乎现在网上很多博客都喜欢把多维数组的维度单独称为轴。。。 ~~为啥不干脆叫多轴数组算了~~

根据https://www.cnblogs.com/yangmang/p/7125458.html的介绍，广播的发生条件可以用如下方法判断：将两个多维数组的维度数组后端对齐，依次从后往前比较，若是都满足以下条件则可以进行广播：

维度的大小（轴长）相等；
其中一个多维数组的维度大小为1（至少其中一个多维数组在该维度的轴长为1）；
其中一个多维数组不存在该维度。

举例如下：

shape(5, 4, 3, 2, 1)
shape(   4, 2, 1, 1)

按照从右往左进行计数的话，有：第一维满足条件1、2；第二维满足条件2；第三维不满足任何条件；第四维满足条件1；第五维满足条件3。因而，由于第三维不满足任何条件，这两个多维数组间在运算时不能发生广播；但若去除第三维，可以由第二个数组进行广播，使用尾部剩余维度的数据填充，直至与第一个数组形状相同，然后进行元素级别的运算。

数组 [[[[1,2], [3,4]],

[[1,2], [3,4]]],

[[[1,2], [3,4]],

[[1,2], [3,4]]],

[[[1,2], [3,4]],

[[1,2], [3,4]]],

[[[1,2], [3,4]],

[[1,2], [3,4]]]] 可以与数组 [[[1],[2]]] 进行相加操作，结果为上面数组中的[[1,2],[3,4]]单元全部变为[[2,3],[5,6]]。有没有两个多维数组间的相互传播有待测试。