2019年9月

最近再考虑用Mathematica实现一些基本的机器学习功能。因为在初步接触到科学计算工具的时候,显然会发现Mathematica的语言更友好,至少详细的离线文档和中文的即时函数名显示已经让我觉得很好了。Matlab没怎么用过新版本的,不过似乎好像周围人用的都是英文版。。这就导致我下定决心,同为多功能的科学计算工具,一定要在Mathematica上实现Matlab上的,至少大部分功能。

然后问题出在了循环上。在执行代码的时候,卡在For循环这里只执行一遍。自己试了很久,发现跟之间建立的矩阵变量有关,只要一使用这些变量,不但只执行一遍,甚至还会修改循环变量的显示值。

大致代码:

data := {{x1, x2, x3, y}, ...}
dataX := data[[1;;3]]
dataY := data[[4]]

For[a = 1, a <= 10,
  dataX;
  Print[a];
  a += 1;
]

其中只有dataX的一行用于省略表示含有该数据输入的参数更新过程。很奇怪,在我用的时候(版本10.4),只要在循环里使用了dataX或者dataY的时候,循环只会执行一次,出来的结果也十分奇怪(不可描述),且输出a的值固定变为了10。包括自己debug和在某度上查找的结果,都无法解释这个问题。

然后我又来推销stackoverflow了: https://mathematica.stackexchange.com/questions/134609/why-should-i-avoid-the-for-loop-in-mathematica

For循环语法:

For[循环变量初值,循环结束条件,循环体(分号分隔多语句)]

Do循环语法:

Do[循环体(分号分隔多语句),{循环变量名,初值,结束值(包含)}]

这里提到说,Mathematica里的For循环的循环变量的作用域是开放的,和传统的C/C++不一样,在外部也能调用。要达到相同的效果,需要使用Module函数将其声明为局部变量。然后就推荐了Do循环。Do循环有着类似于我们常用的C语言for循环的功能,以变量的初始值和结束值为条件,执行循环体,而且还可以直接支持多变量循环。相比于For循环,Do循环的循环变量是局部的。

然后就有了:

...
Do[
  dataX;
  Print[a],
  {a, 1, 10}
]

换了循环语句之后,似乎问题就解决了。。

https://www.cnblogs.com/fqucuo/p/4887083.html

问题出在Debug配置的-Zi选项上。这个选项用于生成目标项目的调试符号。 我产生该警告的过程是,使用CMake配置第三方项目,编译并安装后,删除了编译时的文件夹。 因而猜测,调试符号并不是嵌入到可执行文件(或者库)里的。 MSVC应该是在链接静态库文件的时候,根据写在文件里的信息去寻找(应该也是PATH里的)对应的符号数据库文件吧。(猜测一下,那岂不是把pdb文件复制到lib对应目录下就好了么) 解决方法之一如引用中所说,删除-Zi选项,不生成额外的调试文件,就可以避免MSVC找不到对应的符号文件而报出的警告。 另一个解决方法,个人认为,如果不是在第三方库的初学阶段,可以考虑将该库的源码添加至项目中,作为主项目的依赖随项目一起编译,然后配置一下输出目录和输出文件名和主项目在同一目录即可。这样至少项目树结构会显得清晰一些。(应该不会有人不知道在没有更新目标target的选项或是源文件的情况下,VS是可以自动跳过该目标的重新编译的吧)

https://dblp.org/rec/conf/cluster/ParkS09

该论文属于实验报告类型,主要内容是对于科研程序这种磁盘读写密集型的系统在SSD上的实际性能进行了一个定量的测试。 论文的发表时间为2009年,也就是实验进行的时间理论上不会晚于2009年。在后来查其他几篇论文的时候,发现作者之一的Stan Park是HP实验室的。

在该文章中,作者使用了三种不同技术的存储介质(两种类型,机械硬盘和半导体闪存),分别是代表机械硬盘的西数鱼子酱WD Caviar SE,SLC的Mtron Pro 7500和MLC的Intel X25-M。MLC里的M指的是Multiple,即相对于(当时的)传统SLC来说,使用一个存储单元存储多位而不是一位二进制数据。(但是就当时(2009年)的科技水平而言,当时最多应该是两位了吧,尤其是这还是企业级的;到了2018/19年TLC才在消费领域普及)要不重新起个名叫BLC算了

然后作者使用了来自Los Alamos和Sandia两个美国国家实验室的I/O数据记录(然而地址都已经打不开了= =),在自己的平台上重放以进行性能对比。当然,除了存储介质不一样(还有存储控制器?),其他变量都是控制了的。结果表明,SSD的性能比机械硬盘提升并不大,西数HDD甚至还在某些场景下性能超过了Mtron的SLC。但是,I/O效率本应低于SLC的Intel MLC却在性能上远远超出了Mtron SLC。根据作者分析,原因如下:

  1. 根据当前NAND闪存芯片的组织方式和操作原理来看,读取和写入的规则是不一致的。虽然读取和写入都是按照文件系统的来进行的,但是对于NAND闪存芯片的写入必须按照的方式来进行。分别是从逻辑和物理的角度上定义的:页的大小由文件系统决定,作为从该逻辑分区中一次存取的元数据量大小(即逻辑I/O的最小单位);块的大小由闪存芯片的固件决定,作为一次物理上数据记录的元数据量大小。仔细思考会发现这两个参数对应的系统效能变化函数(假想)并不会是单调的:过小的页/块会显著地增大地址的数量,过长的地址编码不利于提升数据的有效传输率;过大的页/块则会因为物理传输速率的有限,增大读写时延,该缺陷会在大量的随机读写中明显地表现出来。至少就目前来看,可能是根据计算机行业的大量测试得出的较优结果,页的大小是略小于块的,该比例不会超过二进制的十个数量级。因而可见,最大达到2^10倍的数据量差异,时延差距会有多大。。

  2. SSD连接到计算机的方法是分层的:闪存芯片-Flash Translation Layer(FTL)-计算机外围I/O。因而,FTL在其中扮演了一个很关键的角色,上述提到的块操作就是由它来完成的。顾名思义,闪存翻译(映射)层负责提供计算机能够读取使用的逻辑存储结构,一方面负责操作闪存,一方面与计算机交换存储元信息和数据。作者认为,正是这样的分层结构,成为了闪存I/O优化的一个阻碍:FTL不知道自己被要求读写的数据的语义,只能机械地按照指令存取,同时进行固件中设定的垃圾回收策略;计算机不了解数据的真实存储布局,只能机械地按照程序流程将指令近乎顺序地(系统中可能有I/O调度方案,对I/O请求进行一定程度的重排)发送给FTL。有成语云“因地制宜”,我猜测作者在此同样认为,能够了解实际情况的话,能够使用某些算法对I/O性能有更进一步的提高。(此外私以为,在计算机和FTL尚无法直接沟通的当下,FTL(主控?)的I/O算法同样对性能有很大的影响。)文末提到了不使用文件系统日志来维护当前逻辑分区的文件列表,我就很好奇,不用日志咋办?查一个文件扫一次盘吗??

  3. 实验中的Intel MLC性能超过Mtron SLC的原因很简单,根据作者的解释,因为Mtron Pro 7500是四通道总线,Intel X25-M是十通道总线。看来这时候还不是很擅长挤牙膏啊

最新版的网易云音乐(1.2.1)使用到了deepin自己编写的qcef,该组建的功能是为第三方软件提供内嵌chrome浏览器的支持。由于是deepin自己写的,dnf里面还没有形成相应的包,所以需要自己编译。

安装了qt库之后,使用cmake开始编译,遇到了这么一个问题:

fatal error: QtGui/private/qguiapplication_p.h not found
#include <QtGui/private/qguiapplication_p.h>
          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

安装了qt5的devel包也没用。后来发现private headers被放在了这么一个奇怪的包里:qt5-qtbase-private-devel

安装完这个包,编译继续,正常完成,网易云音乐可以使用。

此外,ubuntu包里的libs就可以删除了,因为可以通过在系统里用dnf手动杆状需要的依赖库。 数据文件可以通过ar x命令解压,然后在里面的data.tar.gz里。