【小工具】python 携手R 计算两组数据相关性

假如你有两个表格：每个表格中有至少两列或者好多列，如下图例子中用到的表格只有3列，以空格分隔，第一列是名称，第二列是观察值，第三列也是观测值。

10年的云南网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。网络营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整云南建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。成都创新互联从事“云南网站设计”,“云南网站推广”以来，每个客户项目都认真落实执行。

你想根据两个文件中共有的某一列的值算相关性：

首先根据两个文件中共同列求交集，然后输出交集部分的指定列的信息。

比如，两个文件中都有第一列的信息，然后输出第一个文件中第三列，和第二个文件中第三列的信息。

输出文件为一个新生成的表格。

该表格具有三列：

第一列为两个文件中共有列的共有数据；

第二列和第三列分别是来自第一个文件中指定列和第二个文件中的指定列。

然后用第二个脚本（R脚本）画相关性图：

画相关性的脚本也支持将数据取对数log或者非log形式：

基本参数 -a -b，两个输入文件，必须加

选择性参数：这些参数都有默认值，看清楚即可。

-ka,-kb 表示a文件的key列，b文件的key列，就是共有列，要以这两列为key去提取。

-va,-vb 表示a文件的value列，b文件的value列，就是你要比较的数据的值所在的列，可以使数字类型，也可以是字符串类型的值。

-sa,-sb 表示a文件的分割符，b文件的分隔符。

-headera,-headerb 加了哪个表示那个文件有header，不加表示没有header。

-f [布尔类型] 表示是否计算数值占总体的比例，默认False不计算。

-u [布尔类型] 表示输出key列的并集（合集），默认不加-u参数。

1）美化图片，配色，线条需要美化一下下。

2）偏离点如何查看，什么意义？

*20200501：支持以“comma”，“,”分割的文件，只需在参数-sa或-sb中设置comma即可

该脚本已经发展成为了根据两个文件中共有的某一列来提取相关信息的脚本。

这两个脚本在个人的项目中非常实用。经常用来做相关性图，因此写成通用工具更加方便。

当然如果你已经有了第一步结果的表格，直接用第二个R脚本画图即可。

python脚本使用的全部为python内置的包，无需安装其他包，测试使用的是python 2.7及python3中都适用。

R脚本需要安装ggplot2. 测试使用的R版本为 3.5.1

需要脚本的点赞并私信我哦。

如何用python进行相关性分析

用python进行相关性分析应该主要根据数据的内容进行分析，如果是带标注的数据可以通过模型训练的方式来获取进行分析，找出对目标结果有最大影响的因素。如果没有标注的话，可以用python构建网络知识图谱手动分析，或者自己构建数据表格，人为观察数据分布图找到其中规律。一般来说相关性分析，主要依靠人为的观察，并用数据和模型来辅助计算，从而获得相对准确的结果。

python相关性分析如何生成两个相关性最强的两门？

方法/步骤

第一步我们首先需要知道相关性主要有两个方向，一个是正方向一个是负方向，相关性系数是衡量两个变量之间影响程度，如下图所示：

请点击输入图片描述

第二步下面通过公式计算两个变量之间相关性系数，代码如下：

import numpy

import pandas

X = [52,19,7,33,2]

Y = [162,61,22,100,6]

#公式计算#均值XMean = numpy.mean(X)

YMean = numpy.mean(Y)

#标准差XSD = numpy.std(X)

YSD = numpy.std(Y)

#z分数ZX = (X-XMean)/XSD

ZY = (Y-YMean)/YSD#相关系数

r = numpy.sum(ZX*ZY)/(len(X))

print(r)

请点击输入图片描述

第三步运行程序，可以得到相关性系数r ，r的值是0.999674032661831，相关性非常高，如下图所示：

请点击输入图片描述

第四步我们也可以通过numpy的corrcoef方法计算相关性系数，输入代码

t=numpy.corrcoef(X,Y)

print(t)

可以看到X与Y和Y与X的相关性系数，如下图所示：

请点击输入图片描述

请点击输入图片描述

第五步我们也可以通过pandas的corr方法计算相关性系数，代码

data = pandas.DataFrame({'X':X,'Y':Y})

t2=data.corr()

print(t2)

得到了相同的结果，如下图所示：

请点击输入图片描述

请点击输入图片描述

初学python，怎样用python做pearson相关系数的检验呢，求指导啊

scipy.stats.pearsonr(x, y)

x和y为相同长度的两组数据

返回值 r, p-value

r是相关系数，取值-1~1. 表示线性相关程度

p-value越小，表示相关程度越显著。按照文档的说法“The p-values are not entirely reliable but are probably reasonable for datasets larger than 500 or so.”，p-value在500个样本值以上有较高的可靠性

如何利用python进行数据的相关性分析

1. 运算优先级

括号、指数、乘、除、加、减

2

如果你使用了非 ASCII 字符而且碰到了编码错误，记得在最顶端加一行 # -- coding: utf-8 --

3. Python格式化字符

使用更多的格式化字符。例如 %r 就是是非常有用的一个，它的含义是“不管什么都打印出来”。

%s -- string

%% 百分号标记 #就是输出一个%

%c 字符及其ASCII码

%s 字符串

%d 有符号整数(十进制)

%u 无符号整数(十进制)

%o 无符号整数(八进制)

%x 无符号整数(十六进制)

%X 无符号整数(十六进制大写字符)

%e 浮点数字(科学计数法)

%E 浮点数字(科学计数法，用E代替e)

%f 浮点数字(用小数点符号)

%g 浮点数字(根据值的大小采用%e或%f)

%G 浮点数字(类似于%g)

%p 指针(用十六进制打印值的内存地址)

%n 存储输出字符的数量放进参数列表的下一个变量中

%c 转换成字符（ASCII 码值，或者长度为一的字符串）

%r 优先用repr()函数进行字符串转换（Python2.0新增）

%s 优先用str()函数进行字符串转换

%d / %i 转成有符号十进制数

%u 转成无符号十进制数

%o 转成无符号八进制数

%x / %X (Unsigned)转成无符号十六进制数（x / X 代表转换后的十六进制字符的大小写）

%e / %E 转成科学计数法（e / E控制输出e / E）

%f / %F 转成浮点数（小数部分自然截断）

%g / %G : %e和%f / %E和%F 的简写

%% 输出%

辅助符号 说明

* 定义宽度或者小数点精度

- 用做左对齐

+ 在正数前面显示加号(+)

sp 在正数前面显示空格

# 在八进制数前面显示零(0)，在十六进制前面显示“0x”或者“0X”（取决于用的是“x”还是“X”）

0 显示的数字前面填充“0”而不是默认的空格

m.n m 是显示的最小总宽度，n 是小数点后的位数（如果可用的话）

名称栏目：Python求相关性函数 python 相关性系数
分享路径：http://hbruida.cn/article/dooodop.html