GVKun编程网logo

从多维numpy数组行中选择随机窗口(numpy 多维数组)

18

对于从多维numpy数组行中选择随机窗口感兴趣的读者,本文将会是一篇不错的选择,我们将详细介绍numpy多维数组,并为您提供关于numpy数组行列拼接、python–从N维Numpy数组中仅获取非零子

对于从多维numpy数组行中选择随机窗口感兴趣的读者,本文将会是一篇不错的选择,我们将详细介绍numpy 多维数组,并为您提供关于numpy数组行列拼接、python – 从N维Numpy数组中仅获取非零子数组、python – 在多维numpy数组中快速迭代向量、python – 根据条件在Numpy数组中选择随机坐标的有用信息。

本文目录一览:

从多维numpy数组行中选择随机窗口(numpy 多维数组)

从多维numpy数组行中选择随机窗口(numpy 多维数组)

我有一个很大的数组,其中每一行都是一个时间序列,因此需要保持秩序。

我想为每行选择一个给定大小的随机窗口。

例:

>>>import numpy as np>>>arr = np.array(range(42)).reshape(6,7)>>>arrarray([[ 0,  1,  2,  3,  4,  5,  6],       [ 7,  8,  9, 10, 11, 12, 13],       [14, 15, 16, 17, 18, 19, 20],       [21, 22, 23, 24, 25, 26, 27],       [28, 29, 30, 31, 32, 33, 34],       [35, 36, 37, 38, 39, 40, 41]])>>># What I want to do:>>>select_random_windows(arr, window_size=3)array([[ 1,  2,  3],       [11, 12, 13],       [14, 15, 16],       [22, 23, 24],       [38, 39, 40]])

在我看来,理想的解决方案是:

def select_random_windows(arr, window_size):    offsets = np.random.randint(0, arr.shape[0] - window_size, size = arr.shape[1])    return arr[:, offsets: offsets + window_size]

但不幸的是,这不起作用

我现在要进行的操作非常慢:

def select_random_windows(arr, wndow_size):    result = []    offsets = np.random.randint(0, arr.shape[0]-window_size, size = arr.shape[1])    for row, offset in enumerate(start_indices):        result.append(arr[row][offset: offset + window_size])    return np.array(result)

当然,我可以对列表进行理解(并获得最小的速度提升),但是我想知道是否有某种超级聪明的numpy向量化方​​法可以做到这一点。

答案1

小编典典

这是一种杠杆作用np.lib.stride_tricks.as_strided-

def random_windows_per_row_strided(arr, W=3):    idx = np.random.randint(0,arr.shape[1]-W+1, arr.shape[0])    strided = np.lib.stride_tricks.as_strided     m,n = arr.shape    s0,s1 = arr.strides    windows = strided(arr, shape=(m,n-W+1,W), strides=(s0,s1,s1))    return windows[np.arange(len(idx)), idx]

在具有10,000行的更大数组上进行运行时测试-

In [469]: arr = np.random.rand(100000,100)# @Psidom''s solnIn [470]: %timeit select_random_windows(arr, window_size=3)100 loops, best of 3: 7.41 ms per loopIn [471]: %timeit random_windows_per_row_strided(arr, W=3)100 loops, best of 3: 6.84 ms per loop# @Psidom''s solnIn [472]: %timeit select_random_windows(arr, window_size=30)10 loops, best of 3: 26.8 ms per loopIn [473]: %timeit random_windows_per_row_strided(arr, W=30)100 loops, best of 3: 9.65 ms per loop# @Psidom''s solnIn [474]: %timeit select_random_windows(arr, window_size=50)10 loops, best of 3: 41.8 ms per loopIn [475]: %timeit random_windows_per_row_strided(arr, W=50)100 loops, best of 3: 10 ms per loop

numpy数组行列拼接

numpy数组行列拼接

方法一

使用 np.c_[] 和 np.r_[] 分别添加行和列

方法二

np.concatenate((a1, a2, …), axis=0)

方法三

使用 np.insert(a, 0, values=b, axis=1)

ps:只能插入行向量?

方法四

使用np.column_stack((a,b))

 

import numpy as np

a = np.arange(9).reshape(3, 3)
b = np.zeros((1, 3))
c = np.ones((3, 1))

np.r_[a, b]
np.c_[a, c]

np.concatenate((a, b), axis=0)
np.concatenate((a, c), axis=1)

np.insert(a, 0, values=b, axis=0)
np.insert(a, 0, values=b, axis=1)  # 这里也是插入b(行向量)

np.column_stack((a, c))

 

python – 从N维Numpy数组中仅获取非零子数组

python – 从N维Numpy数组中仅获取非零子数组

我有一个numpy数组’arr’形状(1756020,28,4).
基本上’arr’有1756020个小阵列形状(28,4).在1756020阵列中,967210是“全零”,788810具有所有非零值.我想删除所有967210’全零’小数组.我使用条件arr [i] == 0.any()编写了一个if else循环,但这需要花费很多时间.有没有更好的方法呢?

解决方法

向量化逻辑的一种方法是对包含未测试维度的轴使用带有元组参数的 numpy.any.

# set up 4d array of ones
A = np.ones((5,3,4))

# make second of shape (3,4) = 0
A[1] = 0  # or A[1,...] = 0; or A[1,:,:] = 0

# find out which are non-zero
res = np.any(A,axis=(1,2,3))

print(res)

[True False True True True]

此功能在numpy v0.17向上提供.根据docs:

axis : None or int or tuple of ints,optional

If this is a tuple of ints,a reduction is performed on multiple axes,instead of a single axis or all the axes as before.

python – 在多维numpy数组中快速迭代向量

python – 在多维numpy数组中快速迭代向量

我正在编写一些 python numpy cython代码,并试图找到在数组上进行以下迭代的最优雅和有效的方法:

假设我有一个函数f(x,y),它采用形状(3,)的向量x和形状(10,)的向量y,并返回形状(10,)的向量.现在我有两个数组X和Y形状sx(3,)和sy(10,),其中sx和sy是两个可以一起广播的形状(即sx == sy,或者当轴不同时,一个两者的长度为1,在这种情况下将重复).我想生成一个形状为zs(10,)的数组Z,其中zs是带有sy的sx广播的形状. Z中的每个10维向量等于X和Y中相应位置处的向量x和y的f(x,y).

我查看了np.nditer,虽然它与cython一起运行很好(参见链接页面的底部),但它似乎不允许迭代来自多维数组的向量而不是元素.我也看了index grids,但问题是当索引的数量等于数组的维数时,cython索引只是快速的,并且存储为cython整数而不是python元组.

任何帮助是极大的赞赏!

解决方法

您正在描述Numpy所谓的广义通用功能或gufunc.顾名思义,它是ufuncs的扩展.您可能希望从阅读这两个页面开始:

> Writing your own ufunc
> Building a ufunc from scratch

第二个例子使用Cython并在gufunc上有一些材料.要完全走下gufunc之路,您需要阅读numpy C api文档中的相应部分:

> Generalized Universal Function API

我不知道在Cython中编码gufuncs的任何例子,尽管遵循上面的例子并不难.如果你想看看用C编码的gufunc,你可以看看np.linalg here的源代码,虽然这可能是一个令人生畏的经历.前段时间我厌倦了我的本地Python用户组,给出了关于使用C扩展numpy的讨论,主要是关于在C中编写gufunc,该演讲的幻灯片和提供新gufunc的示例python模块可以在here找到.

python – 根据条件在Numpy数组中选择随机坐标

python – 根据条件在Numpy数组中选择随机坐标

我使用了convolution2d来生成关于局部模式条件的一些统计数据.为了完整,我正在使用图像,值为0.5是我的’灰色屏幕’,我不能在此之前使用蒙版(依赖于其他一些包).我想在我的图像中添加新对象,但它应该至少重叠75%的非灰色屏幕.让我们假设新对象是正方形,我将图像掩盖在灰色屏幕上与其余部分相比,使用填充1s的n矩阵进行2-d卷积,这样我就可以得到灰度像素数的总和.补丁.这一切都有效,所以我有一个矩阵,有合适的位置放置我的新对象.如何从该矩阵中有效地选择一个随机的?

这是一个带有5×5图像和2×2卷积矩阵的小例子,我想在我的最后一个矩阵中有一个随机坐标1(因为该补丁中最多有1个0.5)

图片:

1    0.5  0.5  0    1
0.5  0.5  0    1    1
0.5  0.5  1    1    0.5
0.5  1    0    0    1
1    1    0    0    1

卷积矩阵:

1    1 
1    1

复杂的图像:

3    3    1    0
4    2    0    1
3    1    0    1
1    0    0    0

条件为< = 1:

0    0    1    1
0    0    1    1
0    1    1    1
1    1    1    1

如何有效地获得1s的均匀分布坐标?

解决方法

np.where和np.random.randint应该做的诀窍:

#we grab the indexes of the ones
x,y = np.where(convoluted_image <=1)
#we chose one index randomly
i = np.random.randint(len(x))
random_pos = [x[i],y[i]]

我们今天的关于从多维numpy数组行中选择随机窗口numpy 多维数组的分享就到这里,谢谢您的阅读,如果想了解更多关于numpy数组行列拼接、python – 从N维Numpy数组中仅获取非零子数组、python – 在多维numpy数组中快速迭代向量、python – 根据条件在Numpy数组中选择随机坐标的相关信息,可以在本站进行搜索。

本文标签: