对于从多维numpy数组行中选择随机窗口感兴趣的读者,本文将会是一篇不错的选择,我们将详细介绍numpy多维数组,并为您提供关于numpy数组行列拼接、python–从N维Numpy数组中仅获取非零子
对于从多维numpy数组行中选择随机窗口感兴趣的读者,本文将会是一篇不错的选择,我们将详细介绍numpy 多维数组,并为您提供关于numpy数组行列拼接、python – 从N维Numpy数组中仅获取非零子数组、python – 在多维numpy数组中快速迭代向量、python – 根据条件在Numpy数组中选择随机坐标的有用信息。
本文目录一览:- 从多维numpy数组行中选择随机窗口(numpy 多维数组)
- numpy数组行列拼接
- python – 从N维Numpy数组中仅获取非零子数组
- python – 在多维numpy数组中快速迭代向量
- python – 根据条件在Numpy数组中选择随机坐标
从多维numpy数组行中选择随机窗口(numpy 多维数组)
我有一个很大的数组,其中每一行都是一个时间序列,因此需要保持秩序。
我想为每行选择一个给定大小的随机窗口。
例:
>>>import numpy as np>>>arr = np.array(range(42)).reshape(6,7)>>>arrarray([[ 0, 1, 2, 3, 4, 5, 6], [ 7, 8, 9, 10, 11, 12, 13], [14, 15, 16, 17, 18, 19, 20], [21, 22, 23, 24, 25, 26, 27], [28, 29, 30, 31, 32, 33, 34], [35, 36, 37, 38, 39, 40, 41]])>>># What I want to do:>>>select_random_windows(arr, window_size=3)array([[ 1, 2, 3], [11, 12, 13], [14, 15, 16], [22, 23, 24], [38, 39, 40]])
在我看来,理想的解决方案是:
def select_random_windows(arr, window_size): offsets = np.random.randint(0, arr.shape[0] - window_size, size = arr.shape[1]) return arr[:, offsets: offsets + window_size]
但不幸的是,这不起作用
我现在要进行的操作非常慢:
def select_random_windows(arr, wndow_size): result = [] offsets = np.random.randint(0, arr.shape[0]-window_size, size = arr.shape[1]) for row, offset in enumerate(start_indices): result.append(arr[row][offset: offset + window_size]) return np.array(result)
当然,我可以对列表进行理解(并获得最小的速度提升),但是我想知道是否有某种超级聪明的numpy向量化方法可以做到这一点。
答案1
小编典典这是一种杠杆作用np.lib.stride_tricks.as_strided
-
def random_windows_per_row_strided(arr, W=3): idx = np.random.randint(0,arr.shape[1]-W+1, arr.shape[0]) strided = np.lib.stride_tricks.as_strided m,n = arr.shape s0,s1 = arr.strides windows = strided(arr, shape=(m,n-W+1,W), strides=(s0,s1,s1)) return windows[np.arange(len(idx)), idx]
在具有10,000
行的更大数组上进行运行时测试-
In [469]: arr = np.random.rand(100000,100)# @Psidom''s solnIn [470]: %timeit select_random_windows(arr, window_size=3)100 loops, best of 3: 7.41 ms per loopIn [471]: %timeit random_windows_per_row_strided(arr, W=3)100 loops, best of 3: 6.84 ms per loop# @Psidom''s solnIn [472]: %timeit select_random_windows(arr, window_size=30)10 loops, best of 3: 26.8 ms per loopIn [473]: %timeit random_windows_per_row_strided(arr, W=30)100 loops, best of 3: 9.65 ms per loop# @Psidom''s solnIn [474]: %timeit select_random_windows(arr, window_size=50)10 loops, best of 3: 41.8 ms per loopIn [475]: %timeit random_windows_per_row_strided(arr, W=50)100 loops, best of 3: 10 ms per loop
numpy数组行列拼接
方法一
使用 np.c_[]
和 np.r_[]
分别添加行和列
方法二
np.concatenate((a1, a2, …), axis=0)
方法三
使用 np.insert(a, 0, values=b, axis=1)
ps:只能插入行向量?
方法四
使用np.column_stack((a,b))
import numpy as np
a = np.arange(9).reshape(3, 3)
b = np.zeros((1, 3))
c = np.ones((3, 1))
np.r_[a, b]
np.c_[a, c]
np.concatenate((a, b), axis=0)
np.concatenate((a, c), axis=1)
np.insert(a, 0, values=b, axis=0)
np.insert(a, 0, values=b, axis=1) # 这里也是插入b(行向量)
np.column_stack((a, c))
python – 从N维Numpy数组中仅获取非零子数组
基本上’arr’有1756020个小阵列形状(28,4).在1756020阵列中,967210是“全零”,788810具有所有非零值.我想删除所有967210’全零’小数组.我使用条件arr [i] == 0.any()编写了一个if else循环,但这需要花费很多时间.有没有更好的方法呢?
解决方法
numpy.any
.
# set up 4d array of ones A = np.ones((5,3,4)) # make second of shape (3,4) = 0 A[1] = 0 # or A[1,...] = 0; or A[1,:,:] = 0 # find out which are non-zero res = np.any(A,axis=(1,2,3)) print(res) [True False True True True]
此功能在numpy v0.17向上提供.根据docs:
axis : None or int or tuple of ints,optional
If this is a tuple of ints,a reduction is performed on multiple axes,instead of a single axis or all the axes as before.
python – 在多维numpy数组中快速迭代向量
假设我有一个函数f(x,y),它采用形状(3,)的向量x和形状(10,)的向量y,并返回形状(10,)的向量.现在我有两个数组X和Y形状sx(3,)和sy(10,),其中sx和sy是两个可以一起广播的形状(即sx == sy,或者当轴不同时,一个两者的长度为1,在这种情况下将重复).我想生成一个形状为zs(10,)的数组Z,其中zs是带有sy的sx广播的形状. Z中的每个10维向量等于X和Y中相应位置处的向量x和y的f(x,y).
我查看了np.nditer,虽然它与cython一起运行很好(参见链接页面的底部),但它似乎不允许迭代来自多维数组的向量而不是元素.我也看了index grids,但问题是当索引的数量等于数组的维数时,cython索引只是快速的,并且存储为cython整数而不是python元组.
任何帮助是极大的赞赏!
解决方法
> Writing your own ufunc
> Building a ufunc from scratch
第二个例子使用Cython并在gufunc上有一些材料.要完全走下gufunc之路,您需要阅读numpy C api文档中的相应部分:
> Generalized Universal Function API
我不知道在Cython中编码gufuncs的任何例子,尽管遵循上面的例子并不难.如果你想看看用C编码的gufunc,你可以看看np.linalg here的源代码,虽然这可能是一个令人生畏的经历.前段时间我厌倦了我的本地Python用户组,给出了关于使用C扩展numpy的讨论,主要是关于在C中编写gufunc,该演讲的幻灯片和提供新gufunc的示例python模块可以在here找到.
python – 根据条件在Numpy数组中选择随机坐标
这是一个带有5×5图像和2×2卷积矩阵的小例子,我想在我的最后一个矩阵中有一个随机坐标1(因为该补丁中最多有1个0.5)
图片:
1 0.5 0.5 0 1 0.5 0.5 0 1 1 0.5 0.5 1 1 0.5 0.5 1 0 0 1 1 1 0 0 1
卷积矩阵:
1 1 1 1
复杂的图像:
3 3 1 0 4 2 0 1 3 1 0 1 1 0 0 0
条件为< = 1:
0 0 1 1 0 0 1 1 0 1 1 1 1 1 1 1
如何有效地获得1s的均匀分布坐标?
解决方法
#we grab the indexes of the ones x,y = np.where(convoluted_image <=1) #we chose one index randomly i = np.random.randint(len(x)) random_pos = [x[i],y[i]]
我们今天的关于从多维numpy数组行中选择随机窗口和numpy 多维数组的分享就到这里,谢谢您的阅读,如果想了解更多关于numpy数组行列拼接、python – 从N维Numpy数组中仅获取非零子数组、python – 在多维numpy数组中快速迭代向量、python – 根据条件在Numpy数组中选择随机坐标的相关信息,可以在本站进行搜索。
本文标签: