如果您想了解PandasDataFrame和NumPy数组的奇怪之处-df.to_numpy()、np.asarray(df)和np.array(df)给出了不同的内存使用情况的相关知识，那么本文是一

如果您想了解Pandas DataFrame 和 NumPy 数组的奇怪之处 - df.to_numpy()、np.asarray(df) 和 np.array(df) 给出了不同的内存使用情况的相关知识，那么本文是一篇不可错过的文章，我们将为您提供关于"ValueError: Failed to convert a NumPy array to an Tensor (Unsupported object type numpy.ndarray). 在 TensorFlow CNN 中进行图像分类、array – 为什么`Array(0,1,2)== Array(0,1,2)`不返回预期的结果？、Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？、Numpy 1-dim array vs 2-dim array，其中一个维度的长度为 1的有价值的信息。

• Pandas DataFrame 和 NumPy 数组的奇怪之处 - df.to_numpy()、np.asarray(df) 和 np.array(df) 给出了不同的内存使用情况
• "ValueError: Failed to convert a NumPy array to an Tensor (Unsupported object type numpy.ndarray). 在 TensorFlow CNN 中进行图像分类
• array – 为什么`Array(0,1,2)== Array(0,1,2)`不返回预期的结果？
• Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？
• Numpy 1-dim array vs 2-dim array，其中一个维度的长度为 1

Pandas DataFrame 和 NumPy 数组的奇怪之处 - df.to_numpy()、np.asarray(df) 和 np.array(df) 给出了不同的内存使用情况

如何解决Pandas DataFrame 和 NumPy 数组的奇怪之处 - df.to_numpy()、np.asarray(df) 和 np.array(df) 给出了不同的内存使用情况

我正在将现有的 Pandas Dataframe 转换为 Numpy 数组。数据框没有 NaN 值并且不是稀疏填充的（从 .csv 文件读入）。另外，为了查看内存使用情况，我执行了以下操作：

sum(df.memory_usage)

2400128

sys.getsizeof(df)

2400144

以上16字节的小差异可以忽略不计，理解为使用sys.getsizeof和df.memory_usage求和时，大小计算不同，内存使用开销不同（供参考，{{ 1}} 或使用 df.info() 库。

现在，当将其转换为 Numpy 数组时，内存使用情况似乎存在巨大差异：

pandas_profiling

sys.getsizeof(np.array(df))

2400120

sys.getsizeof(df.to_numpy())

对我来说，这没有任何意义，因为两个数组的类型相同，大小和数据也相同：

120

np.array(df)

array([[1.0000e+00,2.0000e+04,2.0000e+00,...,0.0000e+00,1.0000e+00],[2.0000e+00,1.2000e+05,2.0000e+03,[3.0000e+00,9.0000e+04,1.0000e+03,5.0000e+03,0.0000e+00],[1.1998e+04,1.0000e+00,3.0000e+03,4.0000e+03,[1.1999e+04,2.8000e+05,3.5000e+02,2.0950e+03,[1.2000e+04,1.0000e+00]])

df.to_numpy() # or similarly,np.asarray(df)

我发现 array([[1.0000e+00,1.0000e+00]]) 使用 df.to_numpy() 来执行转换，所以我也尝试了这个：

np.asarray

sys.getsizeof(np.asarray(df))

120 和 np.asarray(df) 的总使用量为 120 字节，而 df.to_numpy() 为 2400120 字节！这没有任何意义！

两个数组都没有存储为稀疏数组，并且如上所示，具有相同的确切输出（通过检查类型，这是相同的）。

不知道如何解决这个问题，因为从内存的角度来看这似乎没有任何意义。我试图理解内存使用量的巨大差异，因为 np.array(df) 文件中的所有值都是整数或浮点数，并且不存在缺失值或 .csv 值。也许 NaN（因此 np.asarray(df)）在做与 df.to_numpy() 不同的事情，或者 np.array(df) 在做一些奇怪的事情，但我似乎无法解决这个问题。

解决方法

arr.nbytes    # 2400000

df.values
dt.to_numpy()

nparr1 = np.array(df)
nparr2 = df.to_numpy()

2400000

2400000

2400000

2400000

2400120

120

"ValueError: Failed to convert a NumPy array to an Tensor (Unsupported object type numpy.ndarray). 在 TensorFlow CNN 中进行图像分类

如何解决"ValueError: Failed to convert a NumPy array to an Tensor (Unsupported object type numpy.ndarray). 在 TensorFlow CNN 中进行图像分类

我一直在研究用于图像分类的 CNN，但我一直遇到同样的错误，我的数据正在加载到数据帧中，但我无法将其转换为张量以将其输入 CNN。如您所见，我使用此代码将图片加载到数据框中：

for i in range(len(merged)):
    full_path = merged.iloc[i][''Image Path Rel'']
    filename = full_path[-22:-1] + ''G''
    try:
        img = img_to_array(load_img(''D:/Serengeti_Data/Compressed/Compressed/'' + filename,target_size=(32,32,3)))
    except:
        img = np.zeros((32,3),dtype=np.float32)
        images = images.append({''Capture Id'' : merged.iloc[i][''Capture Id''],''Image'' : img},ignore_index = True)
    else:
        images = images.append({''Capture Id'' : merged.iloc[i][''Capture Id''],ignore_index = True)

然后，一旦我使用 load_img() 和 img_to_array() 加载了图像，我进行了重塑以获得所需的 (32,3) 形状。还通过将 Image 列除以 255 来标准化这些值。

然后我这样做是为了尝试将其转换为张量：

train_tf = tf.data.Dataset.from_tensor_slices(images[''Image''])
# Also tried this,but didn''t got the same results:
# train_tf = tf.convert_to_tensor(train_df[''Image''])

但不断收到错误：

ValueError: 无法将 NumPy 数组转换为张量（不支持的对象类型 numpy.ndarray）

我也尝试跳过它并立即尝试适应我们的模型，但得到了完全相同的错误：

trying_df = pd.DataFrame(images[''Image''])
target_df = pd.DataFrame(targets)
animal_model = models.Sequential()
animal_model.add(layers.Conv2D(30,kernel_size = (3,padding = ''valid'',activation = ''relu'',input_shape =(32,3)))
animal_model.add(layers.MaxPooling2D(pool_size=(1,1)))
animal_model.add(layers.Conv2D(60,kernel_size=(1,1),activation = ''relu''))
animal_model.add(layers.Flatten())
animal_model.add(layers.Dense(100,activation = ''relu''))
animal_model.add(layers.Dense(10,activation = ''softmax''))
## compiler to model
animal_model.compile(loss = ''categorical_crossentropy'',metrics = [''accuracy''],optimizer =''adam'')
## training the model
animal_model.fit(trying_df,target_df,batch_size = 128,epochs = 15)
animal_model.summary() 

TensorFlow 版本：2.4.1

Numpy 版本：1.19.5

熊猫版本：1.0.1

解决方法

image = cv2.imread(filename)
image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)

IMG_SIZE = 180
resize_and_rescale = tf.keras.Sequential([
  layers.experimental.preprocessing.Resizing(IMG_SIZE,IMG_SIZE),layers.experimental.preprocessing.Rescaling(1./255)
])
model = tf.keras.Sequential(
    [
        resize_and_rescale,layers.Conv2D(32,3,activation="relu"),layers.MaxPooling2D(),layers.Conv2D(64,layers.Conv2D(128,layers.Flatten(),layers.Dense(128,layers.Dense(len(class_names),activation="softmax"),]
)
model.compile(
    optimizer="adam",loss=tf.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=["accuracy"],)

array – 为什么`Array(0,1,2)== Array(0,1,2)`不返回预期的结果？

import scala.collection.mutable.{GenericArray=>GArray,WrappedArray=>WArray}
scala> GArray(0,2) == GArray(0,2)
res0: Boolean = true

scala> (Array(0,2):WArray[Int]) == (Array(0,2):WArray[Int])
res1: Boolean = true

Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？

Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？这是很多初学者常问的问题。php小编子墨为您解答：在Golang中，`array` 是一个固定长度的序列，一旦定义后，长度就无法改变。而 `slice` 则是一个动态长度的序列，可以根据需要进行扩容或缩小。此外，`array` 的长度是在定义时确定的，而 `slice` 的长度可以在运行时动态改变。因此，在使用时，需要根据实际需求选择合适的数据结构。

问题内容

我很想知道为什么，请给我一点提示。

我想将一个数组附加到res中，res是一个二维切片。所以我需要先转换。 当我将数组转换为切片时，出现错误。

// i need a map to remove duplicates
mm := map[[3]int]bool{}
mm[[3]int{-1, -1, 2}] = true
mm[[3]int{-1, -1, 2}] = true
mm[[3]int{-1, 0, 1}] = true

var res [][]int
for k, _ := range mm {
    res = append(res, k[:])
}
fmt.printf("the res is %v\n", res)

the res is [[-1 0 1] [-1 0 1]]

但是结果不是我想要的。

然后我试探性地修改了一下for循环

立即学习“go语言免费学习笔记（深入）”；

for k, _ := range mm {
    //res = append(res, k[:])
    res = append(res, []int{k[0], k[1], k[2]})
}

the res is [[-1 0 1] [-1 -1 2]]

现在结果是对的，但是为什么呢？ k[:] 和 []int{k[0],k[1],k[2]} 有什么区别？

解决方法

将循环更改为

for k, _ := range mm {
    j := k
    res = append(res, j[:])
}

您的原始循环声明了一个类型为 [3]int 的变量 k，该变量在内存中具有特定位置。循环的每次迭代，都会将映射 mm 中的不同键复制到该变量。到目前为止，一切顺利。

当您使用 k[:] 将其转换为切片时，它会创建一个切片标头，指向数组 k。这里出错了 - 循环的下一次迭代，k 的值被覆盖。循环中创建的所有切片都指向内存中同一位置的同一支持数组 k。

通过首先将 k 的值复制到在循环内声明的变量，您可以为每个切片提供自己的支持数组，从而避免了该问题。

以上就是Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？的详细内容，更多请关注php中文网其它相关文章！

Numpy 1-dim array vs 2-dim array，其中一个维度的长度为 1

如何解决Numpy 1-dim array vs 2-dim array，其中一个维度的长度为 1

在 Matlab 中没有一维数组的概念。所有数组都至少有两个维度。所有“向量”都是“行向量”（1xn 数组）或“列向量”（nx1 数组）。

另一方面，在 NumPy 中，数组也可以是一维的。于是就有了“纯向量”（维度n）、“行向量”（维度1xn）和“列向量”（维度nx1）的概念。

现在我从 Matlab 转向 Python，这让我很头疼。

举个例子，考虑这样一种情况，我必须移动一个 nxk（n 通常很大，但 k 可以是 1）矩阵的行，称之为 A，向下一行，然后添加一行零第一行。

在 Matlab 中我会做

[n,k] = size(A);
B      = [zeros(1,k); A(1:end-1,:)];

在 Numpy 中，我希望这不仅适用于二维输入，而且适用于一维输入。 所以一个有效的解决方案是

import numpy as np

if A.ndim == 1:
    B = np.concatenate((np.zeros(1),A[:-1]),axis=0)

if A.ndim == 2:
    (n,k) = A.shape
    B = np.concatenate((np.zeros((1,k)),A[:-1,:]),axis=0)

但这太沉重了。有没有更好（更巧合）的方法？

更一般地说，我总是有这个问题：如果我写了一个接受二维数组 (nxk) 的函数，称它为 arr，其中 k 很可能是 1 ，该函数可能在一维数组上失败（例如，如果我执行 arr[0,:]）。 但我希望它也适用于一维数组，因为它们在道德上与其中一个维度为 1 的二维数组相同。

当然一种方法是放一些类似的东西

if arr.ndim == 1
    arr = arr.reshape((arr.shape[0],1))

在函数的最开始，这样就保证函数有一个二维数组可以使用。

但这并不完全令人满意。例如，我的函数可能会返回一个与输入 (nxk) 形状相同的数组。但是如果输入是一维的，我希望它也返回一维的东西，而不是 (nx1)。所以为了处理这种情况，我需要添加其他冗长的 if 语句和重塑，这会使我的代码看起来更重和更丑。

最好的出路是什么？

解决方法

A

我们今天的关于Pandas DataFrame 和 NumPy 数组的奇怪之处 - df.to_numpy()、np.asarray(df) 和 np.array(df) 给出了不同的内存使用情况的分享就到这里，谢谢您的阅读，如果想了解更多关于"ValueError: Failed to convert a NumPy array to an Tensor (Unsupported object type numpy.ndarray). 在 TensorFlow CNN 中进行图像分类、array – 为什么`Array(0,1,2)== Array(0,1,2)`不返回预期的结果？、Golang 中 `array` 和 `slice{array,array,...}` 有什么区别？、Numpy 1-dim array vs 2-dim array，其中一个维度的长度为 1的相关信息，可以在本站进行搜索。