此处将为大家介绍关于如何更快地计算Foundry“最新版本”数据集？的详细内容，并且为您解答有关数据集算法的相关问题，此外，我们还将为您介绍关于android–如何更新或重新安装最新版本的ADB？、A

此处将为大家介绍关于如何更快地计算Foundry“最新版本”数据集？的详细内容，并且为您解答有关数据集算法的相关问题，此外，我们还将为您介绍关于android – 如何更新或重新安装最新版本的ADB？、ASP.NET：如何更快地加载页面、Cloud Foundry Foundation构建中国开源生态、cloud foundry 数据库服务的 数据初始化 问题？的有用信息。

• 如何更快地计算Foundry“最新版本”数据集？（数据集算法）
• android – 如何更新或重新安装最新版本的ADB？
• ASP.NET：如何更快地加载页面
• Cloud Foundry Foundation构建中国开源生态
• cloud foundry 数据库服务的 数据初始化 问题？

如何更快地计算Foundry“最新版本”数据集？（数据集算法）

这是一种常见的模式，将从bucketing中受益。

其要点是：根据primary_key列将输出SNAPSHOT写入存储桶中，其中完全忽略了将更大的输出改组的昂贵步骤。

这意味着您只需要将新数据交换到已经包含先前历史记录的存储桶中即可。

让我们从初始状态开始，在该状态下，我们运行的是先前计算的“最新”版本，该版本运行速度很慢：

- output: raw_dataset
  input: external_jdbc_system
  hive_partitioning: none
  bucketing: none
  transactions:
    - SNAPSHOT
    - APPEND
    - APPEND
- output: clean_dataset
  input: raw_dataset
  hive_partitioning: none
  bucketing: none
  transactions:
    - SNAPSHOT
    - SNAPSHOT
    - SNAPSHOT

如果我们使用clean_dataset列上的存储桶将primary_key写入到单独计算的存储桶数中，以适应我们期望的数据规模，则需要以下代码：

from transforms.api import transform,Input,Output
import pyspark.sql.functions as F
from pyspark.sql.functions import row_number
from pyspark.sql.window import Window


@transform(
    my_output=Output("/datasets/clean_dataset"),my_input=Input("/datasets/raw_dataset")
)
def my_compute_function(my_input,my_output):

    BUCKET_COUNT = 600
    PRIMARY_KEY = "primary_key"
    ORDER_COL = "update_ts"

    updated_keys = my_input.dataframe("added")
    last_written = my_output.dataframe("current")

    updated_keys.repartition(BUCKET_COUNT,PRIMARY_KEY)

    value_cols = [x for x in last_written.columns if x != PRIMARY_KEY]

    updated_keys = updated_keys.select(
      PRIMARY_KEY,*[F.col(x).alias("updated_keys_" + x) for x in value_cols]
    )

    last_written = last_written.select(
      PRIMARY_KEY,*[F.col(x).alias("last_written_" + x) for x in value_cols]
    )

    all_rows = updated_keys.join(last_written,PRIMARY_KEY,"fullouter")
    
    latest_df = all_rows.select(
      PRIMARY_KEY,*[F.coalesce(
          F.col("updated_keys_" + x),F.col("last_written_" + x)
        ).alias(x) for x in value_cols]
    )

    my_output.set_mode("replace")

    return my_output.write_dataframe(
        latest_df,bucket_cols=PRIMARY_KEY,bucket_count=BUCKET_COUNT,sort_by=ORDER_COL
    )

运行该命令时，您会在查询计划中注意到该项目移至输出上不再包含交换，这意味着它将不会对数据进行改组。现在，您将看到的唯一交换是在 input 上，它需要以与格式化输出完全相同的方式分发更改（这是非常快的操作）。

然后，此交换保留在fullouter连接步骤中，然后该连接将利用此交换并快速运行600个任务。最后，我们通过在以前相同的列上显式存储到相同数量的存储桶中，来保持输出的格式。

注意：通过这种方法，每个存储桶中的文件大小会随着时间的推移而增长，而无需考虑增加存储桶数以保持文件大小的需要。最终，您将通过这种技术达到一个阈值，即文件大小超过128MB，并且您将不再高效执行（解决方案是提高BUCKET_COUNT值）。

您的输出现在将如下所示：

- output: raw_dataset
  input: external_jdbc_system
  hive_partitioning: none
  bucketing: none
  transactions:
    - SNAPSHOT
    - APPEND
    - APPEND
- output: clean_dataset
  input: raw_dataset
  hive_partitioning: none
  bucketing: BUCKET_COUNT by PRIMARY_KEY
  transactions:
    - SNAPSHOT
    - SNAPSHOT
    - SNAPSHOT

android – 如何更新或重新安装最新版本的ADB？

我有一个基于Android的手机,我需要ADB来安装新版本.然而,直到今天ADB工作得很好,但今天我收到了一个错误,它说“你需要1.0.32或更新的版本.”是的,错误很清楚.问题是,怎么样？

对于记录,我试图删除亚行.
用：

sudo apt-get remove android-tools-adb android-tools-fastboot

然后我重新安装它：

sudo apt-get install android-tools-adb android-tools-fastboot

在此命令之前,我的ADB版本是1.0.31,仍然是1.0.31.但在这里(http://developer.android.com/sdk/index.html#Other)据我所知,有新版本,1.0.35.但是终端所有我得到的是1.0.31.
我已经下载了1.0.35 zip,但我不知道如何处理它.

我如何升级我的亚行？

解决方法:

您可以下载最新的SDK,包括adb here.当您提取此存档时,有一个自述文件说明如何安装SDK.我在此列出供您参考.

Welcome to the Android SDK!

The Android SDK archive initially contains only the basic SDK tools. It does
not contain an Android platform or any third-party libraries. In fact, it
doesn't even have all the tools you need to develop an application.

In order to start developing applications, you must install the Platform-tools
and at least one version of the Android platform, using the SDK Manager.

Platform-tools contains build tools that are periodically updated to support new
features in the Android platform (which is why they are separate from basic
SDK tools), including adb, dexdump, and others.

To install Platform-tools, Android platforms and other add-ons, you must
have an Internet connection, so if you plan to use the SDK while
offline, please make sure to download the necessary components while online.

To start the SDK Manager, please execute the program "android".

From the command-line you can also directly trigger an update by
executing:
  tools/android update sdk --no-ui

Tip: use --help to see the varIoUs command-line options.


For more information, please consult the Android web site at
  http://developer.android.com/sdk/

一旦安装(你必须安装Java,如果你还没有),你可以导航到android-sdk-linux / platform-tools并通过输入从那里执行adb

./adb [options]

我承认这可能不是最优雅的解决方案,但它对我有用. ISTR,在一台不同的Ubuntu机器上,我只使用平台工具管理了一个最小的安装,但是我找不到我的笔记.

ASP.NET：如何更快地加载页面

Cloud Foundry Foundation构建中国开源生态