总结

以上是小编为你收集整理的Bootstrap 创始人 Mark Otto 谈自己生病；替换 RHEL，SUSE 推出 Liberty Linux ； Linux 5.17 使用新调试功能 | 开源日报全部内容。

如果觉得小编网站内容还不错，欢迎将小编网站推荐给好友。

原文地址：https://blog.csdn.net/csdnopensource/article/details/122615511

JPA SQL Server 批量插入

如何解决JPA SQL Server 批量插入

问题说明

我正在尝试提高 JPA 中插入过程的性能。目前将 ~350,000 条记录插入我的数据库需要 4 分钟。为了提高性能，我想使用批量插入。我已经制作了一个大纲，显示了我开始使用的代码。我为尝试提高性能以及修复内存问题所做的修改。这些修改的结果。我的一些其他尝试未在修改中显示。请让我知道如何改进我的代码以允许使用 sql server 和 hibernate 进行大量插入。如果需要，我可以提供有关整个插入过程的更多信息。

启动代码

要启用此功能，我在 application.yml 中输入：

jpa:
  properties:
    hibernate:
      jdbc:
        batch_size: 1000
        batch_versioned_data: true
      order_inserts: true

我从 Loader 类中的代码开始：

try(Stream<String> lines = Files.lines("/path/to/file")) {
    Iterators.partition(lines.iterator(),1000).forEachRemaining(batchList -> {
        List<CustomEntity> mappedEntities = list.stream().map(mapLinetoEntity).collect(Collectors.toList());
        //Insert batch
        repository.saveAll(mappendEntities);
        repository.flush();
    })
}

代码修改

但这导致了内存问题，提示自定义sql实现使用EntityManager来刷新和清除持久化的实体。为此，我创建了一个 CustomEntityServiceCustom.java 接口及其实现。下面是我对修改后的 Loader 类的两次尝试：

public interface CustomEntityServiceCustom {
  void batchInsertProcess(List<CustomEntity> customEntities,int start); //try 1 
  void batchInsertProcess(List<CustomEntity> customEntities,AtomicInteger start); //try 2
}
public class Custom CustomEntityServiceCustomImpl implements CustomEntityServiceCustom {
  @PersistenceContext
  private EntityManager em;
  //Try 1
  @Override
  @Transactional
  void batchInsertProcess(List<CustomEntity> customEntities,int start) {
    for(CustomEntity ent : customEntities) {
      em.persist(ent)
    }
    em.flush();
    em.clear();
  }
  //Try 2
  @Override
  @Transactional
  void batchInsertProcess(List<CustomEntity> customEntities,AtomicInteger start) {
    final int numRecsPerInsert = 25;
    Iterators.partition(customEntities.iterator(),numRecsPerInsert).forEachRemaining(batchList -> {
      /*
      code not included but createInsert will create an insert statement like the following:
      INSERT INTO table (col1,col2) VALUES (rec1val1,rec1val2),(rec2val,rec2val2)
      for 25 records at a time and then update the AtomicInteger 
      */
      String multiLineInsert = createInsert(batchList,start.get());
      start.addAndGet(numRecsPerInsert);
      em.createNativeQuery(multiLineInsert).executeUpdate();
    })
    em.flush();
    em.clear();
  }
} 
//updated loader
try(Stream<String> lines = Files.lines("/path/to/file")) {
    AtomicInteger start = new AtomicInteger(1);
    Iterators.partition(lines.iterator(),1000).forEachRemaining(batchList -> {
        List<CustomEntity> mappedEntities = list.stream().map(mapLinetoEntity).collect(Collectors.toList());
    repository.batchInsertProcess(mappedEntities,start);
    })
}

尝试 1 和 2 都通过不使用来利用不使用自动生成的 ID：

@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)

当前指标

通过所有这些更改，初始代码的性能没有显着提高。
尝试 1 在 35 秒内实现了大约 50,000 条记录的插入，而尝试 2 在 1 分钟内执行了相同的插入。我不明白这一点，因为 Try 1 一次插入 1 条记录，例如： 插入表 (COL1,COL2) 值 (VAL1,VAL2);而 Try 2 在 1 条语句中插入 25 条记录。我还按照推荐的 here 尝试了每次插入 4 条记录，但这仍然是 52 秒，比不使用批量插入的 35 秒大得多。

其他注意事项

我试图让 hibernate 处理 This 之后的每个语句的多条记录，但我没有看到 sql Server 重写 BatchedStatements 的选项。我尝试添加 useBulkcopyForBatchInsert=true;连接字符串的详细信息 here，但不确定是否必须修改我的代码才能看到此更改的好处？

我也不确定在 executeUpdate() 之后是否需要刷新 EntityManager，因为在日志中我收到一条消息，即执行 0 次刷新花费了 0 纳秒，执行 2074 次部分刷新花费了 6596474 纳秒。这可能是另一个瓶颈，但我不确定幕后到底发生了什么。

解决方法

  @Override
  @Transactional
  void batchInsertProcess(List<CustomEntity> customEntities,AtomicInteger start) {
    final int numRecsPerInsert = 25;
    // creates "insert into ... values (?,?,?),(?,..."
    String multiLineInsert = createInsert(numRecsPerInsert);
    Query query = em.createNativeQuery(multiLineInsert);
    Iterators.partition(customEntities.iterator(),numRecsPerInsert).forEachRemaining(batchList -> {
      bindValues(query,batchList,start.get(),numRecsPerInsert);
      start.addAndGet(numRecsPerInsert);
      query.executeUpdate();
    });
  }

Linux rhel-server-7.0-x86_64安装Oracle Database 12c Release 1

1、官方下载安装包：http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html

linuxamd64_12102_database_1of2.zip

linuxamd64_12102_database_1of2.zip

2、创建oracle用户和组 

[root@localhost]# groupadd oinstall 
[root@localhost]# groupadd dba 
[root@localhost]# useradd -g oinstall -G dba oracle 
[root@localhost]# passwd oracle 

3、创建目录

[root@localhost]# mkdir -p /oracle/ 
[root@localhost]# chown -R oracle:oinstall /oracle/ 
[root@localhost]# chmod -R 775 /oracle/

4、修改内核参数 

在/etc/sysctl.conf文件下添加如下参数：

[root@localhost]# vi /etc/sysctl.conf 
fs.aio-max-nr = 1048576 
fs.file-max = 6815744 
kernel.shmall = 2097152 
kernel.shmmax = 536870912 
kernel.shmmni = 4096 
kernel.sem = 250 32000 100 128 
net.ipv4.ip_local_port_range = 9000 65500 
net.core.rmem_default = 262144 
net.core.rmem_max = 4194304 
net.core.wmem_default = 262144 
net.core.wmem_max = 1048586

执行/sbin/sysctl -p 使配置参数生效 

[root@localhost]# /sbin/sysctl -p 

5、修改用户限制
在/etc/security/limits.conf添加如下参数：

[root@localhost]# vi /etc/security/limits.conf 
oracle           soft    nproc   2047 
oracle           hard    nproc   16384 
oracle           soft    nofile  1024 
oracle           hard    nofile  65536 
oracle           soft    stack  10240 
oracle           hard    stack  10240

6、配置环境变量 
在/home/oracle/ .bash_profile添加如下参数：

[oracle@ ~]$ vi .bash_profile 
export ORACLE_BASE=/oracle/12c 
export ORACLE_HOME=$ORACLE_BASE/db1 
export ORACLE_SID=orcl12c 
export PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin 
export EDITOR=/bin/vi

执行source .bash_profile使配置文件生效 
[oracle@~]$ source .bash_profile 

7、扩大swap空间

[root@localhost]#dd if=/dev/zero of=/home/swap bs=1024 count=16400000

[root@localhost]#mkswap /home/swap
[root@localhost]#swapon /home/swap

在/etc/fstab最后添加如下参数：

[root@localhost]#vi /etc/fstab

/home/swap swap swap default 0 0

在/etc/inittab最后添加如下参数：

[root@localhost]# vi /etc/inittab

swapon  /home/swap

8、安装依赖包：

 [root@localhost]# compat-libstdc++-33-3.2.3-61.x86_64.rpm

 [root@localhost]# compat-libstdc++-33-3.2.3-61.i386.rpm

 [root@localhost]# rpm -ivh libaio-devel-0.3.109-12.el7.i686.rpm

 [root@localhost]# rpm -ivh libaio-devel-0.3.109-12.el7.x86_64.rpm

9、上传安装文件到/home/oracle/

10、用root用户打开另外一个终端，配置图形化安装（配置完成不能关闭窗口）

 [root@localhost]# export disPLAY=:0.0

 [root@localhost]# xhost +

oracle用户设置环境变量

[oracle@~]$ export disPLAY=:0.0

11、解压 安装包安装文件

 [root@localhost oracle]# unzip linuxamd64_12102_database_1of2.zip

 [root@localhost oralce]# unzip linuxamd64_12102_database_1of2.zip

12、检查 

[oracle@~]$ cd /home/oracle/database/

[oracle@database]$ ./runInstaller -executeSysPrereqs

13、安装

[oracle@database]$ ./runinstaller

我们今天的关于SQL Server 批量插入 - Linux/RHEL 错误和sql server 批量导入的分享就到这里，谢谢您的阅读，如果想了解更多关于Azure SQL - 从 Azure 文件而不是 blob 批量插入、Bootstrap 创始人 Mark Otto 谈自己生病；替换 RHEL，SUSE 推出 Liberty Linux ； Linux 5.17 使用新调试功能 | 开源日报、JPA SQL Server 批量插入、Linux rhel-server-7.0-x86_64安装Oracle Database 12c Release 1的相关信息，可以在本站进行搜索。