对于Ubuntu16.04后台运行scrapy爬虫程序感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解ubuntu怎么跑python脚本,并且为您提供关于apt-getupdate失败ubu
对于Ubuntu 16.04后台运行scrapy爬虫程序感兴趣的读者,本文将提供您所需要的所有信息,我们将详细讲解ubuntu怎么跑python脚本,并且为您提供关于apt-get update 失败 ubuntu:Tempory failure resolving 'cn.archive.ubuntu.com ubuntu、Debian 9 / Debian 10 / Ubuntu 18.04 / Ubuntu 18.10 快速开启 BBR 加速 或 关闭 BBR 加速、install nginx on ubuntu install ubuntu usb install ubuntu 14.04 ubuntu install jd、Intel RealSense D435i Installation on Linux (Ubuntu 16.04 and Ubuntu 18.04)的宝贵知识。
本文目录一览:- Ubuntu 16.04后台运行scrapy爬虫程序(ubuntu怎么跑python脚本)
- apt-get update 失败 ubuntu:Tempory failure resolving 'cn.archive.ubuntu.com ubuntu
- Debian 9 / Debian 10 / Ubuntu 18.04 / Ubuntu 18.10 快速开启 BBR 加速 或 关闭 BBR 加速
- install nginx on ubuntu install ubuntu usb install ubuntu 14.04 ubuntu install jd
- Intel RealSense D435i Installation on Linux (Ubuntu 16.04 and Ubuntu 18.04)
Ubuntu 16.04后台运行scrapy爬虫程序(ubuntu怎么跑python脚本)
某些爬虫程序需要运行很长时间才能将数据爬完,爬取太快呢又会被网站给封禁。你又不想一直开着电脑连续开几天,太麻烦。。。
其实有个好方法,你可以把爬虫放在阿里云服务器运行,这样你就不需要管了,但是你如果在Ubuntu或阿里云上直接:
scrapy crawl spider_name 或python run.py的话
当你关闭链接阿里云的xshell时,程序会直接停掉不会继续运行。
今天给大家分享一个在阿里云服务器后台运行你的scrapy爬虫代码的命令,可以使你的爬虫在服务器后台一直运行,关闭连接也没事。
nohup python -u run.py > spider_house.log 2>&1 &
run.py为你自己写的scrapy爬虫的运行文件:
from scrapy.cmdline import execute
execute(['scrapy','crawl','house'])
执行完命令后会返回给你一个进程ID,此时你的爬虫就已经在该进程中运行了,你可以用下边命令查看后台该进程:
ps -aux #a:显示所有程序 u:以用户为主的格式来显示 x:显示所有程序,不以终端机来区分
只要找到返回给你的进程pid,说明你的爬虫正在运行。
如下是我的运行进程:
apt-get update 失败 ubuntu:Tempory failure resolving 'cn.archive.ubuntu.com ubuntu
当运行apt-get update后出现如下错误时:E: Some index files Failed to download,they have been ignored,or old ones used instead.
可以将目录下/var/lib/apt/lists/partial/所有的文件清掉,再次运行apt-get update即可!自带源在大陆不好。
出现以下错误:
ubuntu:Tempory failure resolving ''cn.archive.ubuntu.com ubuntu
1,重启生效:
sudovi/etc/resolvconf/resolv.conf.d/base(这个文件默认是空的)
在里面插入:
nameserver8.8.8.8
nameserver8.8.4.4
如果有多个DNS就一行一个
修改好保存,然后执行
sudoresolvconf-u
再看/etc/resolv.conf,最下面就多了2行:
cat/etc/resolv.conf
#Dynamicresolv.conf(5)fileforglibcresolver(3)generatedbyresolvconf(8)
#DONOTEDITTHISFILEBYHAND--YOURCHANGESWILLBEOVERWRITTEN
可以看到我们的设置已经加上了,然后再ping一个域名,当时就可以解析了,无需重启。
2,重启失效:
配置文件地址 /etc/resolv.conf
使用编辑器打开
改为如下内容:
search localdomain
nameserver 202.96.128.86 希望修改成的DNS
nameserver 202.96.128.166 备用DNS
重启网络:sudo /etc/init.d/networking restart。即可
Debian 9 / Debian 10 / Ubuntu 18.04 / Ubuntu 18.10 快速开启 BBR 加速 或 关闭 BBR 加速
如果使用的是 Debian 9、Debian 10、Ubuntu 18.04、Ubuntu 18.10 等内核高于 4.9 版本的系统,均可以使用此方法开启 BBR 加速,若你使用了 Ubuntu 19.04 的系统无需开启,系统默认就开启了。虽然 BBR 没有锐速那么暴力,但是兼容性和稳定性占优势,推荐大家使用。对与什么是 BBR 我就不详细说明了,这是一款由谷歌推出的 TCP 单边加速的拥塞控制算法。
开启 BBR
1. 修改 sysctl.conf 系统参数
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
2. 保存并生效
sysctl -p
得到返回值如下:(最后两行有就可以了)
3. 查看是否已开启 BBR
sysctl net.ipv4.tcp_available_congestion_control
若得到返回值带有 bbr 则成功开启,如:
4. 检查 BBR 是否成功启动
lsmod | grep bbr
如返回信息则表示已经成功开启:
如果不确定自己的系统是支持快速开启 bbr 可以查看使用下面的命令查看内核,只要 4.9 及以上版本均可直接开启:
uname -r
关闭 BBR
若想要关闭 bbr 加速也很简单,只需要将第二步的返回内容在 sysctl.conf 内删除或注释掉即可。
1. 修改配置文件
vi /etc/sysctl.conf
进入配置文件,将添加的内容在最后,若找不到往下翻,按 i 键或 Insert 键开启编辑,注释或删除内容后,按 ESC 键退出编辑,键入
:wq
保存并退出。
2. 保存配置
sysctl -p
3. 重启系统生效
reboot
3. 查看是否已关闭 BBR
sysctl net.ipv4.tcp_available_congestion_control
install nginx on ubuntu install ubuntu usb install ubuntu 14.04 ubuntu install jd
Intel RealSense D435i Installation on Linux (Ubuntu 16.04 and Ubuntu 18.04)
1. Install 3rd-party dependencies
1.1 apt-get update
sudo apt-get update
- 1
1.2 install libusb-1.0, libglfw, freeglut,
sudo apt-get install libusb-dev libusb-1.0-0-dev libglfw3 libglfw3-dev freeglut3 freeglut3-dev