GVKun编程网logo

Dedecms织梦源码采集教程一含有分页的普通新闻(1)(织梦怎么采集文章)

16

这篇文章主要围绕Dedecms织梦源码采集教程一含有分页的普通新闻(1)和织梦怎么采集文章展开,旨在为您提供一份详细的参考资料。我们将全面介绍Dedecms织梦源码采集教程一含有分页的普通新闻(1)的

这篇文章主要围绕Dedecms织梦源码采集教程一含有分页的普通新闻(1)织梦怎么采集文章展开,旨在为您提供一份详细的参考资料。我们将全面介绍Dedecms织梦源码采集教程一含有分页的普通新闻(1)的优缺点,解答织梦怎么采集文章的相关问题,同时也会为您带来Dedecms织梦后台源码采集功能的使用办法详解、Dedecms织梦模板采集教程一关于火车头采集分页、Dedecms织梦模板采集教程一含有分页的普通文章(1)、Dedecms织梦模板采集教程一含有分页的普通文章(2)的实用方法。

本文目录一览:

Dedecms织梦源码采集教程一含有分页的普通新闻(1)(织梦怎么采集文章)

Dedecms织梦源码采集教程一含有分页的普通新闻(1)(织梦怎么采集文章)

 

前言:这篇新闻是Dedecms采集功能使用办法的第二篇,主要目的是采集含有分页的普通新闻,并使用简单的过滤规则。这次选取的目标站点是中国网管联盟网络技术频道的网络协议栏目,URL是“”。本文共分为三节,*节,主要是介绍新增采集节点中的*步:设置基本信息及URL索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍怎么采集指定节点和怎么导出采集内容。对于编写采集规则中一些基本的操作,本文将一带而过或不再涉及,如有疑问可参见新闻“Dedecms采集功能的使用办法 --- 不含分页的普通新闻的采集”。

下面进入*节。

1.1 设置基本信息及URL索引页规则

建立一个新的普通新闻型节点,并进入“新增采集节点:*步设置基本信息及URL索引页规则”如(图1)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图1-新增采集节点:*步设置基本信息及URL索引页规则

1.1.1 设置节点基本信息

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图2-节点基本信息

首先,定义节点名称为“采集测试(二)”。其次,查找目标页面编码。其操作步骤为:

(a)打开被采集的目标页:;

(b)单击右键后选择“查看源文件”,找到“charset”, 如(图3)所示,

图3-查看源文件

其等号后面的代码就是所需的“编码格式”,这里是“gb2312”。对于“区域匹配模式”、“内容导入顺序”和“防盗链模式”,均使用默认值。

引用URL:可以选取在新闻列表里出现的任意一个新闻页的URL。方便起见,一般是填入新闻列表中*篇新闻的URL,但是由于*篇新闻没有涉及到分页内容,为了展示怎么采集分页新闻,这里使用第二篇新闻作为引用URL。其URL为:“”。设置后的节点基本信息,如(图4)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图4-设置后的节点基本信息

检查无误后,进入下一步设置。

1.1.2 设置列表URL获取规则

如(图5)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图5-列表URL获取规则

这里是设置被采集的新闻栏目页的匹配规则的,也是本节的重点和难点。

具体操作步骤:

(a)首先,回到已打开的新闻栏目页,这时浏览器的网址地址栏中显示的URL,如(图6)所示,

图6-列表首页的URL

(b)找到新闻栏目页的换页部分,把鼠标放在各个页码上面,同时观察其网址的变化规律。可以得出,URL的匹配规律为:“(*).html“。因此,在“匹配URL”中,应填入“(*).html”,为了能够快速演示采集过程,这里设定页面是从1开始到1结束,也就是说只采集*页。

设置后的 “列表URL获取规则”,如(图7)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图7-设置后的列表URL获取规则

检查无误后,进入下一步设置。

1.1.3 设置新闻URL匹配规则

如(图8)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图8-新闻URL匹配规则

这里是设置被采集新闻栏目页的匹配规则。

具体操作步骤:

(a)对于“区域开始的HTML”,可通过在打开的新闻列表首页上,单击右键后选择“查看源文件”。在源文件中,找到*篇新闻的标题“OpenFlow网络是空谈吗?”,如(图9)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图9-查看源文件中,*篇新闻的标题

(b)在源文件中,找到*后一篇新闻标题“认识多重PPP链接协议”,如(图10)所示,

图10-查看源文件中,*后一篇新闻的标题

结合新闻列表的开始部分并通过观察可知,“”为整个新闻列表的结束部分。因此,在“区域结束的HTML”中,应填入””。

设置结束后的“新闻URL匹配规则“, 如(图11)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图11-设置后的新闻URL匹配规则

通过1.1.1小节、1.1.2小节和1.1.3小节,新增采集节点的*步就已经设置完成了。设置后的结果,如(图12)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图12-设置后的新增采集节点:*步设置基本信息及URL索引页规则

#p#分页标题#e#

全部完成并检查无误后,单击“保存信息并进入下一步设置“。如果之前设置正确,单击后,将会进入“新增采集节点:测试基本信息及URL索引页规则设置的URL获取规则测试”页面并看到相应的新闻列表地址。如(图13)所示,

Dedecms织梦模板采集教程一含有分页的普通文章(1)

图13-URL获取规则测试

确定正确无误后,单击“保存信息并进入下一步设置”。否则,请单击“返回上一步进行修改“。

到这里,*节就结束了。下面进入第二节。。。

本文章网址:http://www.ppssdd.com/code/9159.html。转载请保留出处,谢谢合作!

Dedecms织梦后台源码采集功能的使用办法详解

Dedecms织梦后台源码采集功能的使用办法详解

 

前言:这篇新闻是为了初次接触Dedecms采集功能的朋友所写的。所选取的目标站点为新闻内容详细页面不含有分页的Dedecms官方网站的dreameaver栏目新闻,通过图文并茂的形式,详细地介绍了怎么创建一个基本的采集规则。本文共分为三节:*节,主要是介绍怎么进入采集界面和新增采集节点中的*步:设置基本信息及URL索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍怎么采集指定节点和怎么导出采集内容。下面进入*节。

1.1进入采集节点管理界面  

如(图1)所示,在后台管理界面的主菜单中单击"采集",然后单击"采集节点管理",即可进入采集节点管理界面,如(图2)所示。

Dedecms织梦后台模板采集功能的使用方案详解

图1-后台管理界面

Dedecms织梦后台模板采集功能的使用方案详解

图2-采集节点管理界面

1.2. 增加新节点  

在采集节点管理界面中,单击左下角的"增加新节点"或者右上角的"添加新节点"(如图2),都可进入"选择内容模型"界面,如(图3)所示,

图3-选择内容模型界面

在"选择内容模型"界面的下拉列表框中,有"普通新闻"和"图片集"可供选择。根据被采集页面的类型,选择相应的内容模型。本文这里选择"普通新闻",单击确定后,便可进入"新增采集节点:*步设置基本信息及URL索引页规则"界面,如(图4)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图4-新增采集节点:*步设置基本信息及URL索引页规则

1.2.1 设置节点基本信息  

Dedecms织梦后台模板采集功能的使用方案详解

图5-节点基本信息

如(图5)所示,

节点名称:给新建立的节点起一个名字,这里填上"采集测试(一)";

目标页面编码:设定被采集目标页的编码格式,有GB2312、UTF8和BIG5三种。可通过在被采集目标页面上,单击右键后选择"查看源文件"来获取。

操作步骤:

(a)打开被采集的目标页:;

(b)单击右键后选择"查看源文件",找到"charset", 如(图6)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图6-查看源文件

其等号后面的代码就是所需的"编码格式",这里是"gb2312"。

"区域匹配模式":设定怎么匹配所需采集的内容部分,可采用字符串或者正则表达式。系统默认的模式是字符串。如果比较了解正则表达式的朋友,可以在这里选择正则表达式的模式。

"内容导入顺序":指定新闻列表导入时候的顺序,可以选择"与目标站一致"或"与目标站相反"。

"防盗链模式":针对被采集的目标站点有无刷新限制。一开始很难判断出来,需要测试后才能知道。如果有的话,这里需要设置一下"资源download超时时间"。

"引用URL":填入任何一个即将被采集的新闻内容详细页面的URL。

具体操作步骤:

(a)在已打开的新闻栏目页中,单击*篇新闻的

标题"在Dreamweaver中为插入的Flash添加透明",以打开新闻内容详细页面,如(图7)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图7-新闻内容详细页面

(b)此时在浏览器的网址地址栏中显示的URL,即为需要填写在"引用URL"处的URL,如(图8)所示,

图8-浏览器的网址地址栏

到这里,"节点基本信息"就设置完成了。*后结果,如(图9)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图9-设置后的节点基本信息

检查无误后,进入下一步设置。

1.2.2 设置列表URL获取规则  

如(图10)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图10-列表URL获取规则

这里是设置被采集的新闻栏目页的匹配规则。如果被采集的新闻栏目页有一定的规律,可选择"批量生成列表URL";如果被采集的新闻栏目页完全没有规律可循,那么可选择"手工指定列表URL";如果被采集的站点提供了RSS,则可以选择"从RSS中获取"。对于特殊情况,例如:部分栏目页有规律,而其余的又没有规律,则可在"匹配URL"中填上有规律的部分,然后把没有规律的部分填写在"手动指定URL"。

具体操作步骤:

(a)首先,回到已打开的新闻栏目页,找到浏览器的网址地址栏中显示的URL(图8)和页面底部的换页部分。如(图11)所示,

图11-换页

(b)单击"2",打开新闻栏目页的第二页,此时浏览器的网址地址栏中所显示的URL和页面底部的换页部分,如(图12)和(图13)所示,

图12-第二页的URL

图13-第二页的换页部分

#p#分页标题#e#

(c)在已打开的新闻栏目页的第二页上面,单击(1),打开新闻栏目页的首页,这时页面底部的换页部分与图11相同,而浏览器的网址地址栏中所显示的URL与之前图8并不相同,如(图14)所示,

图14-*页的URL

(d)由(b)和(c)推知,此处被采集的新闻栏目页的URL所遵循规律为:

(*).html。稳妥起见,请自行测试更多栏目页。确定规律后,在"匹配URL"中,填入新闻栏目页所遵循的规律。

(e)*后,指定需要采集的页码或者规律数字,并设定其递增规律。

到这里,"列表URL获取规则"部分就设置结束了。*后结果,如(图15)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图15-设置后的列表URL获取规则

确定正确后,进入下一步设置。

1.2.3设置新闻URL匹配规则  

如(图16)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图16-新闻URL匹配规则

这里是设置被采集新闻栏目页的匹配规则。

具体操作步骤:

(a)对于"区域开始的HTML",可通过在打开的新闻列表首页上,单击右键后选择"查看源文件"。在源文件中,找到*篇新闻的标题"在Dreamweaver中为插入的Flash添加透明",如(图17)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图17-查看源文件中,*篇新闻的标题

通过观察,不难看出"<div>"为整个新闻列表的开始部分。因此,在"区域开始的HTML"中,填入"<div>"。

(b)在源文件中,找到*后一篇新闻标题"通过Dreamweaver设计网页时组织CSS的建议",如(图18)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图18-查看源文件中,*后一篇新闻的标题

结合新闻列表的开始部分并通过观察可知,*个"</div>"为整个新闻列表的结束部分。因此,在"区域结束的HTML"中,应填入"</div>"。

"如果链接中含有图片":设置对链接中含有图片的处理方式,有不处理和采集为缩略图可选。可根据实际需要选择。

"对区域URL进行再次筛选":可以使用正则表达式对区域网站进行再次筛选,这是针对一些需要被保留或者需要滤掉的内容,尤其是混编的栏目页面,通过使用"必须包含"或者"不能包含"过滤掉所希望获取或者不希望获取的新闻内容详细页面的URL。

具体操作步骤:

回到正在打开的新闻列表首页的源文件,通过观察可知,每一个新闻内容详细页面地址的扩展名均为.html。因此,可在"必须包含"中,填入".html"。

到这里,"新闻URL匹配规则"就设置结束了。*后结果, 如(图19)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图19-设置后的新闻URL匹配规则

通过1.2.1小节、1.2.2小节和1.2.3小节,新增采集节点的*步就已经设置完成了。设置后的结果,如(图20)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图20-设置后的新增采集节点:*步设置基本信息及URL索引页规则

#p#分页标题#e#

全部完成并检查无误后,单击"保存信息并进入下一步设置"。如果之前设置正确,单击后,将会进入"新增采集节点:测试基本信息及URL索引页规则设置的URL获取规则测试"页面并看到相应的新闻列表地址。如(图21)所示,

Dedecms织梦后台模板采集功能的使用方案详解

图21-URL获取规则测试

确定正确无误后,单击"保存信息并进入下一步设置"。否则,请单击"返回上一步进行修改"。

本文章网址:http://www.ppssdd.com/code/9008.html。转载请保留出处,谢谢合作!

Dedecms织梦模板采集教程一关于火车头采集分页

Dedecms织梦模板采集教程一关于火车头采集分页

第一步,编辑任务,切换到“采集内容规则”标签,选中“内容”,点击修改,勾选上“该标签在分页中匹配”,很多人没有采集到分页就是因为少了这一步。

 

第二步,找到下面的“分页获取规则”,选择“全部列出模式”,然后填写“分页网址提取区域”,并选择“自动识别”。

织梦用火车头采集分页教程

 

第三步,切换到“标签循环处理”,在“分页内容连接代码”里填写“

”。

织梦用火车头采集分页教程

 

通过采集测试,我们可以看到,分页的内容可以采集了,同时分页处自动加上了织梦的分页标签。

织梦用火车头采集分页教程

Dedecms织梦模板采集教程一含有分页的普通文章(1)

Dedecms织梦模板采集教程一含有分页的普通文章(1)

前言:这篇文章是dedecms采集功能使用方法的第二篇,主要目的是采集含有分页的普通文章,并使用简单的过滤规则。这次选取的目标站点是中国网管联盟网络技术频道的网络协议栏目,网址是“http://www.bitscn.com/network/protocol/”。本文共分为三节,第一节,主要是介绍新增采集节点中的第一步:设置基本信息及网址索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍如何采集指定节点和如何导出采集内容。对于编写采集规则中一些基本的操作,本文将一带而过或不再涉及,如有疑问可参见文章“dedecms采集功能的使用方法 --- 不含分页的普通文章的采集”。

下面进入第一节。

 

1.1 设置基本信息及网址索引页规则

 

建立一个新的普通文章型节点,并进入“新增采集节点:第一步设置基本信息及网址索引页规则”如(图1)所示,

图1-新增采集节点:第一步设置基本信息及网址索引页规则

 

1.1.1 设置节点基本信息

图2-节点基本信息

 

首先,定义节点名称为“采集测试(二)”。其次,查找目标页面编码。其操作步骤为:

(a)打开被采集的目标页:http://www.bitscn.com/network/protocol/;

 

(b)单击右键后选择“查看源文件”,找到“charset”, 如(图3)所示,

图3-查看源文件

 

其等号后面的代码就是所需的“编码格式”,这里是“gb2312”。对于“区域匹配模式”、“内容导入顺序”和“防盗链模式”,均使用默认值。

 

引用网址:可以选取在文章列表里出现的任意一个文章页的网址。方便起见,一般是填入文章列表中第一篇文章的网址,但是由于第一篇文章没有涉及到分页内容,为了展示如何采集分页文章,这里使用第二篇文章作为引用网址。其网址为:“http://www.bitscn.com/network/protocol/201105/193110.html”。设置后的节点基本信息,如(图4)所示,

图4-设置后的节点基本信息

 

检查无误后,进入下一步设置。

 

1.1.2 设置列表网址获取规则

如(图5)所示,

图5-列表网址获取规则

 

这里是设置被采集的文章列表页的匹配规则的,也是本节的重点和难点。

具体操作步骤:

(a)首先,回到已打开的文章列表页,这时浏览器的URL地址栏中显示的网址,如(图6)所示,

图6-列表首页的网址

 

(b)找到文章列表页的换页部分,把鼠标放在各个页码上面,同时观察其URL的变化规律。可以得出,网址的匹配规律为:“http://www.bitscn.com/network/protocol/list_(*).html“。因此,在“匹配网址”中,应填入“http://www.bitscn.com/network/protocol/list_(*).html”,为了能够快速演示采集过程,这里设定页面是从1开始到1结束,也就是说只采集第一页。

 

设置后的 “列表网址获取规则”,如(图7)所示,

图7-设置后的列表网址获取规则

 

检查无误后,进入下一步设置。

 

1.1.3 设置文章网址匹配规则

如(图8)所示,

图8-文章网址匹配规则

 

这里是设置被采集文章列表页的匹配规则。

具体操作步骤:

(a)对于“区域开始的HTML”,可通过在打开的文章列表首页上,单击右键后选择“查看源文件”。在源文件中,找到第一篇文章的标题“OpenFlow网络是空谈吗?”,如(图9)所示,

图9-查看源文件中,第一篇文章的标题

 

(b)在源文件中,找到最后一篇文章标题“认识多重PPP链接协议”,如(图10)所示,

图10-查看源文件中,最后一篇文章的标题

 

结合文章列表的开始部分并通过观察可知,“”为整个文章列表的结束部分。因此,在“区域结束的HTML”中,应填入””。

 

设置结束后的“文章网址匹配规则“, 如(图11)所示,

图11-设置后的文章网址匹配规则

 

通过1.1.1小节、1.1.2小节和1.1.3小节,新增采集节点的第一步就已经设置完成了。设置后的结果,如(图12)所示,

图12-设置后的新增采集节点:第一步设置基本信息及网址索引页规则

 

全部完成并检查无误后,单击“保存信息并进入下一步设置“。如果之前设置正确,单击后,将会进入“新增采集节点:测试基本信息及网址索引页规则设置的网址获取规则测试”页面并看到相应的文章列表地址。如(图13)所示,

图13-网址获取规则测试

确定正确无误后,单击“保存信息并进入下一步设置”。否则,请单击“返回上一步进行修改“。

到这里,第一节就结束了。下面进入第二节。。。

Dedecms织梦模板采集教程一含有分页的普通文章(2)

Dedecms织梦模板采集教程一含有分页的普通文章(2)

前言:本文是“含有分页的普通文章的采集方法“的第二节,在前一节的基础上,这一节会对新增采集节点中的第二步:“设置字段获取规则”做详细的介绍。为了与前文保持一致,本文将延续使用前文的章节标记。

上接第一节。

 

2.1新增采集节点:第二步设置内容字段获取规则

 

单击“保存信息并进入下一步设置”后,便可进入“新增采集节点:第二步设置内容字段获取规则”页面,如(图14)所示,

图14-设置内容字段获取规则

 

系统将会自动指定一个“预览网址”,一般是文章列表页的第一篇文章的网址。但是,由于第一篇文章中没有涉及到分页的部分,所以在这里手动更改为,第二篇文章的网址:“http://www.bitscn.com/network/protocol/201105/193110.html”,更改后,如(图15)所示,

图15-更改后的预览地址

 

下面来设定分页部分的匹配规则。其具体操作步骤为:

打开文章内容页面,在网页上单击右键,在弹出的对话框中单击“查看源文件“。在源代码中,找到分页代码的开始部分和结束部分,如(图16)所示,

图16-分页代码

 

经过观察可知,分页代码位于“

分页导航所在的区域匹配规则“中,应填写”代码的样式,一共有三种可供选择,这里应选择第一种” 全部列出的分页列表”。填写后,如(图17)所示,

图17-设置后的网页内容获取规则

 

对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部分,系统会用正则进行自动匹配,这里仅需配置过滤内容即可。下面主要介绍如何获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则,过滤规则仅简单涉及。

 

2.1.1 获取文章标题的采集规则

首先,打开“预览网址“的页面并单击右键,选择”查看源代码“,找到文章标题” OpenFlow网络是空谈吗?“,如(图18)所示,

图18-在源代码中的文章标题

 

这里的文章标题处在”

内容]文章标题的匹配规则。如果在文章标题中含有相关链接等,可使用过滤规则加以处理,这里无需设置。填写后,如(图19)所示,

图19-文章标题的采集规则

 

2.1.2 获取文章作者的采集规则

经过查找源代码和对比原文的标题部分,可发现本文没有涉及到文章作者,所以这里不用填写,空着即可。

 

2.1.3 获取文章来源的采集规则

在上图19中,可发现来源的内容介于“内容]文章来源的采集规则。同样,这里也不需要使用过滤规则。填写后,如图20所示,

图20-文章来源的采集规则

 

2.1.4 获取文章发布时间的采集规则

再次回到图17,可找到“时间:2011-05-13 11:47”,因此这里应把“时间:[内容]间的采集规则。同样,这里也不需要使用过滤规则。填写后,如图21所示,

图21-文章发布时间的采集规则

 

2.1.5 获取文章内容的采集规则

这个部分是编写采集规则的重点,也是难点。需要特别注意。

具体操作步骤:

(a)在在打开的文章内容页面的源代码中,找到文章内容的开始部分“计算机网络知识的学习”,如图22所示,

图22-文章内容的开始部分

 

这里应把”

总结

以上是小编为你收集整理的Dedecms织梦模板采集教程一含有分页的普通文章(2)全部内容。

如果觉得小编网站内容还不错,欢迎将小编网站推荐给好友。

今天关于Dedecms织梦源码采集教程一含有分页的普通新闻(1)织梦怎么采集文章的介绍到此结束,谢谢您的阅读,有关Dedecms织梦后台源码采集功能的使用办法详解、Dedecms织梦模板采集教程一关于火车头采集分页、Dedecms织梦模板采集教程一含有分页的普通文章(1)、Dedecms织梦模板采集教程一含有分页的普通文章(2)等更多相关知识的信息可以在本站进行查询。

本文标签:

上一篇Dedecms织梦源码采集教程一关于火车头采集分页(织梦火车头采集规则教程)

下一篇DEDECMS织梦源码标签loop循环标签的使用教程(织梦php标签)