本文将为您提供关于Dedecms织梦源码采集办法教程:图片集采集的详细介绍,我们还将为您解释二的相关知识,同时,我们还将为您提供关于Dedecms织梦后台源码采集功能的使用办法详解、Dedecms织梦
本文将为您提供关于Dedecms织梦源码采集办法教程:图片集采集的详细介绍,我们还将为您解释二的相关知识,同时,我们还将为您提供关于Dedecms织梦后台源码采集功能的使用办法详解、Dedecms织梦模板采集教程一关于火车头采集分页、Dedecms织梦模板采集方法教程:图片集采集(三)、Dedecms织梦模板采集方法教程:图片集采集(二)的实用信息。
本文目录一览:- Dedecms织梦源码采集办法教程:图片集采集(二)(织梦采集器图片本地化)
- Dedecms织梦后台源码采集功能的使用办法详解
- Dedecms织梦模板采集教程一关于火车头采集分页
- Dedecms织梦模板采集方法教程:图片集采集(三)
- Dedecms织梦模板采集方法教程:图片集采集(二)
Dedecms织梦源码采集办法教程:图片集采集(二)(织梦采集器图片本地化)
前言:本文是“Dedecms采集功能的使用办法 --- 图片集“的第二节,在前一节的基础上,将会对新增采集节点中的第二步:“设置字段获取规则”部分做一个简单的介绍。为了与前文保持一致,本文将延续使用前文的章节标记。
上接*节。
2.1新增采集节点:第二步设置内容字段获取规则单击“保存信息并进入下一步设置”后,便可进入“新增采集节点:第二步设置内容字段获取规则”页面,如(图21)所示,
图21-设置内容字段获取规则
在预览URL处,系统将会自动指定一篇新闻作为示范页面,如有特殊需要可自行更改。打开示范页面,经观察可发现页面中含有分页,如(图22)所示,
图22-分页
下面来设置分页部分的匹配规则。
具体操作步骤:
(a)在页面的源代码中,找到分页代码的开始部分和结束部分,如(图23)所示,
图23-分页代码
(b)经过观察可知,分页代码位于“<div class=”show_pages”>“和”</div>”之间。因此,在”内容分页导航所在的区域匹配规则“中,应填写”<div class=”show_pages”>[内容]</div> “。对于分页代码的样式,一共有三种可供选择,这里应选择*种” 全部列出的分页列表”。填写后,如(图24)所示
图24-设置后的网页内容获取规则
对于“固定采集项目”中的“内容摘要、关键词和缩略图“三个部分,系统会用正则进行自动匹配,仅需配置过滤内容即可。下面主要介绍怎么获取“新闻标题、新闻作者、新闻来源、发布时间和新闻内容”的采集规则以及简单的过滤规则。
2.1.1 获取新闻标题的采集规则首先,打开“预览URL“的页面并单击右键,选择”查看源代码“,找到新闻标题” 高清壁纸(非原创作品)“,如(图25)所示,
图25-在源代码中的新闻标题
这里的新闻标题处在”<h1 class=“font14 b blink”></h1>”之间,因此这里需要填写”<h1 class=“ font14 b blink”>[内容]</h1>”作为新闻标题的匹配规则。对于所包含的<img src=http://www.dede58.com/a/dedejq/”/images/digest1.gif alt=”推荐的欣赏”>”可根据需要选择保留或者是过滤掉。如果希望把这张图片过滤掉,需要在过滤规则中填写:“{dede:trim replace='}<img([^>]*)>{/dede:trim}”。填写后,如(图26)所示,
图26-新闻标题的采集规则
2.1.2 获取新闻作者的采集规则经过查找源代码和对比原文,可发现本文没有涉及到原文作者。这里选择不填写。
2.1.3 获取新闻来源的采集规则这里把页面中的上传者作为新闻来源,如图(27)所示,
图27-上传者的信息
查看源代码,并找到相应的部分,如(图28)所示,
图28-源代码中上传者的信息
从图28中,可发现上传者的名字介于“<li><p>“和“</p>”之间,因此这里应填写“<li><p>[内容]</p>”作为新闻来源的采集规则。虽然,选定的采集规则能采集到上传者的名字,但是同时也包含了所不希望采集到的图片和链接,下面通过设置过滤规则把它们过滤掉。首先,过滤掉链接,这里使用“{dede:trim replace='}<a([^>]*)>{/dede:trim}{dede:trim replace=’’}</a>{/dede:trim}”;其次,使用“{dede:trim replace='}<img([^>]*)>{/dede:trim}”过滤掉图片。填写后,如图29所示,
图29-新闻来源的采集规则
2.1.4 获取新闻发布时间的采集规则 #p#分页标题#e#回到图23,可发现有“17小时前”,由此可见,这里采集数字17就可以了。采集规则为“<span class=”bh”>[内容]小时前</span>”。这里不需要使用过滤规则。填写后,如图30所示,
图30-新闻发布时间的采集规则
2.1.5 获取图片集合以及图集内容的采集规则这个部分是编写采集规则的重点,也是难点。需要非常注意。
图片集合:如果把采集的匹配规则填写在这里的话,系统就会把所采集到的图片,以图集的形式保存起来,注意这里只采集图片。
图集内容:在显示图集的时候,所需显示的说明性文字或者图片。
具体操作步骤:
(a)在打开的内容详细页面的源代码中,找到内容的开始部分“一些壁纸”,如图31所示,图31-内容的开始部分
分析一下这个源代码可知,以下两点:
(1)“一些壁纸”是这个图集的内容,因此可以把“条评论<br/>”作为匹配图集内容的开始部分。但是这样采集到的内容会包含有</span>,需要在过滤规则中使用“{dede:trim replace=""}</span>{/dede:trim}”过滤掉。
(2)“<div class=”show_content_pic”><ul>”可作为匹配图片集合的开始部分,而且每一个图片及其相关信息都是在“<li class=”art_content_listli”>”和”</li>”之间的。注意到这段代码中有两个地方都出现了<img>,通过对比原文可发现,”<img src=http://www.dede58.com/a/dedejq/”/images/zoomit1.gif” class=”jdjz”>”是一个图标的源代码,这里是不需要被采集到的。为了过滤掉这个图标,需要在匹配规则中填写“{dede:trim replace=""}<p>(.*)</p>{/dede:trim}”。
填写后,如(图32)所示,
图32-开始部分的匹配规则及其过滤规则
(b)找到图集内容的结束部分,因为涉及到分页部分,所以需要选取分页结束的位置,如图33所示,
图33-图集内容的结束部分
很明显,这里应选取“<li ><script type="text/javascript”>”作为图片集合和图集内容的结束部分。填写完成后,如(图34)所示,
图34-结束部分的匹配规则及其过滤规则
到这里,“新增采集节点:第二步设置内容字段获取规则”,就设置完成了。来看一下整个配置页面,如(图35)所示,
图35-设置后的新增采集节点:第二步设置内容字段获取规则
检查无误后,单击“保存并测试”。如果之前设置正确,单击后,将会进入“新增采集节点:测试内容字段设置”页面并看到相应的新闻内容。如(图36)所示,
图36-新增采集节点:测试内容字段设置
确定正确无误后,如果单击“仅保存”,系统将会提示“成功保存配置“并返回”采集节点管理“界面;如果单击“保存并开始采集“,将会进入”采集指定节点“界面。否则,请单击“返回上一步进行修改”。
关于第二节的介绍就到这里。下面进入第三节。。。
本文章网址:http://www.ppssdd.com/code/9152.html。转载请保留出处,谢谢合作!Dedecms织梦后台源码采集功能的使用办法详解
前言:这篇新闻是为了初次接触Dedecms采集功能的朋友所写的。所选取的目标站点为新闻内容详细页面不含有分页的Dedecms官方网站的dreameaver栏目新闻,通过图文并茂的形式,详细地介绍了怎么创建一个基本的采集规则。本文共分为三节:*节,主要是介绍怎么进入采集界面和新增采集节点中的*步:设置基本信息及URL索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍怎么采集指定节点和怎么导出采集内容。下面进入*节。
1.1进入采集节点管理界面如(图1)所示,在后台管理界面的主菜单中单击"采集",然后单击"采集节点管理",即可进入采集节点管理界面,如(图2)所示。
图1-后台管理界面
图2-采集节点管理界面
1.2. 增加新节点在采集节点管理界面中,单击左下角的"增加新节点"或者右上角的"添加新节点"(如图2),都可进入"选择内容模型"界面,如(图3)所示,
图3-选择内容模型界面
在"选择内容模型"界面的下拉列表框中,有"普通新闻"和"图片集"可供选择。根据被采集页面的类型,选择相应的内容模型。本文这里选择"普通新闻",单击确定后,便可进入"新增采集节点:*步设置基本信息及URL索引页规则"界面,如(图4)所示,
图4-新增采集节点:*步设置基本信息及URL索引页规则
1.2.1 设置节点基本信息图5-节点基本信息
如(图5)所示,
节点名称:给新建立的节点起一个名字,这里填上"采集测试(一)";
目标页面编码:设定被采集目标页的编码格式,有GB2312、UTF8和BIG5三种。可通过在被采集目标页面上,单击右键后选择"查看源文件"来获取。
操作步骤:
(a)打开被采集的目标页:;
(b)单击右键后选择"查看源文件",找到"charset", 如(图6)所示,
图6-查看源文件
其等号后面的代码就是所需的"编码格式",这里是"gb2312"。
"区域匹配模式":设定怎么匹配所需采集的内容部分,可采用字符串或者正则表达式。系统默认的模式是字符串。如果比较了解正则表达式的朋友,可以在这里选择正则表达式的模式。
"内容导入顺序":指定新闻列表导入时候的顺序,可以选择"与目标站一致"或"与目标站相反"。
"防盗链模式":针对被采集的目标站点有无刷新限制。一开始很难判断出来,需要测试后才能知道。如果有的话,这里需要设置一下"资源download超时时间"。
"引用URL":填入任何一个即将被采集的新闻内容详细页面的URL。
具体操作步骤:
(a)在已打开的新闻栏目页中,单击*篇新闻的
标题"在Dreamweaver中为插入的Flash添加透明",以打开新闻内容详细页面,如(图7)所示,
图7-新闻内容详细页面
(b)此时在浏览器的网址地址栏中显示的URL,即为需要填写在"引用URL"处的URL,如(图8)所示,
图8-浏览器的网址地址栏
到这里,"节点基本信息"就设置完成了。*后结果,如(图9)所示,
图9-设置后的节点基本信息
检查无误后,进入下一步设置。
1.2.2 设置列表URL获取规则如(图10)所示,
图10-列表URL获取规则
这里是设置被采集的新闻栏目页的匹配规则。如果被采集的新闻栏目页有一定的规律,可选择"批量生成列表URL";如果被采集的新闻栏目页完全没有规律可循,那么可选择"手工指定列表URL";如果被采集的站点提供了RSS,则可以选择"从RSS中获取"。对于特殊情况,例如:部分栏目页有规律,而其余的又没有规律,则可在"匹配URL"中填上有规律的部分,然后把没有规律的部分填写在"手动指定URL"。
具体操作步骤:
(a)首先,回到已打开的新闻栏目页,找到浏览器的网址地址栏中显示的URL(图8)和页面底部的换页部分。如(图11)所示,
图11-换页
(b)单击"2",打开新闻栏目页的第二页,此时浏览器的网址地址栏中所显示的URL和页面底部的换页部分,如(图12)和(图13)所示,
图12-第二页的URL
图13-第二页的换页部分
#p#分页标题#e#(c)在已打开的新闻栏目页的第二页上面,单击(1),打开新闻栏目页的首页,这时页面底部的换页部分与图11相同,而浏览器的网址地址栏中所显示的URL与之前图8并不相同,如(图14)所示,
图14-*页的URL
(d)由(b)和(c)推知,此处被采集的新闻栏目页的URL所遵循规律为:
(*).html。稳妥起见,请自行测试更多栏目页。确定规律后,在"匹配URL"中,填入新闻栏目页所遵循的规律。
(e)*后,指定需要采集的页码或者规律数字,并设定其递增规律。
到这里,"列表URL获取规则"部分就设置结束了。*后结果,如(图15)所示,
图15-设置后的列表URL获取规则
确定正确后,进入下一步设置。
1.2.3设置新闻URL匹配规则如(图16)所示,
图16-新闻URL匹配规则
这里是设置被采集新闻栏目页的匹配规则。
具体操作步骤:
(a)对于"区域开始的HTML",可通过在打开的新闻列表首页上,单击右键后选择"查看源文件"。在源文件中,找到*篇新闻的标题"在Dreamweaver中为插入的Flash添加透明",如(图17)所示,
图17-查看源文件中,*篇新闻的标题
通过观察,不难看出"<div>"为整个新闻列表的开始部分。因此,在"区域开始的HTML"中,填入"<div>"。
(b)在源文件中,找到*后一篇新闻标题"通过Dreamweaver设计网页时组织CSS的建议",如(图18)所示,
图18-查看源文件中,*后一篇新闻的标题
结合新闻列表的开始部分并通过观察可知,*个"</div>"为整个新闻列表的结束部分。因此,在"区域结束的HTML"中,应填入"</div>"。
"如果链接中含有图片":设置对链接中含有图片的处理方式,有不处理和采集为缩略图可选。可根据实际需要选择。
"对区域URL进行再次筛选":可以使用正则表达式对区域网站进行再次筛选,这是针对一些需要被保留或者需要滤掉的内容,尤其是混编的栏目页面,通过使用"必须包含"或者"不能包含"过滤掉所希望获取或者不希望获取的新闻内容详细页面的URL。
具体操作步骤:
回到正在打开的新闻列表首页的源文件,通过观察可知,每一个新闻内容详细页面地址的扩展名均为.html。因此,可在"必须包含"中,填入".html"。
到这里,"新闻URL匹配规则"就设置结束了。*后结果, 如(图19)所示,
图19-设置后的新闻URL匹配规则
通过1.2.1小节、1.2.2小节和1.2.3小节,新增采集节点的*步就已经设置完成了。设置后的结果,如(图20)所示,
图20-设置后的新增采集节点:*步设置基本信息及URL索引页规则
#p#分页标题#e#全部完成并检查无误后,单击"保存信息并进入下一步设置"。如果之前设置正确,单击后,将会进入"新增采集节点:测试基本信息及URL索引页规则设置的URL获取规则测试"页面并看到相应的新闻列表地址。如(图21)所示,
图21-URL获取规则测试
确定正确无误后,单击"保存信息并进入下一步设置"。否则,请单击"返回上一步进行修改"。
本文章网址:http://www.ppssdd.com/code/9008.html。转载请保留出处,谢谢合作!Dedecms织梦模板采集教程一关于火车头采集分页
第一步,编辑任务,切换到“采集内容规则”标签,选中“内容”,点击修改,勾选上“该标签在分页中匹配”,很多人没有采集到分页就是因为少了这一步。
第二步,找到下面的“分页获取规则”,选择“全部列出模式”,然后填写“分页网址提取区域”,并选择“自动识别”。
第三步,切换到“标签循环处理”,在“分页内容连接代码”里填写“
”。
通过采集测试,我们可以看到,分页的内容可以采集了,同时分页处自动加上了织梦的分页标签。
Dedecms织梦模板采集方法教程:图片集采集(三)
前言:本文是“dedecms采集功能的使用方法 --- 图片集“的第三节,在前两节的基础上,将会对“如何采集指定节点”和“如何导出采集内容”做详细的介绍,并在最后给出本例的采集配置源码。为了与前文保持一致,本文将延续使用前文的章节标记。本文的采集规则:
{dede:listconfig} {dede:noteinfo notename="图片采集" channelid="2" macthtype="string" refurl="http://www.zcool.com.cn/show/ZNTc1MDT=.html" sourcelang="utf-8" cosort="asc" isref="no" exptime="10" usemore="0" /} {dede:listrule sourcetype="batch" RSSurl="http://" regxurl="http://www.zcool.com.cn/shows/0!0!0!200!(*)!1!0!0/" startid="1" endid="1" addv="1" urlrule="area" musthas="=.html" nothas="" listpic="1" usemore="0"} {dede:addurls}{/dede:addurls} {dede:batchrule}{/dede:batchrule} {dede:regxrule}{/dede:regxrule} {dede:areastart}
内容]内容]Box_uploader1"> 内容]内容]小时前内容] |
Dedecms织梦模板采集方法教程:图片集采集(二)
前言:本文是“dedecms采集功能的使用方法 --- 图片集“的第二节,在前一节的基础上,将会对新增采集节点中的第二步:“设置字段获取规则”部分做一个简单的介绍。为了与前文保持一致,本文将延续使用前文的章节标记。
上接第一节。
2.1新增采集节点:第二步设置内容字段获取规则
单击“保存信息并进入下一步设置”后,便可进入“新增采集节点:第二步设置内容字段获取规则”页面,如(图21)所示,
图21-设置内容字段获取规则
在预览网址处,系统将会自动指定一篇文章作为示范页面,如有特殊需要可自行更改。打开示范页面,经观察可发现页面中含有分页,如(图22)所示,
图22-分页
下面来设置分页部分的匹配规则。
具体操作步骤:
(a)在页面的源代码中,找到分页代码的开始部分和结束部分,如(图23)所示,
图23-分页代码
(b)经过观察可知,分页代码位于“
图24-设置后的网页内容获取规则
对于“固定采集项目”中的“内容摘要、关键字和缩略图“三个部分,系统会用正则进行自动匹配,仅需配置过滤内容即可。下面主要介绍如何获取“文章标题、文章作者、文章来源、发布时间和文章内容”的采集规则以及简单的过滤规则。
2.1.1 获取文章标题的采集规则
首先,打开“预览网址“的页面并单击右键,选择”查看源代码“,找到文章标题” 高清壁纸(非原创作品)“,如(图25)所示,
图25-在源代码中的文章标题
这里的文章标题处在”

图26-文章标题的采集规则
2.1.2 获取文章作者的采集规则
经过查找源代码和对比原文,可发现本文没有涉及到原文作者。这里选择不填写。
2.1.3 获取文章来源的采集规则
这里把页面中的上传者作为文章来源,如图(27)所示,
图27-上传者的信息
查看源代码,并找到相应的部分,如(图28)所示,
图28-源代码中上传者的信息
从图28中,可发现上传者的名字介于“
Box_uploader1">
上传者的名字,但是同时也包含了所不希望采集到的图片和链接,下面通过设置过滤规则把它们过滤掉。首先,过滤掉链接,这里使用“{dede:trim replace='}