对于想了解dedecms织梦采集相同标题新闻跳过采集办法的读者，本文将提供新的信息，我们将详细介绍织梦怎么采集文章，并且为您提供关于Dedecms织梦后台源码采集功能的使用办法详解、dedecms织梦
对于想了解dedecms织梦采集相同标题新闻跳过采集办法的读者，本文将提供新的信息，我们将详细介绍织梦怎么采集文章，并且为您提供关于Dedecms织梦后台源码采集功能的使用办法详解、dedecms织梦新闻标题title长度修改办法、Dedecms织梦模板采集教程一关于火车头采集分页、Dedecms织梦模板采集方法教程:图片集采集（三）的有价值信息。
本文目录一览：- dedecms织梦采集相同标题新闻跳过采集办法（织梦怎么采集文章）
- Dedecms织梦后台源码采集功能的使用办法详解
- dedecms织梦新闻标题title长度修改办法
- Dedecms织梦模板采集教程一关于火车头采集分页
- Dedecms织梦模板采集方法教程:图片集采集（三）
dedecms织梦采集相同标题新闻跳过采集办法（织梦怎么采集文章）
采集到相同新闻时，织梦会重复添加新闻，我们要让相同的新闻跳过采集
打开 /dede/article_add.php 找到
if(empty($click)) $click = ($cfg_arc_click=='-1' ? mt_rand(50, 200) : $cfg_arc_click);
在它的下面加入
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
if(!empty($title) && $cfg_check_title=='Y')
{
$row = $dsql->GetOne("SELECT id FROM `dede_archives` WHERE title LIKE '$title' ");
if(is_array($row))
{
if(empty($typeid))
{
ShowMsg("请指定文档的栏目！","-1");
exit();
}
if(empty($channelid))
{
ShowMsg("文档为非指定的类型，请检查你发布内容的表单是否合法！","-1");
exit();
}
if(!CheckChannel($typeid,$channelid))
{
ShowMsg("你所选择的栏目与当前模型不相符，请选择白色的选项！","-1");
exit();
}
if(!TestPurview('a_New'))
{
CheckCata日志($typeid,"对不起，你没有操作栏目 {$typeid} 的权限！");
}
//对保存的内容进行处理
$id = $row['id'];
$pubdate = GetMkTime($pubdate);
$sortrank = AddDay($pubdate,$sortup);
$ismake = $ishtml==0 ? -1 : 0;
$autokey = 1;
#p#分页标题#e#$title = dede_htmlspecialchars(cn_substrR($title,$cfg_title_maxlen));
$shorttitle = $shorttitle;
$color = cn_substrR($color,7);
$writer = $writer;
$source = $source;
$description = cn_substrR($description,250);
$keywords = trim(cn_substrR($keywords,60));
$filename = trim(cn_substrR($filename,40));
$isremote = (empty($isremote)? 0 : $isremote);
$serviterm=empty($serviterm)? "" : $serviterm;
if(!TestPurview('a_Check,a_AccCheck,a_MyCheck'))
{
$arcrank = -1;
}
$adminid = $cuserLogin->getUserID();
//处理上传的缩略图
if(empty($ddisremote))
{
$ddisremote = 0;
}
$litpic = GetDDImage('none',$picname,$ddisremote);
//分析body里的内容
$body = AnalyseHtmlBody($body,$description,$litpic,$keywords,'htmltext');
//分析处理附加表数据
$inadd_f = '';
$inadd_v = '';
if(!empty($dede_addonfields))
{
#p#分页标题#e#$addonfields = explode(';',$dede_addonfields);
$inadd_f = '';
$inadd_v = '';
if(is_array($addonfields))
{
foreach($addonfields as $v)
{
if($v=='')
{
continue;
}
$vs = explode(',',$v);
if($vs[1]=='htmltext'||$vs[1]=='textdata') //HTML文本特殊处理
{
${$vs[0]} = AnalyseHtmlBody(${$vs[0]},$description,$litpic,$keywords,$vs[1]);
}else
{
#p#分页标题#e#if(!isset(${$vs[0]}))
{
${$vs[0]} = '';
}
${$vs[0]} = GetFieldValueA(${$vs[0]},$vs[1],$id);
}
$inadd_f .= ",`{$vs[0]}` = '".${$vs[0]}."'";
}
}
}
//处理图片文档的自定义属性
if($litpic!='' && !preg_match("
本文章网址：http://www.ppssdd.com/code/12191.html。转载请保留出处，谢谢合作！
Dedecms织梦后台源码采集功能的使用办法详解
前言：这篇新闻是为了初次接触Dedecms采集功能的朋友所写的。所选取的目标站点为新闻内容详细页面不含有分页的Dedecms官方网站的dreameaver栏目新闻，通过图文并茂的形式，详细地介绍了怎么创建一个基本的采集规则。本文共分为三节：*节，主要是介绍怎么进入采集界面和新增采集节点中的*步：设置基本信息及URL索引页规则；第二节，主要是介绍新增采集节点中的第二步：设置字段获取规则；第三节，主要是介绍怎么采集指定节点和怎么导出采集内容。下面进入*节。
1.1进入采集节点管理界面如（图1）所示，在后台管理界面的主菜单中单击"采集"，然后单击"采集节点管理"，即可进入采集节点管理界面，如（图2）所示。
图1-后台管理界面
图2-采集节点管理界面
1.2. 增加新节点在采集节点管理界面中，单击左下角的"增加新节点"或者右上角的"添加新节点"（如图2），都可进入"选择内容模型"界面，如（图3）所示，
图3-选择内容模型界面
在"选择内容模型"界面的下拉列表框中，有"普通新闻"和"图片集"可供选择。根据被采集页面的类型，选择相应的内容模型。本文这里选择"普通新闻"，单击确定后，便可进入"新增采集节点：*步设置基本信息及URL索引页规则"界面，如（图4）所示，
图4-新增采集节点：*步设置基本信息及URL索引页规则
1.2.1 设置节点基本信息
图5-节点基本信息
如（图5）所示，
节点名称：给新建立的节点起一个名字，这里填上"采集测试（一）"；
目标页面编码：设定被采集目标页的编码格式，有GB2312、UTF8和BIG5三种。可通过在被采集目标页面上，单击右键后选择"查看源文件"来获取。
操作步骤：
（a）打开被采集的目标页：；
（b）单击右键后选择"查看源文件"，找到"charset"， 如（图6）所示，
图6-查看源文件
其等号后面的代码就是所需的"编码格式"，这里是"gb2312"。
"区域匹配模式"：设定怎么匹配所需采集的内容部分，可采用字符串或者正则表达式。系统默认的模式是字符串。如果比较了解正则表达式的朋友，可以在这里选择正则表达式的模式。
"内容导入顺序"：指定新闻列表导入时候的顺序，可以选择"与目标站一致"或"与目标站相反"。
"防盗链模式"：针对被采集的目标站点有无刷新限制。一开始很难判断出来，需要测试后才能知道。如果有的话，这里需要设置一下"资源download超时时间"。
"引用URL"：填入任何一个即将被采集的新闻内容详细页面的URL。
具体操作步骤：
（a）在已打开的新闻栏目页中，单击*篇新闻的
标题"在Dreamweaver中为插入的Flash添加透明"，以打开新闻内容详细页面，如（图7）所示，
图7-新闻内容详细页面
（b）此时在浏览器的网址地址栏中显示的URL，即为需要填写在"引用URL"处的URL，如（图8）所示，
图8-浏览器的网址地址栏
到这里，"节点基本信息"就设置完成了。*后结果，如（图9）所示，
图9-设置后的节点基本信息
检查无误后，进入下一步设置。
1.2.2 设置列表URL获取规则如（图10）所示，
图10-列表URL获取规则
这里是设置被采集的新闻栏目页的匹配规则。如果被采集的新闻栏目页有一定的规律，可选择"批量生成列表URL"；如果被采集的新闻栏目页完全没有规律可循，那么可选择"手工指定列表URL"；如果被采集的站点提供了RSS，则可以选择"从RSS中获取"。对于特殊情况，例如：部分栏目页有规律，而其余的又没有规律，则可在"匹配URL"中填上有规律的部分，然后把没有规律的部分填写在"手动指定URL"。
具体操作步骤：
（a）首先，回到已打开的新闻栏目页，找到浏览器的网址地址栏中显示的URL（图8）和页面底部的换页部分。如（图11）所示，
图11-换页
（b）单击"2"，打开新闻栏目页的第二页，此时浏览器的网址地址栏中所显示的URL和页面底部的换页部分，如（图12）和（图13）所示，
图12-第二页的URL
图13-第二页的换页部分
#p#分页标题#e#（c）在已打开的新闻栏目页的第二页上面，单击（1），打开新闻栏目页的首页，这时页面底部的换页部分与图11相同，而浏览器的网址地址栏中所显示的URL与之前图8并不相同，如（图14）所示，
图14-*页的URL
（d）由（b）和（c）推知，此处被采集的新闻栏目页的URL所遵循规律为：
(*).html。稳妥起见，请自行测试更多栏目页。确定规律后，在"匹配URL"中，填入新闻栏目页所遵循的规律。
（e）*后，指定需要采集的页码或者规律数字，并设定其递增规律。
到这里，"列表URL获取规则"部分就设置结束了。*后结果，如（图15）所示，
图15-设置后的列表URL获取规则
确定正确后，进入下一步设置。
1.2.3设置新闻URL匹配规则如（图16）所示，
图16-新闻URL匹配规则
这里是设置被采集新闻栏目页的匹配规则。
具体操作步骤：
（a）对于"区域开始的HTML"，可通过在打开的新闻列表首页上，单击右键后选择"查看源文件"。在源文件中，找到*篇新闻的标题"在Dreamweaver中为插入的Flash添加透明"，如（图17）所示，
图17-查看源文件中，*篇新闻的标题
通过观察，不难看出"<div>"为整个新闻列表的开始部分。因此，在"区域开始的HTML"中，填入"<div>"。
（b）在源文件中，找到*后一篇新闻标题"通过Dreamweaver设计网页时组织CSS的建议"，如（图18）所示，
图18-查看源文件中，*后一篇新闻的标题
结合新闻列表的开始部分并通过观察可知，*个"</div>"为整个新闻列表的结束部分。因此，在"区域结束的HTML"中，应填入"</div>"。
"如果链接中含有图片"：设置对链接中含有图片的处理方式，有不处理和采集为缩略图可选。可根据实际需要选择。
"对区域URL进行再次筛选"：可以使用正则表达式对区域网站进行再次筛选，这是针对一些需要被保留或者需要滤掉的内容，尤其是混编的栏目页面，通过使用"必须包含"或者"不能包含"过滤掉所希望获取或者不希望获取的新闻内容详细页面的URL。
具体操作步骤：
回到正在打开的新闻列表首页的源文件，通过观察可知，每一个新闻内容详细页面地址的扩展名均为.html。因此，可在"必须包含"中，填入".html"。
到这里，"新闻URL匹配规则"就设置结束了。*后结果， 如（图19）所示，
图19-设置后的新闻URL匹配规则
通过1.2.1小节、1.2.2小节和1.2.3小节，新增采集节点的*步就已经设置完成了。设置后的结果，如（图20）所示，
图20-设置后的新增采集节点：*步设置基本信息及URL索引页规则
#p#分页标题#e#全部完成并检查无误后，单击"保存信息并进入下一步设置"。如果之前设置正确，单击后，将会进入"新增采集节点：测试基本信息及URL索引页规则设置的URL获取规则测试"页面并看到相应的新闻列表地址。如（图21）所示，
图21-URL获取规则测试
确定正确无误后，单击"保存信息并进入下一步设置"。否则，请单击"返回上一步进行修改"。
本文章网址：http://www.ppssdd.com/code/9008.html。转载请保留出处，谢谢合作！
dedecms织梦新闻标题title长度修改办法
dedecms织梦系统默认的新闻标题的*大长度为60字节，即20个汉字(utf-8编码1个中文占用3个字节，gbk编码1个中文占用2个字节)如果新闻标题超过60字节将会导致标题显示不全，而现在新闻标题20个汉字是远远不能满足需要的，所以我们要做的就是修改系统默认的字数限制。办法如下：
1、修改织梦后台“系统->系统基本参数->其它选项->新闻标题长度”为想要的长度，例如200（*大值不能超过255），点击确定保存
2、在织梦后台“系统->SQL命令行工具”执行SQL语句：
alter table dede__archives change title title varchar(250)
注意：sql语句中的dede是默认表前缀，如果你安装时修改了表前缀，这里也要做相应的修改。这样就完成了织梦新闻标题title长度修改。
本文章网址：http://www.ppssdd.com/code/12140.html。转载请保留出处，谢谢合作！
Dedecms织梦模板采集教程一关于火车头采集分页
第一步，编辑任务，切换到“采集内容规则”标签，选中“内容”，点击修改，勾选上“该标签在分页中匹配”，很多人没有采集到分页就是因为少了这一步。
第二步，找到下面的“分页获取规则”，选择“全部列出模式”，然后填写“分页网址提取区域”，并选择“自动识别”。
第三步，切换到“标签循环处理”，在“分页内容连接代码”里填写“
”。
通过采集测试，我们可以看到，分页的内容可以采集了，同时分页处自动加上了织梦的分页标签。
Dedecms织梦模板采集方法教程:图片集采集（三）
前言：本文是“dedecms采集功能的使用方法 --- 图片集“的第三节，在前两节的基础上，将会对“如何采集指定节点”和“如何导出采集内容”做详细的介绍，并在最后给出本例的采集配置源码。为了与前文保持一致，本文将延续使用前文的章节标记。本文的采集规则：
{dede:listconfig}
{dede:noteinfo notename="图片采集" channelid="2" macthtype="string"
refurl="http://www.zcool.com.cn/show/ZNTc1MDT=.html" sourcelang="utf-8" cosort="asc"
isref="no" exptime="10" usemore="0" /}
{dede:listrule sourcetype="batch" RSSurl="http://" regxurl="http://www.zcool.com.cn/shows/0!0!0!200!(*)!1!0!0/"
startid="1" endid="1" addv="1" urlrule="area" musthas="=.html"
nothas="" listpic="1" usemore="0"}
{dede:addurls}{/dede:addurls}
{dede:batchrule}{/dede:batchrule}
{dede:regxrule}{/dede:regxrule}
{dede:areastart}
|
今天的关于dedecms织梦采集相同标题新闻跳过采集办法和织梦怎么采集文章的分享已经结束，谢谢您的关注，如果想了解更多关于Dedecms织梦后台源码采集功能的使用办法详解、dedecms织梦新闻标题title长度修改办法、Dedecms织梦模板采集教程一关于火车头采集分页、Dedecms织梦模板采集方法教程:图片集采集（三）的相关知识，请在本站进行查询。
本文标签：
