火车采集器V9版POST案例讲解

案例网站：http://www.mornsun.cn/html/selection.html采集内容：如下图 网站分析：通过点击页面分页，发现网址并无变化，说明这不是真实的数据列表地址，那么就需要通过抓包软件F

 PHP  fermos  2022-01-13  0  95
 PHP  教程  采集  POST采集  火车头采集  fiddler  

fiddler 获取到多页的地址

各位有没有遇到页面里能看到内容 ，但是写采集规则的时候为啥在页面源代码里面，找不到呢 咋回事呀 这是。 比如这个页面：http://www.nxrc.com.cn/company/company.php?comid=

 PHP  fermos  2022-01-13  0  86
 PHP  教程  采集  多页地址  火车头采集  fiddler  

fiddler采集HTTPS类型网站的设置

 PHP  fermos  2022-01-13  0  57
 PHP  教程  采集  https  火车头采集  fiddler  

fiddler使用实例之----------获取cookie

有的网站要登录才能采集，就是要采集器获取到登录后网站cookie 才能采集 ，或者是写发布模块要用到抓包获取post的数据，虽然采集器有内置浏览器获取这些信息，但是有的时候获取的不

 PHP  fermos  2022-01-13  0  87
 PHP  教程  采集  Cookie  火车头采集  fiddler  

fiddler使用实例之----------查找隐藏的真实地址

这个教程讲解下如何用fddler ，找到页面的真实地址同样也是可以找到页面隐藏的内容，两者原理是一样的，在页面能看到的信息，页面源代码却看不到，也就是这样的信息其实并不在这

 PHP  fermos  2022-01-13  0  74
 PHP  教程  采集  fiddler  火车头采集  

Python实时数据采集-新型冠状病毒

Python实时数据采集-新型冠状病毒源代码 来源：https://github.com/Programming-With-Love/2019-nCoV疫情数据时间为：2020.2.1项目相关截图：全国数据展示国内数据展示国外数据展示查看指定区域详细数据源代码，注意安装所需

 Python  fermos  2021-06-28  0  163
 python  数据  采集  

如果去除采集内容里的链接和广告

一般我们采集规则写好后，比较郁闷的就是内容里的链接了，因为我不想看到内容里有别人网站的链接，当然更不用说广告了。这里需要说明的是，下面的方式只可以替换掉一些规则或者相对规则的链接和广告，只要那些比较变态的网站在

 帝国CMS  fermos  2021-08-24  0  51
 采集  链接  广告  

清除采集时的空白数据

采集的时候不免有时候会采集到一些空白的数据，这时候为了避免自己网站垃圾的反面形象

就需要清除掉这些数据了

系统设置==执行SQL语句delete from phome_ecms_news where newstext = '';

这样就OK了

 帝国CMS  fermos  2021-08-24  0  54
 采集  清除  空白数据  

如何防止你的网站数据被采集

数据采集，对于个人站长来说是个不错的选择，因为大多个人站长花不起钱去请网站编辑。虽然，没有任何一个软件能想网站编辑那样有效工作，但是只要你用的好，是不会影响的。今天讨论的是如果让你的网站数据不被别人采集走。其实

 帝国CMS  fermos  2021-08-24  0  53
 采集  防止  网站数据  

如何解决采集时出现“标题与作者完全一样不采集”的问题

很多情况下我们自己费老大劲写好采集规则时，预览的时候老是提示“标题与作者完全一样不采集”，这个问题，感觉很郁闷。笔者在开始采集时也是老碰到这个问题，有时为了达到必须采集完的目的，一度去找代码研究。其实

 帝国CMS  fermos  2021-08-24  0  47
 采集  标题与作者完全一样不采集  

介绍下帝国CMS采集关键字设置方法

具体操作流程如下:1、系统设置——管理数据表——管理字段——增加字段
(字段名:keywords字段标识:关键词字段类型:字符型0-255字节长度:70存放表:主表前台内容显示:钩选"将回车替换成

 帝国CMS  fermos  2021-08-24  0  78
 帝国CMS  采集  关键字  

帝国cms采集后入库为外部链接的方法

增加自定义字段empireselfurl，设置为增加，修改，采集，录入。模板要调用titleurl得地方，直接调用[!--empireselfurl--]重新采集入库，解决。

 帝国CMS  fermos  2021-08-24  0  112
 帝国CMS  采集  外部链接  入库  

帝国cms采集排除重复链接重复标题、内容为空的文章

1、后台--栏目--采集管理2、增加采集节点，选定栏目进入后（或 管理采集节点，点击修改后），进入的页面--有一项一项的蓝色标题卡，3、①其中有一个为"附加选项"的选项 是否重复采集同一链接： □重复采集（不选为不重复采集）注

 帝国CMS  fermos  2021-08-24  0  70
 帝国CMS  采集  重复标题  内容为空  

帝国CMS7.5版采集功能升级，更灵活

论坛有人反映帝国CMS的采集功能有近十年没更新了，所以团队对论坛遇到较多的问题进行整理，在帝国CMS7.5版对采集功能进行部分升级，使采集更灵活。
帝国CMS7.5版采集功能升级，更灵活：
1、采集替换字符设置 新增支持自定义字

 帝国CMS  fermos  2021-08-24  0  73
 升级  采集  帝国CMS7.5  

帝国cms后台采集支持https开头的协议地址修改方法

修改：/e/class/connect.php文件在该文件最上面加上以下函数//获取https链接内容function getHTTPS($url) {        $ch = curl_init();  &#16

 帝国CMS  fermos  2021-08-24  0  74
 帝国CMS  采集  后台  https