【价值150元】小说整本采集 5.6.4 (jameson_caiji)-Discuz资源-魔趣建站-我们共同的建站资源共享平台！

【价值150元】小说整本采集 5.6.4 (jameson_caiji) [复制链接]

moqu8 2018-6-8

15832 0

【魔趣建站评测】网友分享的插件，不过本地测试没有效果，需要的自行测试！可搭配：【价值498元】小说阅读器 9.8.7 (jameson_read)

特别注意：

0、本插件只是一个采集程序，采集源不是我们的网站，采集插件不附带和赠送任何图书版权，请只采集无需版权许可的图书，或只采集你拥有版权的图书，如果你采集的图书侵犯他人版权，请自行解决，这和本插件及本工作室无关。
某些地区政府部门要求小说网站必须办理网络出版资质许可，这也需要你自行解决，我们不代办。
总之，使用此插件，请遵循国内各项法律法规，本工作室和本插件不对你网站的任何行为承担任何连带责任
1、必须安装并启用小说阅读器专业版，否则不可生成图书（本插件不适合小说阅读器体验版）；
2、如因为采集源站点改版或域名被GFW屏蔽造成采集失败，请及时通知我们更新；
3、如因使用盗版小说阅读器插件导致的本插件不可用或出错，不提供解决方法
4、采集中存在失败很正常，无法保证百分百成功率，插件有自动更新章节功能，但受限于浏览器采集模式的局限性和源站稳定性、图书数量和章节数量等诸多因素，自动更新成功率很低，请勿依赖此功能
5、由于采集源站的编码和dz网站的编码有多种，故无法准确统计采集的字数，可能需要到小说插件后台-在架图书处手动填写字数
6、只可采集书名、作者和封面(部分站点支持)、章节名称和正文（不采集卷名，采集后章节均在一个分卷里）

关于大量采集和半自动更新

浏览器中使用采集插件的不足之处
0、受限于浏览器中运行php文件的局限性，插件一次只可输入一个目录页网址只可采集一本小说，并且要手动输入目录页网址，因此本插件只适合小批量采集。
1、php对浏览器中运行的php脚本有极短的时间限制(一般为30s)，超过就会强制终止
2、php内存使用的限制，大批量长时间采集非常消耗内存
3、插件后台-采集记录中有“自动更新连载图书”按钮，点击会自动更新设为连载的图书的新章节

为何不采用计划任务全自动更新，而需要手动点击更新按钮来更新呢？原因如下：
----图书采集和新闻类采集不同，一本书通常包含数百甚至数千个章节，每个章节都是一个网页，一本书的网页采集量是一篇新闻数据采集量的几百几千倍，相应的采集执行时间也会非常长，一般都在几分钟到几十分钟不等，而服务器限定的php脚本执行时间只有几十秒，超过就会被强制终止，导致采集失败。
----计划任务全自动更新的脚本无法避免这个超时问题，从而导致更新成功率极低；
----插件后台手动点击按钮半自动更新的方式，可以通过多次刷新页面、分批次采集等方法，避免超时问题，提升更新成功率，而计划任务全自动更新是无法采用这些方法的，所以本插件的自动更新策略选择为【手动点击按钮的半自动更新方式】

更好的自动更新方式是使用爬虫服务器上命令行执行自动采集和更新
如果你的服务器满足以下条件，可以联系我们有偿定制采集爬虫，在服务器端命令行执行
1、独立主机而非虚拟主机，即若是win主机，则可以远程服务器桌面，若是linux主机，则可以ssh连接服务器
php>=5.4+
在windows服务器上采集脚本只能单线程运行，速度略慢，若要多线程可用，还必须满足以下条件
2、服务器系统为 Linux，如centos 等
3、php支持redis，即已安装并启用了php-redis扩展
4、php支持 pcntl扩展
5、服务器上已安装并启用了redis软件
采集脚本要在命令上中执行，比如win上的 CMD 命令或linux上的ssh终端，重复采集只会采集已更新的章节，配合服务器的计划任务crontab服务可实现定时更新