小红书小程序爬虫

这里的小红书爬虫和上篇的微信公众号文章爬虫差不多，可以互相借鉴一下，但内容源地址的传输的时候注意下，小红书为文章地址第一次进入的时候不是真正的地址，可以将地址复制到别的浏览器解析一下，内容源地址会在“?_at=”后面跟上参数，这才是真正的地址(前段时间有人反应,有些文章爬不下来,我分析了一下,是小红书的文章有不同的模板,div的命名加入了随机编码,我改了一下代码,应该可以使用了,采取的三个主要字段全部存入$relwvantart内了,可以打印查看,另爬虫内涉及的自定义函数可以在前几篇博文内找到)

/

* 爬虫逻辑

* 获取html内容

*/

public function crawler($centent_url)

{

//https://www.xiaohongshu.com/discovery/item/5a4ca319a7c9b8481ea24c7e?_at=36df0d880cae739ee71e7e94174a6d7c70351

//接收内容源地址

$request = $centent_url;

$html = $this->getUrlContent($request);

// print_r($html);exit;

$relwvantart = array();

//获取div随机码

preg_match_all("/class=\"content\" data-v-(.*)>/iUs",$html,$temp_variable,PREG_PATTERN_ORDER);

$variable = $temp_variable[1][0];

// $variableimg = $temp_va