请选择 进入手机版 | 继续访问电脑版

零基础学习可视化爬虫

[复制链接]
东方龙头 发表于 2020-12-31 20:24:06 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题

  • 先容

    • 背景

互联网上有着无数的网页,包罗着海量的信息。但许多时候,无论出于数据分析或产品需求,我们需要从某些网站,提取出我们感兴趣、有代价的内容,但是我们不可能去每一个网页去复制粘贴。所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的步伐,这就是爬虫技术。
使用爬虫技术批量且自动化得获取和处置惩罚信息。对于整体情况可以多一个侧面去相识。好比得到本地某房产信息网上房屋生意业务代价信息、得到网上商城当前的爆款商品、得到各个机场的实时流量、得到热点城市的火车票情况、各种热门公司招聘中的职位数及月薪分布、某公司的门店变革情况等等信息获取以及做数据分析处置惩罚。  百度作为国内最大的搜索引擎,其核心技术也是爬虫技术。
以上只是爬虫技术的一些应用,爬虫技术还可以用来做许多好玩有趣的东西,所以感兴趣的朋友可以学习下爬虫相关的技术。


  • 目的
爬虫技术作为一种工具,不应是技术人员专利,而应服务广大互联网用户。
本文的主要目的是让各人零底子掌握常用可视化爬虫工具的使用。基于目的网页,读取列表信息,从列表进入详情后提取详细详细内容。


  • 范围

  • 简单先容常用爬虫原理
  • 详细先容常用可视化爬虫工具
  • 学会常用的网页信息爬取的方式方法


  • 过程

    • 常用爬虫原理

每个互联网网页都有个被称作url(统一资源定位符)的地点,列表页通常主要是各个网页url地点的聚集。每个网页则由html(超文本标志语言)组成,内容一般都可以通过对html的截取剖析得到。
因此常用爬虫原理是查找到列表页的url地点,通过url地点访问到每个详情页,通过一定规则去剖析详情页的html得到预期内容


  • 常用可视化爬虫操纵
  • 数据先容
房天下常州站
https://cz.newhouse.fang.com/house/s/?ctm=1.bj.xf_search.head.35

图 1 列表页
 
以上图房产信息列表页数据举例,欣赏器地点栏为网页地点(URL);列表区域为赤色矩形区域,数据主要会合在此处;按键盘F12大概右击网页元素->查抄都可以打开谷歌欣赏器网页元素查抄器。右击列表某个条目的标题->查抄,可以看到标题都包罗了一个链接,此链接一般用来打开详情页面。

图 2 详情页
 
可视化提取



  • 我们直接使用免费的可视化收罗工具后羿收罗器,官网及下载地点:http://www.houyicaiji.com/
  • 下载后直接双击安装即可完成摆设。
  • 复制链接到欢迎页,点击智能收罗按钮

图 3 欢迎页,开始收罗
 


  • 系统自动开始智能分析页面,提取可收罗的信息

图 4 自动智能分析页面
 


  • 点击右下侧深入收罗按钮
    ,软件自动打开第一个链接(默认情况,可修改)收罗详情页面
  • 在详情页面,可以点击添加字段按钮
    添加要收罗的字段,

图 5 深入收罗详情页面
 


  • 点击收罗字段名称前的锚点可以绑定字段到页面内容,右击字段名称可以修改字段属性

图 6 修改字段属性
 
 

图 7 字段绑定页面内容
 


  • 字段设置好后,点击开始收罗按钮
    即可开始列表及详情页的收罗

图 8 启动设置-直接点击启动
 
 

图 9 收罗器运行中
 


  • 收罗完成后软件自动弹出收罗完成提示,也可以手动点击停止按钮,然后点击查察数据大概立刻导出,此处点击立刻导出
 

图 10 收罗完成提示
 


  • 数据被导出到excel中,读者可以对excel再做分析处置惩罚

图 11 导出数据
 
 

图 12 自动打开存放excel目次
 
 

图 13 导出数据详情
 


  • 结语
通过本文,我们相识了

  • 爬虫常见用途
  • 爬虫根本简单原理
  • 简单可视化爬虫工具的使用
希望可以资助到各人,让爬虫技术成为各人趁手的工具。
 

来源:https://blog.csdn.net/muxiaoshan/article/details/111960076
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )