商务服务
爬虫面试题
2024-12-26 16:59

1. http 基于 tcp/ip 协议

爬虫面试题

2. 百度是通用性爬虫

3. http 返回的状态码代表成功的是 200

4. 网页编码使用的函数式 encode()

5. 解码使用的函数式是 decode()

6. 爬虫又叫 网页蜘蛛、网络机器人

7. 什么是爬虫并解释其概念?

8. http 协议与 https 协议的区别

9. 谈谈你对 tcp 协议与 udp 协议的理解

10. 什么是 robots 协议?阐述 robots 协议与 爬虫的关系?

11. 网页编码有 utf-8、gbk、gb2312

12. 默认端口信息:

13. Requests 模块发送 get 请求的参数:

14. Requests 模块发送 post 请求的参数:

15. 简述聚焦爬虫的设计思路

16. 简述爬虫的分类及各类爬虫的概念

17. 请写出 8 中常用的请求方法

18. 列举反爬虫机制(至少 8 种)

 

19. Requests 发送请求时携带 headers 参数及作用(至少写 3 点)

20. Requests 向服务器发送文件时,文件的打开模式为 wb

21. Requests 模块那个类自动封装 cookie : session

22. 前端页面由 html、css、Javascript 等三部分组成

23. 请列举三个可以实现网页请求的库

24. 简述 html、css、Javascript 的作用

25. 针对 requests 请求的响应对象,如何获取其文本形式,二进制形式及 json数据

26. 请列举三种数据持久化的方式

27. 正则元字符中“.”代表 匹配 任意字符,换行符除外

28. Responose.text,response.content,res.json 分别获取响应数据的什么形式

29. 正则表达式中 (.*) 和 (.*?) 匹配区别

30. Re 模块常用的三个匹配方法,并简述其特点

31. Xpath 中根据索引定位节点数时,索引从 1 开始

32. Xpath 中的 contains()函数的第一个参数是 @属性名 ,第二个参数是属性包含的值

33. 请简述单属性多值匹配,多属性匹配概念及使用到的函数或关键字

34. 请列举爬虫中解析数据的模块(至少三种)

35. cookie 和 session 的区别

36. 将 dict 转成 json 串,用 json 模块的函数是 json.dumps()

37. Json.dumps 的参数 ensure_ascii 的作用 避免中文乱码

38. Xpath 如何定位节点的基本语法(至少写三点)

39. 请描述 xpath 表达式中的https://www.cnblogs.com/gaodenghan/p/div[@id=”name”]和https://www.cnblogs.com/gaodenghan/p//div[@id=”name”]的含义

40. 请写出 xpath 表达式中的/text()与//text()的区别

41. 请写出 tcp/udp 协议,ip 协议,arp 协议,http/https 协议及 ftp 协议分别位

于 tcp/ip 五层模型的哪一层

42. 请画出 tcp/ip 五层模型

43. 谈谈 tcp 三次握手四次挥手中为什么要三次握手

44. 请写出 ftp 协议,ssh 协议、mysql、MongoDB、redis 等协议或软件的默

45. 请列举三个第三方提取数据的 Python 库

46. Bs4 的三种选择器是什么:节点选择器、方法选择器、css 选择器

47. Beautifulsoup 使用步骤

48. 请简述 bs4 和 lxml 的区别

49. 请简述 bs4 中 get_text()和 string 的区别

50. Bs4 对定位到的标签如何获取其直接文本,子孙节点文本和属性

 

51. Selenium 使用 execute_script(js) 执行 JS 代码

52. 根据 name 属性查找网页标签使用 find_element_by_name 方法

53. 请列举至少四种 selenium 的交互操作

54. 列举 selenium 至少四种定位页面元素的方式

 

55. 假如实例化的浏览器对象名为 broswer,请写出该对象打开百度首页的代码以及获取百度首页源码的代码

56. Mongodb 查看当前工作的数据库的命令是 db

57. Mongodb 查看所有的非空数据库的命令是 show dbs

58. Show dbs 命令无法查看 空 数据库

59. 请写出 mongo db 数据的相关命令

60. 请列举三种关系型数据库与两种菲关系型数据库

61. Mongodb 数据库的优点

 

62. 请解释以下操作符的含义:

63. 向 queue 队列中添加元素操作为 queue.put()

64. 从 queue 队列获取元素的操作为 queue.get()

65. 多线程爬虫共封装了几个类?每个类的作用是什么

66. 谈谈你对进程与线程的理解

67. 请创建一个名为 dataqueueu 的队列,并向其中添加一个字符串 s=’helloqueue’的代码

68. 请简单绘制多线程爬虫的架构原理图

69. 简述什么是 i/o 密集型和计算密集型

70. 创建一个 scrapy 项目的命令是 scrapy startproject projectname

71. Scrapy 项目运行的命令是 scrapy crawl spidername

72. Scrapy 框架创建爬虫文件的命令为 scrapy genspider spidernamedomain

73. 简述 scrapy 五大核心组件及作用

74. Scrapy 框架有哪些优点

75. Scrapy 基于 Twisted 异步 框架

76. Allowed_domains 的作用是 限制爬虫爬取的范围

77. 请简述 scrapy 框架五大核心组件有哪些

78. 如何判断 scrapy 管道类是否需要 return item

79. 请问为什么下载器返回的相应数据不是直接通过引擎传递给管道,而是传递给 spider

80. 在 scrapy 框架中手动发起请求时,使用 meta 参数给解析方法传递数据

81. Scrapy 框架发送 post 请求使用 FormRequest 方法

82. 请简述scrapy阻止对start_urls内url主动发送请求时重写的父类方法名称,及使用 scrapy.request 的常用参数及含义

83. 简述详情页爬取的思路

84. 简述多页爬取的思路

85. 安装 scrapy 框架的命令为 pip install scrapy

86. Scrapy 框架管道必须实现的方法是 process_item

87. 请使用 fake_useragent 模块实现一个简单的 ua 池

88. Scrapy 框架中间件的分类及其作用

89. Scrapy 框架下载中间件的核心方法及其作用

90. 修改 scrapy 项目的配置需要修改 settings 文件

91. 应用 selenium 框架实例化浏览器对象时,使用 executable_path 参数指定驱动路径

92. 动态数据加载的两种情况及相应的解决方案

93. 简述 selenium 与 scrapy 框架对接实现动态加载数据的爬取思路

94. 请写出 selenium 的常用节点交互操作(至少 5 条)

95. 创建基于 crawl 的全站爬虫的命令

96. 简述 pipeline 的核心方法及各方法实现什么功能

97. Scrapy 原生框架实现分布式要依赖哪个组件?该组件解决了什么问题

98. 列举三种常用的网络数据爬取的模块或框架

99. 请谈谈动态数据加载的爬取思路

100. 请列举 5 种反爬机制及其对应的反反爬 策略

101. 请详细阐述如何在下载中间件中篡改请求头信息,代理 ip

102. 请写出爬虫 数据持久化 Python 与 mongodb 数据库的交互编码

    以上就是本篇文章【爬虫面试题】的全部内容了,欢迎阅览 ! 文章地址:http://fabua.ksxb.net/news/4698.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 海之东岸资讯移动站 http://fabua.ksxb.net/mobile/ , 查看更多   
最新文章
PICO启动“全民优化师”活动,征集VR游戏性能优化方案
创作期截至4月16日,评选期则是4月22日至5月9日(映维网Nweon 2025年03月31日)PICO正在举行名为“全民优化师”的活动,邀请你
TOSHIBA代理商东芝手机「TOSHIBA代理商」
TOSHIBA东芝半导体公司,在国际市场上盛名远扬,家喻户晓。在日本之外,东芝拥有100多家子公司和协作公司的庞大全球网络,仅海外
互传手机互传换机助手手机互传「互传手机互传换机助手」
互传手机互传换机助手,一般又称互传换机助手app。互传换机助手app是一款很受网友好评的手机换机工具。可以实现手机之间数据批量
噬心工具箱手机工具箱「噬心工具箱」
噬心工具箱这是一款方便好用的手机工具箱应用,用户可以使用软件轻松处理图片,超多使用功能,让用户生活更方便。噬心工具箱app
儋州清明假期旅游迎来热潮,民俗体验趣味十足
南海网4月6日消息(记者赵航)花落日渐暖,风起正清明,今年清明假期,踏青赏花趣味十足。4月5日,“福暖春日,泉享安康”温泉美
【教程】全民K歌,用手机唱卡拉OK,朋友一起听!手机k歌「【教程】全民K歌,用手机唱卡拉OK,朋友一起听!」
用手机软件来唱卡拉OK,我知道的有两个软件推荐给您,全民K歌和唱吧。两个软件功能都很强,以前年轻人似乎用唱吧的多一些,现在
繁荣“入境游”,“游”出“日常感”是关键
原标题:繁荣“入境游”,“游”出“日常感”是关键年初至今,我国入境游市场持续复苏,到清明节期间迎来小高峰。数据显示,清明
苹果iPhone14和13对比区别是什么 苹果美版值得买吗?手机壳多少钱「苹果iPhone14和13对比区别是什么 苹果美版值得买吗?」
处理器、屏幕、摄像头、内存等不同处理器相同:iPhone14的处理器没有变化,还是iPhone13 Pro上的满血版A15 仿生芯片,只有iPhone
两个人在线观看免费完整版日本手机在线播放「两个人在线观看免费完整版日本」
格式“武神主宰08集”是武神一部出色的武侠古装影片,充斥着大量精彩的主宰空手道、木棉三绝和剑术招式的武神视觉盛宴。它是主宰
北京:“以花为媒”培育新消费
  4月的北京,繁花似锦装点千年古都,满城春色中涌动着勃勃生机。  北京玉渊潭公园樱花绽放,吸引游客慕名赏花;元大都城垣