一、写在前面：爬虫是什么，能吃吗？如果你对“爬虫”两个字还停留在“黑客工具”“违法”“高深莫测”的印象里，那这篇文章可能会彻底改变你的看法。Python爬虫，说白了就是用代码模拟浏览器访问网页，然后把网页上有用的数据“摘”下来，存成我们需要的格式。这个过程，和我们平时手动复制粘贴网页内容没什么本质区别，只是爬虫做得更快、更准、更自动化。你可能会问：“我手动复制也挺快的，为什么要写代码？”问得好。假设你今天想从某个电商网站上下载1000件商品的名称、价格、评价数，手动复制的话，你可能需要点开1000个详情页，每个页面复制3个字段，合计3000次Ctrl+C和Ctrl+V。就算你手速惊人，每10秒完成一个商品，也需要将近3个小时，而且手指会抽筋。用爬虫呢？写完代码之后，你只需要执行一下，去泡杯咖啡，回来数据就已经整整齐齐地躺在CSV文件里了。这就是爬虫的价值——把重复、机械、耗时的数据获取工作，交给机器去完成。当然，爬虫也有它的边界和规则。我们后面会专门花一节来讲“君子协定”和“红线”，但在这之前，我们先专心把技术本身学好。毕竟，先有武器，再谈武德。目录一、写在前面：爬虫是什么，能吃吗？二、为什么是Requests + BeautifulSoup？这对组合到底香在哪？三、环境准备：别慌，只需要装两个库四、你的第一个爬虫：5行代码爬下整个网页五、Requests深度使用：别裸奔，带上headers六、BeautifulSoup核心定位法：找标签就像用CSS选择器6.1find_all()+ 标签名6.2find_all()+ 属性过滤6.3 提取文本和属性6.4 只找第一个：find()和select_one()七、实战案例：爬取图书信息并保存为CSV7.1 分析网页结构7.2 分页处理7.3 完整代码7.4 运行结果八、高阶技巧：让爬虫更健壮、更高效8.1 处理相对链接8.2 异常重试机制8.3 解析时捕获异常，不要让一个坏数据搞崩整个程序8.4 动态调整User-Agent8.5 保存数据时考虑去重九、君子协定：robots.txt 和 爬虫道德十、踩坑实录：新手最常见的10个错误十一、从静态网页到动态网页：下一步学什么？十二、完整项目结构建议十三、写在最后：爬虫思维比代码更重要二、为什么是Requests + BeautifulSoup？这对组合到底香在哪？Python爬虫的工具箱里有很多选择：Scrapy框架、Selenium模拟浏览器、PyQuery、lxml……但为什么几乎所有爬虫入门教程都从Requests和BeautifulSoup开始？因为这对组合完美地诠释了“简单、直接、够用”这六个字。Requests库：负责“下载”网页。它的口号是“HTTP for Humans”，意思是给人类用的HTTP库。相比Python自带的urllib，Requests的API设计得极其优雅——发送GET请求、携带headers、处理cookies、设置超时，全都是一行代码搞定的事。你不需要去背那些冗长的方法名，也不需要纠结参数怎么传，看一眼示例代码就能上手。BeautifulSoup库：负责“解析”网页。它会把下载下来的HTML字符串解析成一棵DOM树，然后提供一系列让你“像用jQuery一样”查找元素的方法——find()、find_all()