异步爬虫如何使用 https 代理？ - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2634 天前的主题，其中的信息可能已经有所发展或是发生改变。

aiohttp 库直接使用 https 代理会报错，用 http 代理没有问题。
可是~爬虫抓取的网站需要 https，这个要怎么解决呢？

2 条回复 • 2018-11-06 00:01:09 +08:00

1

sola97

2018 年 11 月 5 日 via Android

用 http 代理可以爬 https 的内容的吧

2

enrolls

2018 年 11 月 6 日

1. 忽略 ssl 验证 [doc]( https://docs.aiohttp.org/en/stable/client_reference.html?highlight=verify_ssl)
2. 代理协议使用 http/socks4/socks5

关于 · 帮助文档 · 自助推广系统 · 博客 · API · FAQ · Solana · 5235 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 26ms · UTC 01:22 · PVG 09:22 · LAX 17:22 · JFK 20:22
♥ Do have faith in what you're doing.