V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Abnl
V2EX  ›  Python

Pydoll,取代 Selenium,一个无驱动异步网页自动化库

  •  
  •   Abnl · 11 天前 · 1997 次点击

    有人了解这个很新鲜的 python 网页自动化库吗,看介绍很高效、很牛逼的样子。

    之前尝试用 Selenium 写过一个自动预约健身房的小项目,结果一直过不了网页的反爬机制,打开网页一片空白... 不知道用这个能不能轻松搞成。

    https://github.com/thalissonvs/pydoll

    https://www.xugj520.cn/archives/pydoll-webdriver.html

    15 条回复    2025-03-19 01:03:29 +08:00
    tomczhen
        1
    tomczhen  
       11 天前
    一般自动化库是不会处理反爬的。可以考虑配合支持 api 的指纹浏览器或者类似 patchright 这种专门 patch 了反爬的库。
    GaGim
        2
    GaGim  
       11 天前
    已经很久不用 selenium 了,还要适配浏览器驱动,略麻烦
    13240284671
        3
    13240284671  
       11 天前   ❤️ 1
    @GaGim 现在用什么,Cloudflare 的验证码的一直过不了
    JimLee0921
        4
    JimLee0921  
       11 天前
    dp 不是挺好用的么
    seu
        5
    seu  
       11 天前   ❤️ 3
    看了一下是基于 cdp 协议的,为什么不用 puppeteer 和 playwright ?没看出来哪里牛逼的样子...
    yh7gdiaYW
        6
    yh7gdiaYW  
       11 天前   ❤️ 2
    放 5 年前也许能和 puppeteer/playwright 抢下生态位,2025 年出个这玩意儿简直是穿越了
    Tink
        7
    Tink  
       10 天前
    drissionpage 应该比这个靠谱点吧
    Bingchunmoli
        8
    Bingchunmoli  
       10 天前 via Android
    我平时写爬虫还是只会用 selenium 缝缝补补,有什么 生态推荐吗
    zeusho871
        9
    zeusho871  
       10 天前
    @13240284671 Drissonpage 直接秒了
    jpyl0423
        10
    jpyl0423  
       10 天前
    playwright 有些网站过不了 Cloudflare ,Drissonpage 可以,不过无头模式也过不了
    yaleyu
        11
    yaleyu  
       10 天前
    @jpyl0423 #10 Drissionpage 无头模式能过 cloudflare ,UA 设置成一模一样的版本

    co = ChromiumOptions()
    co.headless(True).set_argument('--no-sandbox')
    page = ChromiumPage(co)
    ua = page.user_agent.replace('Headless', '')
    page.quit()
    co.set_user_agent(ua)
    page = ChromiumPage(co)
    z740713651
        12
    z740713651  
       8 天前
    selenium 现在好像不需要手动配置驱动了,会自动下载,不用指明 driver 地址。
    GaGim
        13
    GaGim  
       6 天前
    @13240284671 dp 呀
    13240284671
        14
    13240284671  
       5 天前
    @GaGim dp 我发现也要手动点一下才行,有解决方案吗
    GaGim
        15
    GaGim  
       5 天前
    @z740713651 前段时间看到了,但还是更喜欢用 dp
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5789 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 06:21 · PVG 14:21 · LAX 23:21 · JFK 02:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.