V2EX › morost 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

216 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@user919lx #43 谢谢！这个建议很实用！我们会把这个链路考虑进去的

216 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@justplaymore #36 感谢老哥的解答，我们已经在复盘了

216 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

谢谢大伙的建议，爬虫这边与数据库这边确实不太熟，半路做的东西，认真听取了各位朋友的建议，现在第一是优化 MySQL 现有的查询吧，其次我会好好去了解大家提出来的其余的方案，斟酌一个最适合的。感慨自己需要学的东西还有很多。

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@gazi #17 谢谢解答，我这就去优化一下索引相关

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@keyfunc 老哥细说一下呢

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@tikazyq 我自己这边找的方案现在是在 mongodb 和 PostgreSQL 之间比较，那我先去看看 mongo

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@me1onsoda 谢谢回答，我去调研一下这个 db

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@pota 谢谢回答，我去调研一下

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@KongLiu 产品设计导致只能放在一张表里，哎

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@sagaxu #7 那只需要建立高质量索引就不需要更换 db 了这个意思嘛，我一开始是认为 MySQL 对于大数据量的支持不是很友好才想要更换 db 的

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@gazi 图片和视频（均为链接）数据，使用场景目前最主要是就是下载和更新状态

217 天前

回复了 morost 创建的主题 › 程序员 › 虚心求教，数据量上亿的爬虫数据用什么该用什么数据库呢

@sagaxu 是数据量大—①—>查询慢—②—>加索引，这个逻辑链，现在想解决第一个传导逻辑。

2023-11-15 09:52:48 +08:00

回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万

支持一下，嘿嘿

2023-11-01 11:22:02 +08:00

回复了 yitdlxl 创建的主题 › 推广 › 全网最低价的 GPT-4-32k API，价格为官网的三分之一

id：morost

2023-09-20 09:54:03 +08:00

回复了 zhangsimon 创建的主题 › 推广 › 再送一波秋月梨😋， V 站福利回帖抽奖！🔥

凑热闹+1

2023-09-14 10:05:21 +08:00

回复了 Pichai 创建的主题 › Apple › 好奇大家买 Apple Watch 的用来做什么？

跑步的时候不带手机连 AirPods Pro 听歌，顺便监控运动数据。还有消息提醒。

2023-05-05 10:47:47 +08:00

回复了 JeffersonQin 创建的主题 › 分享创造 › ✨ 中文字体识别 [附在线 demo link] ！（CJK 字体夹杂英文均可）

已 star ，从科技爱好者周刊来的。大佬方便加个 vx 嘛，bW9yb3N0LQ==

2023-04-28 09:44:47 +08:00

回复了 registered 创建的主题 › 程序员 › 图片去水印

@MozzieW 我也用的这个