V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  cxh116  ›  全部回复第 23 页 / 共 89 页
回复总数  1773
1 ... 19  20  21  22  23  24  25  26  27  28 ... 89  
2022-01-14 16:08:21 +08:00
回复了 cxh116 创建的主题 问与答 单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询?
@dayeye2006199 @buddyy

感谢感谢,针对网友们的建议,做出以下改变尝试.

1. 改成 ClickHouse ,主键默认使用的是稀疏索引.
2. 使用 Table 自带的 Partition ,取 hash 前 8 位做分区.
2022-01-14 14:35:23 +08:00
回复了 cxh116 创建的主题 问与答 单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询?
@outdoorlife

Table "public.transactions"
Column | Type | Collation | Nullable | Default
-----------------------------+--------------------------+-----------+----------+---------
hash | character varying(66) | | |
nonce | bigint | | |
transaction_index | bigint | | |
from_address | character varying(42) | | |
to_address | character varying(42) | | |
value | numeric(38,0) | | |
gas | bigint | | |
gas_price | bigint | | |
input | text | | |
receipt_cumulative_gas_used | bigint | | |
receipt_gas_used | bigint | | |
receipt_contract_address | character varying(42) | | |
receipt_root | character varying(66) | | |
receipt_status | bigint | | |
block_timestamp | timestamp with time zone | | not null |
block_number | bigint | | |
block_hash | character varying(66) | | |
max_fee_per_gas | bigint | | |
max_priority_fee_per_gas | bigint | | |
transaction_type | bigint | | |
receipt_effective_gas_price | bigint | | |
Indexes:
"transactions_block_number" btree (block_number DESC)
"transactions_block_timestamp_idx" btree (block_timestamp DESC)
"transactions_from_address_block_timestamp_index" btree (from_address, block_timestamp DESC)
"transactions_hash" UNIQUE, btree (block_timestamp DESC, hash)
"transactions_to_address_block_timestamp_index" btree (to_address, block_timestamp DESC)
Triggers:
ts_insert_blocker BEFORE INSERT ON transactions FOR EACH ROW EXECUTE FUNCTION _timescaledb_internal.insert_blocker()
Number of child tables: 70 (Use \d+ to list them.)






EXPLAIN select * from transactions where hash='0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8' limit 1;


-[ RECORD 1 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Limit (cost=0.28..853977.96 rows=1 width=886)
-[ RECORD 2 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Append (cost=0.28..59778438.09 rows=70 width=886)
-[ RECORD 3 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_149_chunk_transactions_hash on _hyper_2_149_chunk (cost=0.28..50.48 rows=1 width=659)
-[ RECORD 4 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 5 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_151_chunk_transactions_hash on _hyper_2_151_chunk (cost=0.42..2496.59 rows=1 width=718)
-[ RECORD 6 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 7 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_153_chunk_transactions_hash on _hyper_2_153_chunk (cost=0.42..28396.85 rows=1 width=774)
-[ RECORD 8 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 9 ]----------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_155_chunk_transactions_hash on _hyper_2_155_chunk (cost=0.42..20489.98 rows=1 width=752)
-[ RECORD 10 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 11 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_157_chunk_transactions_hash on _hyper_2_157_chunk (cost=0.42..30703.97 rows=1 width=792)
-[ RECORD 12 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 13 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_159_chunk_transactions_hash on _hyper_2_159_chunk (cost=0.43..34880.92 rows=1 width=800)
-[ RECORD 14 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 15 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_161_chunk_transactions_hash on _hyper_2_161_chunk (cost=0.43..42360.63 rows=1 width=792)
-[ RECORD 16 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 17 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_163_chunk_transactions_hash on _hyper_2_163_chunk (cost=0.43..49846.27 rows=1 width=775)
-[ RECORD 18 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 19 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_165_chunk_transactions_hash on _hyper_2_165_chunk (cost=0.43..41498.32 rows=1 width=815)
-[ RECORD 20 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
-[ RECORD 21 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | -> Index Scan using _hyper_2_167_chunk_transactions_hash on _hyper_2_167_chunk (cost=0.43..33756.32 rows=1 width=813)
-[ RECORD 22 ]---------------------------------------------------------------------------------------------------------------------------------
QUERY PLAN | Index Cond: ((hash)::text = '0xd22b255ddcce6af9daa39fb0b2857096314f56b3a92908a9258695b1f4591ad8'::text)
2022-01-14 12:02:52 +08:00
回复了 cxh116 创建的主题 问与答 单机 8 核 32G, 用什么技术才可以做单表 20 亿数据的过滤查询?
@outdoorlife 目前是三机械硬盘 raid 0,速度太勉强了.

主要是 tx 表不像 block 表, 使用自增 number 做主键,而是使用 hex hash 做主键,单机分库分表 IO 瓶颈感觉意义好像不大,多机的话三件成本高,没赚钱先亏个几百块一个月还是撑不住.
2022-01-13 08:14:09 +08:00
回复了 JasonFW 创建的主题 职场话题 想请教下懂法的大神,裁员赔偿金多给了现公司要求退回
劳动法规定是 n+1 , 协议的赔偿算法是怎么算的?
2022-01-10 20:22:35 +08:00
回复了 sillydaddy 创建的主题 React Redux 的 store,与后端的数据库是什么关系?
比如简单的场景,嵌套组件传属性。从 list 传到 item 。
2022-01-09 21:28:16 +08:00
回复了 lokamir 创建的主题 路由器 我用双网卡被网管发现了
同事路过时自动切屏了?
2022-01-09 21:26:55 +08:00
回复了 lokamir 创建的主题 路由器 我用双网卡被网管发现了
到手重装系统了?没有加入域之类的? 能 100%确认没有行为管理软件?
拿钱做事,做什么事都说不清楚,做什么事?
2022-01-07 12:50:51 +08:00
回复了 LoneFireBlossom 创建的主题 macOS 如果你不想天天被 bug 气到,就不要买 Mac
@rrZ2C linux 用户表示,又不是不能用。
啊,真的不能用。源码给你了,你自己修去。
2022-01-02 10:45:55 +08:00
回复了 nbweb 创建的主题 问与答 质保期内的硬盘有三个坏的扇区可以换不?
@nbweb 机械硬盘维修的骚操作可多了,这就是为什么别人不推荐在淘宝上面买的原因。
2022-01-01 20:54:29 +08:00
回复了 KamenReborn 创建的主题 以太坊 ETH 存在折价套利机会
币本位,币价跌幅可能都大于 20%。
2021-12-28 16:38:26 +08:00
回复了 rookie333 创建的主题 长沙 同问又马上到跨年了,求 2022 跨年攻略!
经济方案可以考虑去世界之窗,夜场优惠。
2021-12-21 11:02:10 +08:00
回复了 ericgui 创建的主题 程序员 为什么一个接口可以卖这么多钱?
现在的监管环境,严打程序化、高频、做空,好自为之。不怕死的话,你得解决下面几个问题:1. 交易接口 API- 直连券商柜台:个人基本不要想了,要求加入证券业协会备案,机构现在都在排队交保护费; - 通过认证过的第三方接券商:主流是恒生 O32 、金士达、迅投,个人也不要想了,百万起步。- 其它非主流第三方:比如万得之类的,关键是看谁能摆得平证监会让对接券商。以前万得真是很方便,行情交易接口都有,支持 C++/C#/Matlab/Python 各种语言,但由于以上原因,现在支持的券商越来越少,万得自己好像也懒得管了,开发人员走了不少。

作者:吴名
链接: https://www.zhihu.com/question/32079960/answer/58323727
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。




比如可以多帐号程序化控盘之类的.
2021-12-18 07:24:17 +08:00
回复了 James369 创建的主题 问与答 求一个 ubuntu 系统下速度较快的无线网卡?
android 手机 usb 共享网络,三大平台免驱。
2021-12-16 18:31:30 +08:00
回复了 cxh116 创建的主题 分享创造 为提高摸鱼广度,做了个榜单聚合国际版(toplab.today)
@c9792536451 修复了,感谢反馈.
2021-12-15 11:29:41 +08:00
回复了 cxh116 创建的主题 分享创造 为提高摸鱼广度,做了个榜单聚合国际版(toplab.today)
@hand515 看了后端日志,接口好像没有报错,有可能是网络问题导致的.
1 ... 19  20  21  22  23  24  25  26  27  28 ... 89  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3693 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 10:29 · PVG 18:29 · LAX 02:29 · JFK 05:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.