V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Andy1999
V2EX  ›  程序员

400M 的数据库, 1 亿 9 千行用什么索引比较好

  •  
  •   Andy1999 · 2016 年 4 月 4 日 via iPhone · 15146 次点击
    这是一个创建于 3574 天前的主题,其中的信息可能已经有所发展或是发生改变。
    直接 TXT 按照 hash 划分可以嘛?
    第 1 条附言  ·  2016 年 4 月 5 日
    V2EX 变贴吧?
    要 400M 没有 自己整理吧
    TG 群 https://telegram.me/joinchat/BICsbj5LZUyME9yGJqR0hA
    116 条回复    2016-06-27 07:02:18 +08:00
    1  2  
    leakeung
        1
    leakeung  
       2016 年 4 月 4 日
    你这个是想利用在网易 50G 数据查询吧,试试 sqlsrv
    xuandao
        2
    xuandao  
       2016 年 4 月 4 日
    字母什么的也行 这个看个人喜好,反正最后查都是 CTRL+F
    moult
        3
    moult  
       2016 年 4 月 4 日
    直接丢 Redis 。
    strwei
        4
    strwei  
       2016 年 4 月 4 日
    同楼上
    Andy1999
        5
    Andy1999  
    OP
       2016 年 4 月 4 日 via iPhone
    @leakeung 52G 特殊处理后只有 400M
    @xuandao 需要数据库么
    Andy1999
        6
    Andy1999  
    OP
       2016 年 4 月 4 日 via iPhone
    @moult 已添加入备选
    ixinshang
        7
    ixinshang  
       2016 年 4 月 4 日
    持续关注
    dingyaguang117
        8
    dingyaguang117  
       2016 年 4 月 4 日
    mongodb

    另外 lz 给发一份 400M 的数据吧 多谢啦 dingyaguang117[AT]gmail.com
    mafuyu
        9
    mafuyu  
       2016 年 4 月 4 日
    Redis+1 毕竟还有什么能比内存更快...
    slixurd
        10
    slixurd  
       2016 年 4 月 4 日
    @mafuyu 这话说的不对
    搜索速度和在不在内存有什么关系
    主要是搜索的数据结构和算法得做好
    hjq98765
        11
    hjq98765  
       2016 年 4 月 4 日
    求 LZ 顺便转发一份吧, 1024~

    hjq98765[AT]gmail.com
    hst001
        12
    hst001  
       2016 年 4 月 4 日
    随便搞
    可以的话求一份给我?我再 pm 邮箱给 LZ 你
    sjtlqy
        13
    sjtlqy  
       2016 年 4 月 4 日
    flybluewolf
        14
    flybluewolf  
       2016 年 4 月 4 日
    LZ 转发一份吧,谢谢楼主
    michaelchen.live.com@gmail.com
    wanghuangjie
        15
    wanghuangjie  
       2016 年 4 月 4 日
    方便发一份学习吗? [email protected]
    qa52666
        16
    qa52666  
       2016 年 4 月 4 日
    求一份 zrl12321[AT]gmail.com
    sparkssssssss
        17
    sparkssssssss  
       2016 年 4 月 4 日 via iPhone
    求转发一份, [email protected]
    试下 es
    Andy1999
        18
    Andy1999  
    OP
       2016 年 4 月 4 日 via iPhone
    diwu
        19
    diwu  
       2016 年 4 月 4 日
    求发一份,谢谢 LZ [email protected]
    likuku
        20
    likuku  
       2016 年 4 月 4 日
    若把这些数据丢去 solr/elasticsearch 呢?反正都是静态数据,让搜索引擎系统处理后,提供搜索功能。
    maskerTUI
        21
    maskerTUI  
       2016 年 4 月 4 日
    芒果 db 不错
    kxjhlele
        22
    kxjhlele  
       2016 年 4 月 4 日
    [email protected] 求发一份。
    InFaNg
        23
    InFaNg  
       2016 年 4 月 4 日 via Android
    sphinx 大法好
    aalska
        24
    aalska  
       2016 年 4 月 4 日
    yc1017
        25
    yc1017  
       2016 年 4 月 4 日
    [email protected] LZ 来一发 谢谢
    XianZaiZhuCe
        26
    XianZaiZhuCe  
       2016 年 4 月 4 日 via iPhone
    crazylinus
        27
    crazylinus  
       2016 年 4 月 4 日 via Android
    求楼主来一份, [email protected]
    DarsyCheuk
        28
    DarsyCheuk  
       2016 年 4 月 4 日
    zodarsy[at]gmail.com 来一发数据
    mozutaba
        29
    mozutaba  
       2016 年 4 月 4 日
    agmol108###qq.com Thanks!!!
    lujiajing1126
        30
    lujiajing1126  
       2016 年 4 月 4 日
    postgresql 的 OLAP 引擎,或者直接上 Hbase

    公有云应该都有相应的服务,直接买就行

    可以参考 [A Billion Taxi Rides in PostgreSQL]( http://tech.marksblogg.com/billion-nyc-taxi-rides-postgresql.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io)
    jackyguest
        31
    jackyguest  
       2016 年 4 月 4 日
    同求一份, lydipad[at]gmail.com ,一起研究,多谢啦
    xiongbiao
        32
    xiongbiao  
       2016 年 4 月 4 日
    [email protected] 楼主好人:)
    BlueWolf
        33
    BlueWolf  
       2016 年 4 月 4 日
    elasticsearch 索引建完后搜索极快, web api 查询方式友好
    horipse
        34
    horipse  
       2016 年 4 月 4 日 via iPhone
    同求 [email protected]
    楼主好人
    ifconfig
        35
    ifconfig  
       2016 年 4 月 4 日 via iPhone
    我也是 2 亿数据,楼主方便留个微信好友不
    alexapollo
        36
    alexapollo  
       2016 年 4 月 4 日
    HBase
    Andy1999
        37
    Andy1999  
    OP
       2016 年 4 月 4 日 via iPhone
    TemporaryID
        38
    TemporaryID  
       2016 年 4 月 4 日   ❤️ 3
    我用的是 LevelDB
    网易的库导进去之后大概是 25GB
    https://163password.download/
    求不 D 啊,我又不是这条道上的人,不要打我嘛 T_T
    blcygzs
        39
    blcygzs  
       2016 年 4 月 4 日
    楼主好人,给我一份吧。。
    ixinshang
        40
    ixinshang  
       2016 年 4 月 4 日
    @TemporaryID 输入邮箱查询 乱码呢
    TemporaryID
        41
    TemporaryID  
       2016 年 4 月 4 日
    @ixinshang 忘了在 header 加 charset 了
    懒得改了
    乱码的内容就是 UTF-8 编码的“未找到”
    ixinshang
        42
    ixinshang  
       2016 年 4 月 4 日
    @TemporaryID 好吧
    Comdex
        43
    Comdex  
       2016 年 4 月 4 日
    wcomdex[at]foxmail.com 楼主能给我一份数据么,谢谢
    mianju
        44
    mianju  
       2016 年 4 月 4 日
    400M 这个可以有
    baiyangge
        45
    baiyangge  
       2016 年 4 月 4 日
    [email protected] 谢谢楼主
    Gamon
        46
    Gamon  
       2016 年 4 月 4 日
    704789#qq.com LZ 能否发一份学习,万分感谢!
    islandev
        47
    islandev  
       2016 年 4 月 4 日
    ben.wangdev#gmail.com
    谢谢楼主

    推荐 solr/es
    dtysky
        48
    dtysky  
       2016 年 4 月 4 日 via Android
    MrBearin
        49
    MrBearin  
       2016 年 4 月 5 日
    Dannytmp
        50
    Dannytmp  
       2016 年 4 月 5 日 via Android
    究竟是啥好东西,怎么这么多人要啊
    VYSE
        51
    VYSE  
       2016 年 4 月 5 日 via Android
    这个级别 pg 轻松搞定,话说 163 那个真不像从网易泄露的,里面其他邮箱也有,而且还有我一个专门注册论坛的垃圾号,大号一个没有
    jason879
        52
    jason879  
       2016 年 4 月 5 日
    [email protected] 多谢楼主!
    weaming
        53
    weaming  
       2016 年 4 月 5 日
    iweaming#gmail.com
    yuhuigreed
        54
    yuhuigreed  
       2016 年 4 月 5 日
    [email protected] 同求一份
    chenjunqiang
        55
    chenjunqiang  
       2016 年 4 月 5 日
    88356983#qq.com 同求一份,谢谢
    airqj
        56
    airqj  
       2016 年 4 月 5 日
    [email protected]
    谢谢楼主
    xiaolongyuan
        57
    xiaolongyuan  
       2016 年 4 月 5 日
    [email protected]
    谢谢楼主
    odirus
        58
    odirus  
       2016 年 4 月 5 日
    odirus#163.com

    谢谢楼主
    Bingbing
        59
    Bingbing  
       2016 年 4 月 5 日
    [email protected] 谢谢楼主
    axzy
        60
    axzy  
       2016 年 4 月 5 日
    谢谢楼主 [email protected]
    Lihz
        61
    Lihz  
       2016 年 4 月 5 日
    [email protected] 谢谢楼主
    Poko
        62
    Poko  
       2016 年 4 月 5 日
    顺求一份 [email protected]
    azh7138m
        63
    azh7138m  
       2016 年 4 月 5 日 via Android
    歪个楼,好奇楼主是怎么整理的,可以说一下思路吗?我这里查询起来很慢,也想整理一下(・・;
    aboutyang
        64
    aboutyang  
       2016 年 4 月 5 日
    272093579#qq.com 同求一份,谢谢
    taijia
        65
    taijia  
       2016 年 4 月 5 日 via Android
    tangtaijia#gmail.com 楼主好人
    jzhao
        66
    jzhao  
       2016 年 4 月 5 日
    jingkai.zhao#foxmail.com 楼主好人~
    liuzhen
        67
    liuzhen  
       2016 年 4 月 5 日
    fishioon
        68
    fishioon  
       2016 年 4 月 5 日
    1024 ,楼主好人 [email protected]
    ainimuyan
        69
    ainimuyan  
       2016 年 4 月 5 日
    @Andy1999 谢谢楼主,学习学习, [email protected]
    ovear
        70
    ovear  
       2016 年 4 月 5 日
    @Andy1999 _(:з」∠)_过期了 求一个
    hongye1990
        71
    hongye1990  
       2016 年 4 月 5 日
    谢谢楼主, [email protected]
    orcusfox
        72
    orcusfox  
       2016 年 4 月 5 日
    谢谢楼主, [email protected]
    linxin26
        73
    linxin26  
       2016 年 4 月 5 日
    谢谢楼主

    [email protected]
    badcode
        74
    badcode  
       2016 年 4 月 5 日   ❤️ 1
    有意思,出现了贴吧给邮箱求 xx 的场面,帮"某些人"谢谢你们的邮箱地址

    楼主辛苦了,被歪楼歪得,具体看 37L

    贴下昨天在其他帖子删的图,楼主 @Andy1999 是来寻求一种解决方法的,希望有用
    badcode
        75
    badcode  
       2016 年 4 月 5 日
    第三个,加.exe 搜索可能快点
    domty
        76
    domty  
       2016 年 4 月 5 日
    @TemporaryID
    你这个库是哪年的。感觉查出的邮箱密码得是 5 年前的了
    domty
        77
    domty  
       2016 年 4 月 5 日
    hao11703
        78
    hao11703  
       2016 年 4 月 5 日
    shaokaojun#gmail.com thx
    hiboshi
        79
    hiboshi  
       2016 年 4 月 5 日
    谢谢楼主, [email protected]
    julypanda
        80
    julypanda  
       2016 年 4 月 5 日
    谢谢楼主, [email protected]
    Perry
        81
    Perry  
       2016 年 4 月 5 日 via iPhone
    V 站变贴吧
    calebx
        82
    calebx  
       2016 年 4 月 5 日
    caleb.xiang#qq#com
    感谢 lz
    guxuede
        83
    guxuede  
       2016 年 4 月 5 日
    谢谢楼主, guxuede#gmail.com
    rubytek
        84
    rubytek  
       2016 年 4 月 5 日
    @TemporaryID 我查了下自己的一个常用邮箱,结果显示密码就是邮箱名。。。这个是不是不准啊。。
    kenshin912
        85
    kenshin912  
       2016 年 4 月 5 日
    同求一份,感谢楼主
    [email protected]
    XDA
        86
    XDA  
       2016 年 4 月 5 日
    贴吧即视感

    wizard.cc.xx 在 gmail

    楼主好人
    cheng12308
        87
    cheng12308  
       2016 年 4 月 5 日 via iPhone
    楼主好人 [email protected]
    ifaii
        88
    ifaii  
       2016 年 4 月 5 日
    [email protected]
    感谢分享~
    yishenggudou
        89
    yishenggudou  
       2016 年 4 月 5 日
    楼主好人 [email protected]
    flight2006
        90
    flight2006  
       2016 年 4 月 5 日
    tongfei1017 [at] gmail
    Note
        91
    Note  
       2016 年 4 月 5 日
    @TemporaryID 可不可以分享一份,谢谢, [email protected]
    Braid
        92
    Braid  
       2016 年 4 月 5 日
    [email protected]
    感谢分享
    addbook
        93
    addbook  
       2016 年 4 月 5 日
    楼主好人 [email protected]
    kirisetsz
        94
    kirisetsz  
       2016 年 4 月 5 日
    不小心回复到 /t/267974 去了……
    chrislon
        95
    chrislon  
       2016 年 4 月 5 日
    楼主好人,求一份 [email protected]
    strwei
        96
    strwei  
       2016 年 4 月 5 日
    tjxiter
        97
    tjxiter  
       2016 年 4 月 5 日
    楼主好人, [email protected]
    weixuegg
        98
    weixuegg  
       2016 年 4 月 5 日
    感谢楼主分享 weixuegg[at]gmail.com
    y835L9DyC5XD09kq
        99
    y835L9DyC5XD09kq  
       2016 年 4 月 5 日
    [email protected]
    楼主好人
    fordawn
        100
    fordawn  
       2016 年 4 月 5 日
    [email protected] 楼主好人
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2901 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 07:01 · PVG 15:01 · LAX 23:01 · JFK 02:01
    ♥ Do have faith in what you're doing.