V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
itskingname
V2EX  ›  推广

数据工程师妹子养成手记——数据库篇[盖楼送书]

  •  
  •   itskingname · 2019-02-23 14:44:31 +08:00 · 8557 次点击
    这是一个创建于 2101 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这篇文章没有代码,请放心阅读。

    程序员最宝贵的东西是生命,生命属于程序员只有一次。一个程序员的一生应该这样度过:当她回首往事的时候,她不会因为搭建环境浪费时间而悔恨,也不会因为集群无法运行而羞耻。这样,在她开发的时候,她能够说:“我的整个生命和全部精力,都已经献给了开发中最重要的事情——设计程序,实现程序和调 Bug。” —— P 酱。

    P 酱是公司新来的实习生妹子。听说是一个文科生。文科生应该会去文案组或者策划组吧。什么?来数据组?让我来带?

    于是我和 P 酱~~生活~~工作在了一起。

    P 酱你会些什么?

    “我叫 P 酱,在 XX 大学读研二,爱好是拍照和被拍,大家可以在 B 站找到我跳舞的视频,比如 av170001。我的另外一个爱好是写代码……”

    当一个文科妹子说自己喜欢写代码的时候,整个办公室热闹了起来。

    “ P 酱,听说你喜欢写代码,那你写过什么东西吗?”新人介绍会议结束以后,我问 P 酱。

    “一般都是各种分析程序,我们的专业要做很多调查报告,他们都是用 Excel 来计算的。我喜欢用 Python 来把这些统计过程自动化。后来也写过自动写诗的程序、鬼畜视频生成器等等。”

    “真不敢相信你是文科生。这么说你的兴趣是数据分析方向咯?”

    “其实我对师父你做的爬虫很有兴趣。但是听说会经常和网站发生对抗?女孩子还是不要打打杀杀的好~”

    于是我让 P 酱负责对爬虫的原始数据进行清洗、整理并做简单的分析。

    一种船新的数据储存方式

    “ P 酱,爬虫抓到的原始数据是存放在 MongoDB 里面的,你的 Python 还不错吧,你试一试用 Python 来读写 MongoDB 看看。”

    “ MongoDB 是什么呀?”

    “是一个和 MySQL 不太一样的数据库。”

    “ MySQL 我知道,MongoDB 和 MySQL 有什么不一样呢?”

    “我举个例子,当你要插入数据的时候,你需要做的,就是‘插入’。咳咳,你不要脸红,我是指你不需要写 SQL 语句、不需要建表、不需要提前定义字段。仅仅只需要一行代码就能够实现了。我这里给你写了一篇文档,讲到了 MongoDB 的增删改查,你试一试。数据库已经给你搭建好了,你直接连上去用吧”

    半天以后。

    “师父,我已经会使用 MongoDB 啦。”

    “你读爬虫的原始数据,主要涉及到的就是查询操作,为了巩固插入、修改和删除的操作,再给你一个小任务吧。试一试写一个人员管理系统吧。”

    既然有关系,就整整齐齐放在一起看吧

    “ P 酱,你看起来很高兴的样子啊。”

    “因为我觉得 MongoDB 比起 MySQL 太简单了啊~”

    “你确定?那我看看你怎么对整行数据去重的?”

    “师父,我知道 distinct 关键字可以对一个字段去重。但是整行数据我是读出来用 Python 来去重的。”

    “这个时候你就要用到 MongoDB 的聚合查询了。文档已经给你写好了,拿去看吧。”

    “还有还有,这里你把店铺信息和菜单信息放在了两个集合里面,我怎么样才能把他们联表查询出来呢?”

    “联表查询是 MySQL 里面的操作,在 MongoDB 里面,没有,只有集合,所以叫做联集合查询更恰当一些。这也是要用到聚合查询,也在这个文档里面了。”

    再给你一个玩具吧。

    “ P 酱,之前让你做的爬虫数据监控系统怎么样了?”

    “功能已经做好了,但是有一个地方查询起来特别慢。我已经加过索引了,但还是很慢。怀疑是同时联了四个集合的数据造成的。”

    “这边的数据实际上每小时才更新一次,你没有必要每次刷新页面都去查询 MongoDB 的。我觉得是时候让你用一下 Redis 做缓存了。”

    “ Redis 就是那个内存数据库吗?我知道我知道。”

    “给你写了一份文档,包含 Redis 里面的各种数据类型和使用方式。你试一试把 Redis 和 MongoDB 结合起来看看能不能提高速度。”

    你怎么擅自加功能啊!

    “ P 酱,你怎么在爬虫监控系统的网页上加了一个广播窗口?”

    “呀,被师父发现了。因为我想到同一个爬虫可能会被几个人监控,所以就用 Redis 的发布订阅功能做出来了这个广播的功能。一旦爬虫状态发生改变,所有人都能收到推送。”

    “既然你这么闲,那不如加上账号登录功能,把权限验证也做上去?不同的人只能看到自己负责的爬虫。顺便你可以试一试用 Redis 实现……”

    “实现布隆过滤器和 Session 管理是吗?”

    “你怎么知道我要说什么?”

    “因为我早上看到你在文档上面更新了布隆过滤器和 Session 管理相关的内容啊~”

    红色的锁?

    “师父师父,你知道什么是 RedLock 吗?”

    “你学得这么快?都知道 RedLock 了? RedLock 是 Redis 官方给出的分布式锁的算法。已经有很多编程语言实现它了。”

    “原来 RedLock 只是一个算法啊……”

    为什么我学的这么快呢?

    “师父师父,我觉得很奇怪啊,为什么 MongoDB 和 Redis 我学得这么快呢?难道是因为他们本来就简单?还是因为我太聪明了?”

    “为什么你不说是因为你师父教的好呢?“

    “因为这是事实啊~不用我说出来~”

    “咳咳,实际上是因为两个原因。一是你一直通过项目驱动来学习,先有需求,然后再去学习实现这个需求所要涉及到的技能。所以你知道你学的东西能用来干什么,自然就能学得快……”

    “那第二个原因是什么呢?”

    “第二个原因,我先问你一个问题,你会搭建 Redis 集群吗?会搭建 MongoDB 集群吗?知道什么叫做哨兵吗?你知道如何优化 MongoDB 的启动参数吗?”

    “这…………好像都不知道额…………”

    “因为你的角色是数据工程师,不是数据库工程师,所以数据库搭建、底层优化这些内容我都给你跳过了。”

    “这些听起来都很重要啊,师父你会教我吗?”

    “你想经常值夜班吗?想半夜 3 点被人打电话叫起来修数据库吗?认清自己的定位啊,数据库工程师的技能当然很重要,但你是要成为数据工程师的人,技能树应该点在合适的方向。”

    后记

    后来,P 酱成了别人的女朋友。

    幸好我还有左手和右手,于是我把我给 P 酱总结的文档编撰成了《左手 MongoDB,右手 Redis ——从入门到商业实战》这本书。本书现在已经在京东、亚马逊、淘宝上架。

    这本书的定位是 MongoDB 和 Redis 的应用,所以有意弱化了数据库的搭建、维护和底层优化。所以本书可能不适合数据库工程师。

    希望本书能够给那些一直想掌握 MongoDB、Redis,但是又不知道从何处下手的读者,提供一个学习的方向。

    福利时间

    感谢你读到了这一行,希望我这篇蹩脚的软文没有让你觉得讨厌。新书上架,回馈 V 友。我将会从所有留言的 V 友中选中 6 人,一人赠送一本《左手 MongoDB,右手 Redis ——从入门到商业实战》。

    按照惯例,选人的方式如下:

    1. 2019 年 2 月 26 日早晨 10 点,我会打开网易财经查询 2019 年 2 月 25 日的网易收盘价。
    2. 网易收盘价转成字符串分别加上『 P 』、『 y 』、『 t 』、『 h 』、『 o 』、『 n 』获得 6 个字符串。例如『 2,806.81P 』、『 2,806.81y 』等等
    3. 通过 Python 自带的 hashlib 中的 sha256 算法,计算这 6 个字符串的哈希值。
    4. 哈希值转换为十进制以后除以截至 2019 年 2 月 26 日 10:00 的总楼层数,获得 6 个余数
    5. 6 个余数对应的楼层数将会获得赠书。
    6. 如果同一个人中奖两次,第二次自动顺延给下一层楼。
    7. 顺丰包邮(港澳台、新疆西藏除外)

    抽奖用到的数据,如下图红框框住的这一列。

    第 1 条附言  ·  2019-02-23 15:40:53 +08:00
    第 2 条附言  ·  2019-02-26 12:35:54 +08:00

    @tianrandai @ouyangpiao @abellee000 @houzhimeng @imNull @chotow

    恭喜以上同学中奖,请使用 base64 编码自己的邮箱回复到本帖并 @我。我会使用 Y29udGFjdEBraW5nbmFtZS5pbmZvCg== 对应的邮箱给各位发送邮件确认领奖事宜。

    抽奖代码:

    238 条回复    2019-03-12 09:39:50 +08:00
    1  2  3  
    KgM4gLtF0shViDH3
        1
    KgM4gLtF0shViDH3  
       2019-02-23 14:51:17 +08:00 via iPhone   ❤️ 2
    文案都这么 6
    LeonKennedy
        2
    LeonKennedy  
       2019-02-23 14:51:24 +08:00
    路过看看,不知道说什么,火钳刘明好了
    goophy
        3
    goophy  
       2019-02-23 14:51:27 +08:00 via iPhone
    支持一下
    davidqw
        4
    davidqw  
       2019-02-23 14:53:01 +08:00
    直接看到后记...
    dreamwar
        5
    dreamwar  
       2019-02-23 14:53:39 +08:00
    打开了 B 站
    dreamwar
        6
    dreamwar  
       2019-02-23 14:54:14 +08:00
    然后我 TM 看了个什么???
    xcshuan
        7
    xcshuan  
       2019-02-23 14:55:33 +08:00 via Android
    🌚这文案~书也是诙谐风?
    AlisterTT
        8
    AlisterTT  
       2019-02-23 14:56:34 +08:00 via iPhone
    给大佬递茶
    justinsince1995
        9
    justinsince1995  
       2019-02-23 14:57:45 +08:00 via Android
    觉得这个文档很神奇
    itskingname
        10
    itskingname  
    OP
       2019-02-23 14:58:28 +08:00
    @dreamwar 去 B 站看视频的人都发现了彩蛋。
    chotow
        11
    chotow  
       2019-02-23 14:58:34 +08:00 via iPhone
    👋 再见,美丽的徒弟~
    Sin
        12
    Sin  
       2019-02-23 14:58:56 +08:00
    于是去搜了一下 av170001
    itskingname
        13
    itskingname  
    OP
       2019-02-23 14:59:03 +08:00
    @xcshuan 你喜欢诙谐风吗?
    andyhuzhill
        14
    andyhuzhill  
       2019-02-23 14:59:47 +08:00
    有点意思
    JayHawel
        15
    JayHawel  
       2019-02-23 15:01:37 +08:00 via Android
    咦~真是可恶,论坛里混进来了奇怪的东西。
    liyaojian
        16
    liyaojian  
       2019-02-23 15:04:18 +08:00
    手贱 av170001
    itskingname
        17
    itskingname  
    OP
       2019-02-23 15:04:50 +08:00
    @JayHawel 什么东西~
    aaahhh123
        18
    aaahhh123  
       2019-02-23 15:05:15 +08:00
    搜了一下 av170001 哈哈哈哈哈哈
    Captions
        19
    Captions  
       2019-02-23 15:10:34 +08:00 via Android   ❤️ 1
    写的不错啊
    morize
        20
    morize  
       2019-02-23 15:10:46 +08:00
    手贱点开了保加利亚妖王
    twor
        21
    twor  
       2019-02-23 15:11:14 +08:00
    我本来说这是一个悲伤的故事了,搜了 id,才知道该悲伤的是我
    itskingname
        22
    itskingname  
    OP
       2019-02-23 15:13:00 +08:00
    @twor 怎么楼歪了?
    densuc
        23
    densuc  
       2019-02-23 15:13:05 +08:00 via Android
    好了好了 ,我参加了
    qiayue
        24
    qiayue  
       2019-02-23 15:15:26 +08:00
    支持
    co3site
        25
    co3site  
       2019-02-23 15:16:48 +08:00 via Android
    https://m.bilibili.com/video/av170001.html
    这文案,服气。在下就插入一楼,蹭蹭运气
    twor
        26
    twor  
       2019-02-23 15:17:06 +08:00
    @itskingname 这次是盖楼的正确姿势,哈哈
    archean
        27
    archean  
       2019-02-23 15:22:23 +08:00
    然后去 B 站看到了保加利亚妖王?
    leeUp
        28
    leeUp  
       2019-02-23 15:24:32 +08:00 via iPhone
    师父,我也想要你写的文档
    lllvvv
        29
    lllvvv  
       2019-02-23 15:25:22 +08:00 via Android
    支持
    XiaoXiaoNiWa
        30
    XiaoXiaoNiWa  
       2019-02-23 15:31:31 +08:00
    支持
    ThirdFlame
        31
    ThirdFlame  
       2019-02-23 15:31:33 +08:00
    然后 我打开了 B 站
    itskingname
        32
    itskingname  
    OP
       2019-02-23 15:38:47 +08:00
    @leeUp 都在这本书里面了。
    exip
        33
    exip  
       2019-02-23 15:43:25 +08:00 via Android
    写的好
    syhilyhw
        34
    syhilyhw  
       2019-02-23 15:47:37 +08:00
    路过 32 次
    dyxang
        35
    dyxang  
       2019-02-23 15:52:45 +08:00
    毛公仔那张图片有问题……过于真实不宜展示😂
    dengshen
        36
    dengshen  
       2019-02-23 15:55:40 +08:00 via iPhone
    这种带段子的广告赞一个
    tanranran
        37
    tanranran  
       2019-02-23 15:58:39 +08:00   ❤️ 1
    太 6 了,忍不住看完了,写的非常棒
    itskingname
        38
    itskingname  
    OP
       2019-02-23 15:59:21 +08:00
    @dyxang 毛公仔?
    BBrother
        39
    BBrother  
       2019-02-23 16:00:36 +08:00
    真是神秘的抽奖算法啊
    pcteams
        40
    pcteams  
       2019-02-23 16:02:27 +08:00 via Android
    广告也这么有创意。但还是读完了
    cccicl
        41
    cccicl  
       2019-02-23 16:02:33 +08:00
    故事性广告,很有意思
    struggletoday
        42
    struggletoday  
       2019-02-23 16:05:31 +08:00
    牛逼,还给 B 站导了一波流
    fuergaosi
        43
    fuergaosi  
       2019-02-23 16:06:49 +08:00
    本来想发🍋
    直到我打开了 b 站
    dyxang
        44
    dyxang  
       2019-02-23 16:12:49 +08:00
    @itskingname 一排猫公仔😂
    itskingname
        45
    itskingname  
    OP
       2019-02-23 16:15:07 +08:00
    @dyxang P 酱送的礼物~
    naturegreen
        46
    naturegreen  
       2019-02-23 16:19:00 +08:00 via Android
    分母
    Mmmmc
        47
    Mmmmc  
       2019-02-23 16:21:13 +08:00
    不知不觉我就上当了。
    jadeity
        48
    jadeity  
       2019-02-23 16:23:01 +08:00
    打开 B 站,觉得被骗了,不会买书了。
    BestMe
        49
    BestMe  
       2019-02-23 16:23:52 +08:00
    六六六,老铁双击!
    heybuddy
        50
    heybuddy  
       2019-02-23 16:26:20 +08:00 via Android
    手贱搜了下车牌号。。。
    SharkU
        51
    SharkU  
       2019-02-23 16:34:25 +08:00
    不知道说什么,但是当我看到那个 av 号就意识到大事不妙了。
    hazard
        52
    hazard  
       2019-02-23 16:42:18 +08:00
    降低中奖率
    123s
        53
    123s  
       2019-02-23 16:44:22 +08:00
    抽我啊,哈哈
    JiZhiDeboy
        54
    JiZhiDeboy  
       2019-02-23 16:46:33 +08:00
    此时路过一位靓仔~
    b3m0r3
        55
    b3m0r3  
       2019-02-23 16:47:07 +08:00
    哈哈,当个分母
    cnkiller
        56
    cnkiller  
       2019-02-23 16:48:42 +08:00 via Android   ❤️ 1
    故事不错哈
    itskingname
        57
    itskingname  
    OP
       2019-02-23 16:50:30 +08:00
    @b3m0r3 也许是分子呢
    shell314
        58
    shell314  
       2019-02-23 16:51:12 +08:00 via Android
    很棒的活动
    LingJinDu
        59
    LingJinDu  
       2019-02-23 16:53:21 +08:00
    \(^o^)/~
    jamesisandy
        60
    jamesisandy  
       2019-02-23 16:58:42 +08:00 via Android
    支持支持
    zzf2017
        61
    zzf2017  
       2019-02-23 17:00:50 +08:00   ❤️ 1
    这文案玩的很花哨啊
    liuymf
        62
    liuymf  
       2019-02-23 17:01:54 +08:00
    支持
    itskingname
        63
    itskingname  
    OP
       2019-02-23 17:10:18 +08:00
    @zzf2017 感谢感谢~
    Sivan2017
        64
    Sivan2017  
       2019-02-23 17:15:16 +08:00 via Android   ❤️ 1
    打算入手买!
    killeder
        65
    killeder  
       2019-02-23 17:17:03 +08:00 via Android   ❤️ 1
    支持
    itskingname
        66
    itskingname  
    OP
       2019-02-23 17:19:44 +08:00
    @Sivan2017 感谢感谢
    BBCCBB
        67
    BBCCBB  
       2019-02-23 17:28:53 +08:00
    2 月 26 号早上 9 点 58,我打开小米官网抢 10 点开抢的手机。 =_+
    zer01
        68
    zer01  
       2019-02-23 17:30:10 +08:00
    还是继续当个分母吧
    imNull
        69
    imNull  
       2019-02-23 17:31:07 +08:00
    也是分母
    itskingname
        70
    itskingname  
    OP
       2019-02-23 17:36:20 +08:00
    @BBCCBB 然后你两边都中奖了。
    wxd92
        71
    wxd92  
       2019-02-23 17:39:15 +08:00 via iPhone
    抽奖方式很 6
    jianwei569
        72
    jianwei569  
       2019-02-23 17:42:37 +08:00
    分母前来报道
    Dram001
        73
    Dram001  
       2019-02-23 17:46:28 +08:00 via Android
    8 错哦,想搞社工
    liuxingbaoyu
        74
    liuxingbaoyu  
       2019-02-23 17:48:05 +08:00
    看到标题就决定要顶一下了
    itskingname
        75
    itskingname  
    OP
       2019-02-23 17:50:45 +08:00
    @wxd92 去年也搞了一次
    dabaitu
        76
    dabaitu  
       2019-02-23 17:51:16 +08:00 via Android
    滋磁
    itskingname
        77
    itskingname  
    OP
       2019-02-23 17:51:17 +08:00
    @liuxingbaoyu 那正文呢
    wxb2dyj
        78
    wxb2dyj  
       2019-02-23 17:52:56 +08:00 via iPhone
    正好俩都在用
    itskingname
        79
    itskingname  
    OP
       2019-02-23 17:57:45 +08:00
    @wxb2dyj 如此甚好
    houzhimeng
        80
    houzhimeng  
       2019-02-23 17:58:30 +08:00
    留名
    itskingname
        81
    itskingname  
    OP
       2019-02-23 18:03:33 +08:00
    @houzhimeng 火钳刘明。
    jinjianlu
        82
    jinjianlu  
       2019-02-23 18:03:43 +08:00
    文案不错
    itskingname
        83
    itskingname  
    OP
       2019-02-23 18:13:29 +08:00
    @jinjianlu 感谢
    hhh_king
        84
    hhh_king  
       2019-02-23 18:26:12 +08:00
    留名吧,谁知道呢
    omph
        85
    omph  
       2019-02-23 18:41:15 +08:00
    希望故事比技术出彩~
    dennisun
        86
    dennisun  
       2019-02-23 18:43:58 +08:00
    厉害了感觉是文科生写的
    piokhj
        87
    piokhj  
       2019-02-23 18:44:03 +08:00
    不错不错,刘明抽奖
    huaouo
        88
    huaouo  
       2019-02-23 18:44:29 +08:00 via Android
    🤪av170001
    isnowify
        89
    isnowify  
       2019-02-23 18:44:36 +08:00
    分母~
    zhou00
        90
    zhou00  
       2019-02-23 18:55:08 +08:00
    分母
    pheyer
        91
    pheyer  
       2019-02-23 18:59:01 +08:00
    不要太 6
    diyisoft
        92
    diyisoft  
       2019-02-23 19:02:41 +08:00 via iPhone
    太好了,学习学习
    itskingname
        93
    itskingname  
    OP
       2019-02-23 19:11:45 +08:00
    @omph 技术更出差。
    itskingname
        94
    itskingname  
    OP
       2019-02-23 19:12:15 +08:00
    @dennisun 文科生跑了,是理科生写的。
    ruiruirui
        95
    ruiruirui  
       2019-02-23 19:52:57 +08:00 via Android
    写的不错
    kawhi
        96
    kawhi  
       2019-02-23 20:06:16 +08:00
    已买,当个分母
    qdpoboy
        97
    qdpoboy  
       2019-02-23 20:08:11 +08:00
    真妹子呀? 66666
    ebony0319
        98
    ebony0319  
       2019-02-23 20:08:46 +08:00 via Android
    av170001 这是神秘代码么?
    moonvstod
        99
    moonvstod  
       2019-02-23 20:11:15 +08:00 via iPhone   ❤️ 1
    文案太溜了
    ebony0319
        100
    ebony0319  
       2019-02-23 20:11:22 +08:00 via Android
    最左边两只猫的屁屁不正常。。。。
    1  2  3  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4474 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 04:08 · PVG 12:08 · LAX 20:08 · JFK 23:08
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.