V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
huahuaer
V2EX  ›  奇思妙想

集思广益|舅舅们所在的企业、部门或者个人岗位,有什么可以使用大数据解决的问题吗

  •  
  •   huahuaer · 253 天前 · 1963 次点击
    这是一个创建于 253 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题哈哈哈哈 舅舅们所在的企业、部门或者个人岗位,有什么可以使用大数据解决的问题吗?或者,使用大数据能帮你们在哪些方面得到提升(企业内部沟通、流程、绩效、个人工作效率等等等等,不限不限不限)

    15 条回复    2024-04-21 11:47:17 +08:00
    ConfusedBiscuit
        1
    ConfusedBiscuit  
       253 天前   ❤️ 1
    大部分传统企业或单位,那点儿数据量根本用户到 Hadoop 、Spark 、Hive 之类的标准大数据方案,甚至用 MySQL 都没必要加索引。能用宏或 Python 等处理个 Excel ,就属于质的飞跃了,如果能用上 Pandas 之类的那就是提前步入星际时代了。(很多人连 Excel 公式都用不熟,比如我见过照着 Excel 按计算器的)
    ConfusedBiscuit
        2
    ConfusedBiscuit  
       253 天前
    @ConfusedBiscuit 手滑打错了,那点儿数据量根本用不到 Hadoop 、Spark 、Hive 之类的标准大数据方案
    nealHuang
        3
    nealHuang  
       253 天前
    干爹都不叫,没诚意 dog.jpg
    NoOneNoBody
        4
    NoOneNoBody  
       253 天前
    大部分人过不了第一道门槛:数据收集
    huahuaer
        5
    huahuaer  
    OP
       253 天前
    @NoOneNoBody 没事没事,只要个 idea 哈哈哈
    huahuaer
        6
    huahuaer  
    OP
       253 天前
    @nealHuang 只有舅才会惯我🐶
    cxe2v
        7
    cxe2v  
       253 天前
    @NoOneNoBody 你没关系,OP 有啊,你这个问题能叫事?
    NoOneNoBody
        8
    NoOneNoBody  
       253 天前
    @cxe2v #7
    什么意思?你认为数据收集很简单?
    8355
        9
    8355  
       253 天前
    大外甥 我来回答
    主要分为实时数仓和离线数仓
    实时数仓主要做根据用户操作行为做实时分析,分析结果数据出现在大屏监控中或着监控告警。
    极少数需要高实时的业务也有统计类需求,海量记录的日志中心等等。

    离线数仓主要做根据历史数据做精确统计,以前一天/一周/一个月等维度做聚合计算等等。

    主要提升其实就是因为数据量的增长传统关系性数据库无法运行相关的计算,必须要这块的技术来单独处理和优化。比如说我们有单表 10 亿数据的月度记录表 n 张,你在这个表运行下 count 都是比较困难的。

    大数据通常都是 toC 的业务,toB 只有极少数工业场景需要比如工厂安装很多传感器,要求秒级上报对各指标的数据,后台自动运算超过阈值告警。
    huahuaer
        10
    huahuaer  
    OP
       253 天前
    @ConfusedBiscuit 跟我们公司同事了解了下,确实是这种情况😂
    huahuaer
        11
    huahuaer  
    OP
       253 天前   ❤️ 1
    @8355 学到了学到了,感谢舅舅!
    slowboat
        12
    slowboat  
       253 天前
    炒股,看 K 线图算大数据应用吗?
    jayin
        13
    jayin  
       253 天前
    具体业务我不清楚,但是先把数据可视化(数据大屏)做起来,这个迈出第一步了。

    例如,每日的员工迟到、实到,应到可视化。
    onll42y
        14
    onll42y  
       253 天前
    @slowboat 看得多才算,看得少不算!
    ispong
        15
    ispong  
       251 天前
    数据算不动的场景,传统企业的表,错综复杂, 没人想改. 没人敢优化.
    而且年限又长,数据又多又臭,还要全局计算.
    完全离不开大数据计算,但归到底,都是为了决策提供服务,出报表出图
    还是就是处理网上爬取的大数据

    随便推个产品 - https://zhiqingyun.isxcode.com/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1379 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:33 · PVG 01:33 · LAX 09:33 · JFK 12:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.