PinnedPinnedPrivate
motherduck.com

MotherDuck:大数据已死

“大数据”被夸大成了普遍问题,真实的数据工作多数受限于组织、建模和工作负载,而不是数据规模。十多年来,供应商用数据爆炸叙事推动企业购买可横向扩展的系统,但大量企业的数据仓库其实小于 1TB,许多活跃客户的数据量甚至只有几十 GB。数据规模呈幂律分布,少数巨头拥有 PB 级数据,并不能代表大多数组织。更关键的是,存储增长不等于计算需求增长:历史数据会不断累积,但分析通常只看最近时间段或聚合结果,查询的大多是小表、小窗口和小样本。云平台把存储与计算分离后,企业更容易把旧数据都留在对象存储里,于是存储量暴涨,却不意味着每次分析都需要分布式计算。真正的问题往往是数据是否清晰、业务问题是否明确、查询是否服务决策。把所有困难都归因于“大”,会让团队忽视更普通也更重要的事实:多数分析任务用简单、单机、低摩擦的工具已经足够。

PinnedPinnedPrivate
joulee.medium.com

盲人、大象和 3 个数据错误

这是我最喜欢的寓言。它用很少的文字说了很多,关于我们在孤独的头脑中的居住方式,为什么对齐是珠穆朗玛峰,真理的形状如何是钻石面的。我看到这个故事经常被用来描述组织功能障碍—— 看到了吗?这就是为什么Sales和Product一直吵架的原因!最近,我开始将这个故事视为另一个主题的完美体现:团队在 使用数据 时最常犯的 3 个错误。

PinnedPinnedPrivate
andrewchen.substack.com

为什么数据驱动的产品决策很难

使用数据进行产品决策的核心是一个巨大的悖论。 吉姆-巴克斯代尔 而第二幅网络漫画,说明了数据驱动的产品文化会发生什么。为什么我们掌握了这么多关于人们如何使用我们产品的数据,我们能够推测是什么让产品更有粘性或更有价值,但寻求真相却如此困难?在追求数据驱动的过程中,我们遇到了许多核心问题,这些问题都是基于我们如何收集/分析/决策数据。我想说的最终一点是,有很多问题,正如网络漫画中提到的,这些数据驱动的问题会层出不穷,有太多的仪表盘,也有太多相互矛盾的意见。这种主流文化是一种数据文化、优化文化,是一种采取具体的小步骤来实现大而易懂的指标的文化。可以说,许多大型科技产品的成功--这些产品的核心似乎并没有发生什么变化,只是在不断进步--都是基于这种策略的成功。相反,您可能必须反其道而行之,才能在竞争中立于不败之地: 主要凭直觉,而不是等待数据 超快速决策,而不是渐进决策 当然,我始终主张优化值得优化的东西,比如注册流程和关键通知。

PinnedPinnedPrivate
stackoverflow.blog

数据驱动的决策并不是创新的决策

数据驱动的决策通常擅长优化已有市场,却很难产生真正创新。焦点小组、调查、客户分群和行为数据主要来自已经被互联网服务覆盖的人群,他们的未满足需求往往只剩细小改进空间。早期的eBay、亚马逊和iPhone打破市场,并不是因为更精细地服务既有需求,而是满足了当时主流方案无法满足的需求:陌生人可信交易、可靠线上物流、可随应用变化的触控界面。创新机会更常出现在技术边缘的人那里,包括被忽视的群体、残障用户、没有被现有产品认真服务的人。服务这些人并不必然牺牲大众市场,许多无障碍能力后来成为所有人都受益的核心功能。团队要发现这类机会,不能只收集现成数据,还要练习让不同声音进入决策:主持会议、主动征求反对意见、正确归功、尊重专业经验、把分歧变成探索。创新不是少看数据,而是承认数据只能照亮已经有人走过的地方。

PinnedPinnedPrivate
ludic.mataroa.blog

大多数数据工作似乎根本没有价值

许多数据岗位的空虚感来自一个残酷现实:组织花钱雇人谈“数据驱动”,却没有建立让数据产生结果的机制。仪表盘被紧急要求制作,却几乎没人查看;数据源混乱、缺少文档,错误也没人发现;机器学习项目多年推进,却没有任何计划根据模型输出改变业务动作。问题不只是个人懒散,而是大型组织里预算充足、结果模糊、责任稀薄,最容易滋生表演性工作。管理层喜欢现代化口号,但实际仍要求电子表格式交付,因为这样最快、最容易显得有产出。糟糕的数据基础让真正的分析几乎不可能,基础设施申请又被官僚流程拖垮,一个简单实例可能被报出离谱成本。于是团队既不能删掉必要报告,也很难自动化和改造,只能维持一套没人信但大家都配合的社会剧本。真正有价值的工作更可能出现在利润中心或结果清晰的团队,因为那里产出能被市场、用户或收入直接检验。