欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

时间:2023-06-02 18:33:58 | 浏览:1642

第1章 电商业务与数据结构简介1.1 电商业务流程电商业务流程1.2 电商常识(SKU、SPU)SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。SPU(St

第1章 电商业务与数据结构简介1.1 电商业务流程

电商业务流程

1.2 电商常识(SKU、SPU)

  • SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。
  • SPU(Standard Product Unit):是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息集合。

比如,咱们购买一台iPhoneX手机,iPhoneX手机就是一个SPU,但是你购买的时候,不可能是以iPhoneX手机为单位买的,商家也不可能以iPhoneX为单位记录库存SKU。必须要以什么颜色什么版本的iPhoneX为单位。比如,你购买的是一台银色、128G内存的、支持联通网络的iPhoneX,商家也会以这个单位来记录库存数。那这个更细致的单位就叫库存单元(SKU)。那SPU又是干什么的呢?

SPU

SPU表示一类商品。好处就是:可以共用商品图片,海报、销售属性等。1.3 电商表结构

电商表结构

1.3.1 订单表(order_info)

订单表

1.3.2 订单详情表(order_detail)

订单详情表

1.3.3 商品表

商品表

1.3.4 用户表

用户表

1.3.5 商品一级分类表

商品一级分类表

1.3.6 商品二级分类表

商品二级分类表

1.3.7 商品三级分类表

商品三级分类表

1.3.8 支付流水表

支付流水表

第2章 数仓理论(面试重点)2.1 表的分类2.1.1 实体表实体表,一般是指一个现实存在的业务对象,比如用户,商品,商家,销售员等等。用户表:

实体表

2.1.2 维度表维度表,一般是指对应一些业务状态,编号的解释表。也可以称之为码表。比如地区表,订单状态,支付方式,审批状态,商品分类等等。

维度表

2.1.3 事务型事实表事务型事实表,一般指随着业务发生不断产生数据。特点是一旦发生不会再变化。一般比如,交易流水,操作日志,出库入库记录等等。

事务型事实表

2.1.4 周期型事实表周期型事实表,一般指随着业务发生不断产生变化(更新, 新增)的数据。与事务型不同的是,数据会随着业务周期性的推进而变化。比如订单,其中订单状态会周期性变化。再比如,请假、贷款申请,随着批复状态在周期性变化。订单表:

周期型事实表

2.2 同步策略数据同步策略的类型包括:全量表、增量表、新增及变化表、拉链表

  • 全量表:存储完整的数据。
  • 增量表:存储新增加的数据。
  • 新增及变化表:存储新增加的数据和变化的数据。
  • 拉链表:对新增及变化表做定期合并。

2.2.1 实体表同步策略实体表:比如用户,商品,商家,销售员等实体表数据量比较小:通常可以做每日全量,就是每天存一份完整数据。即每日全量。2.2.2 维度表同步策略维度表:比如订单状态,审批状态,商品分类维度表数据量比较小:通常可以做每日全量,就是每天存一份完整数据。即每日全量。说明:1)针对可能会有变化的状态数据可以存储每日全量。2)没变化的客观世界的维度(比如性别,地区,民族,政治成分,鞋子尺码)可以只存一份固定值。2.2.3 事务型事实表同步策略事务型事实表:比如,交易流水,操作日志,出库入库记录等。因为数据不会变化,而且数据量巨大,所以每天只同步新增数据即可,所以可以做成每日增量表,即每日创建一个分区存储。2.2.4 周期型事实表同步策略周期型事实表:比如,订单、请假、贷款申请等这类表从数据量的角度,存每日全量的话,数据量太大,冗余也太大。如果用每日增量的话无法反应数据变化。每日新增及变化量,包括了当日的新增和修改。一般来说这个表,足够计算大部分当日数据的。但是这种依然无法解决能够得到某一个历史时间点(时间切片)的切片数据。所以要用利用每日新增和变化表,制作一张拉链表,以方便的取到某个时间切片的快照数据。所以我们需要得到每日新增及变化量。

拉链表

2.3 范式理论2.3.1 范式概念关系型数据库设计时,遵照一定的规范要求,目的在于降低数据的冗余性,目前业界范式有:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)、第五范式(5NF)。范式可以理解为设计一张数据表的表结构,符合的标准级别。使用范式的根本目的是:1)减少数据冗余,尽量让每个数据只出现一次。2)保证数据一致性缺点是获取数据时,需要通过Join拼接出最后的数据。2.3.2 函数依赖

函数依赖

2.3.3 三范式区分

三范式区分

二范式区分

三范式区分

未完待续

相关资讯

项目实战从0到1之大数据项目之电商数仓:系统业务数据仓库

第1章 电商业务与数据结构简介1.1 电商业务流程电商业务流程1.2 电商常识(SKU、SPU)SKU=Stock Keeping Unit(库存量基本单位)。现在已经被引申为产品统一编号的简称,每种产品均对应有唯一的SKU号。SPU(St

项目实战从0到1之大数据项目之电商数仓(用户行为数据采集四)

4.4 采集日志Flume4.4.1 日志采集Flume安装集群规划:4.4.2 项目经验之Flume组件1)Source (1)Taildir Source相比Exec Source、Spooling Directory Source的优

电商大数据是什么意思?对大数据的正确理解!-太原启烁传媒

电商大数据是什么意思?相信大家常常听到“大数据”这个词,似乎带了一个“大”字咱们就难以了解其中的含义。都说当今世界是大数据的年代,只要掌控大数据才干赢得这场各行各业之间的战役。其实简单而言,咱们现在所知的电商,诸如淘宝、京东等无不靠着大数据

“大数据杀熟”愈演愈烈 电商诚信修复成系统工程

围绕着“大数据杀熟”是否存在的争论延续至今仍无定论,但从去年初爆出到现在,“大数据杀熟”所指向的在线差旅平台风波难断。从“电子商务消费纠纷调解平台”2018年受理的全国306家各类电商全年度真实用户投诉大数据看,经营者信用缺失的现状依然不容

“大数据杀熟”愈演愈烈 电商诚信修复成系统工程

来源:科技日报围绕着“大数据杀熟”是否存在的争论延续至今仍无定论,但从去年初爆出到现在,“大数据杀熟”所指向的在线差旅平台风波难断。从“电子商务消费纠纷调解平台”2018年受理的全国306家各类电商全年度真实用户投诉大数据看,经营者信用缺失

社交电商大数据报告:基于1000份判决,详解社交电商刑事行政风险

今年5月3日,云集正式登陆纳斯达克,但悬在社交电商头顶的达摩克里斯之剑并无远去。摩能国际涉刑、花生日记被罚、未来集市账号冻结……一切并没有因为云集的上市而导致社交电商的争议停止,刑事和行政规制仍然是社交电商发展的紧箍咒。在刑事部分,通过案例

电商大数据解读进口跨境电商现状

作者: ECdataway数据威 来源: ECdataway数据威 2018-11-22 13:57 首届进博会获得了世界的关注,根据进博会官方数据,以下三组数字体现了首届进博会的巨大商业成果:1、全球151个国家和地区的3617家企业参展

23点聊电商:数字农业:物联网 大数据的下一个战场

作者: 亿邦动力网 来源: 亿邦动力网 2019-06-08 23:00 整点电商:截止23点 ,你错过了哪些电商圈大事儿小情?邦点报①Cityfurnish完成500万美元A轮融资②Gatik完成450万美元种子轮融资③腾讯和秦始皇帝陵博

拿下千亿级电商产业、孵化百亿级“大数据 ”产业 宿迁与京东的数字奇缘

封面新闻记者 付文超当国内很多城市都在争夺电商之都时,位于浙北的杭州和苏北的宿迁是两个例外,但是两座城市又是完全迥异的两种模式。杭州背靠义乌金华小商品产业带,打造千万商家云集的电商平台亦在情理之中;宿迁没有这样的先天优势,在京东没有打出一片

互联网 大数据与跨境电商结合 跨境数字贸易蓬勃发展

商务部部长王文涛表示,当前,新一轮科技革命和产业变革突飞猛进,全球数字经济蓬勃发展,催生了以数据为关键生产要素、数字服务为核心、数字订购与交付为主要特征的数字贸易,这也是国际贸易发展的一个新趋势。我国将加快发展数字贸易。近年来,我国已经发展

​大数据会说话㊴3个“圈”“数”说四川电商发展

重播

2023-2024年中国生鲜电商运行大数据及发展前景研究报告

搜索关注公众号【艾媒咨询】,回复【生鲜电商】获取完整版报告  核心观点市场规模:2022年中国生鲜电商市场规模达3637.5亿元,2026年将达6302.0亿元  iiMedia Research(艾媒咨询)数据显示,2022年中国生鲜电商

大数据杀熟、“竞价排名”泛化:电商时代如何捍卫消费者主权|快评

制定于1993年的反不正当竞争法,又将迎来再一次修订。国家市监总局官网日前公布“反不正当竞争法(修订草案征求意见稿)”,不能大数据杀熟、不能强迫“二选一”等都被写入,呼应了数字经济时代新情况。修订草案新增一条规定,经营者不得利用算法,通过分

大数据在电商领域中的常见使用

要是问一个人,你有多久没有线下购物了?在早些年可能会觉得很荒谬,但是现在就不奇怪了,网购的发展使得线上购物变得常见起来,在电商中也有很多的科技使用,下面就一起来看看电商中的大数据使用。1、信息检索服务网络上的信息呈爆发式增长,消费者很难在有

大数据透露餐饮出行电商全线走红

餐饮业火爆是国内消费市场强劲复苏的一个缩影 图/新华社图/受访者提供图/受访者提供羊城晚报记者 沈钊五年来最火“五一”日前落下帷幕,除各地“人从众”直观地反映文旅热之外,近日多个平台相继发布的数据也显示,餐饮、出行、电商等领域在刚刚过去的这

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈速比涛泳镜百年灵手表安溪铁观音官网汽车美容网数字电商资讯网极限漂流运动网宁德新闻资讯网福布斯富豪榜深圳交友相亲网安顺头条新闻网台湾卤肉饭加盟官网祁门红茶官网金丝玉网桂林日月双塔资讯网今日池州
大数据信息网-大数据信息化时代、大数据分析师、十大物联网云平台、云计算运维工程师、ai数据标注平台、ai智能机器人、人工智能训练平台、计算机运维工程师、人工智能训练师、ai智能绘画软件、免费大数据分析网站。
大数据信息网 liakou.cn ©2022-2028版权所有