新闻稿
小红书 案例
用户背景:
小红书是新一代社区电商,它将海外购物分享社区与跨境电商相结合,精准捕捉85后和90后的消费升级需求,迅速发展成为极具影响力的全球购物分享社区。“社区+电商”的模式就是用户分享自己购买的物品、交流购物心得、使用体验,其他用户从中发现自己喜爱的产品;然后通过小红书的电商平台,购买到自己心仪的商品。业务部门通过热点数据分析,定时更新个性化模型,优惠券发放,引导潮流,实施线上报表展示、线上业务数据的分析等,取得更多的商业价值。
用户的挑战
小红书平台用户数量每3个月增加10倍,数据来源主要是音频,视频,高清图片和文字,预估今后数据处于PB级的增长,今后存储总容量有可能会达到EB级。客户无法明确估算存储各阶段的容量,对存储容量有无上限的需求。
用户大部分是手机终端,如何保证用户访问的良好体验?业务对存储的性能和稳定性有较高需求
后台采集的用户数据,需要让各个业务,科学技术,AI等部门共享,能够互不干扰的调用数据,同事也不会导致存储性能大幅下降,并且能存储各种类型的数据。
平台用户的焦点具有强烈的时间性,用户往往只对最近的一些流行的商品,视频,图片感兴趣,热点会产生较大存储压力,而老的数据几乎没有什么访问量,仅业务部门可能会有很少量数据统计访问需求,需要解决此类存储问题。
原本用户购买了一些专业的存储,但建设和运维成本一直困扰着客户,制约了平台快速发展,如何大幅度降低使用存储成本,成为客户的一个重要问题。
解决方案
1, 使用 AWS S3存储做为用户数据主要存储,因为S3容量没有上限,扩容用户无感知,满足客户无法预估容量需求。
2, S3对象存储可以直接面向internet提供服务,并提供权限管理,同时配合AWS CloudFront可以很好的解决大量移动用户访问需求。我们通过调研,小红书用户的数据库,业务系统对存储有性能需求,通过采用AWS的EBS的IO2,根据业务需求预设IOPS和磁盘容量,保证用户存储高性能要求。通过多可用区设计,提供业务冗余。数据库做读写分离,AWS S3和EBS能提供99.9%的可用性,可靠性99.9999999%,满足业务系统的性能和稳定性要求。
3, 采用AWS S3 存储,可以存储各种类型数据,包含文字,图片,视频等。并且各个业务系统都可以直接调用S3存储,满足客户各个业务部门共同访问数据不会造成性能下降的需求。
4, 采用使用S3存储分级功能,可以按照Stand,IA,Glacier自动为客户的存储对象进行分级,S3也支持标签功能,可以对数据进行分类。满足客户数据分级需求。
5, 使用Motion Gear(GDS offering, likely Snowball),为用户数据快速迁移到AWS站点,并且通过IAM权限配置,存储加密,MFA双因素认证,保证安全的需求。满足客户业务快速上线的需求。
6, 小红书用户在存储使用主要集中在S3,使用S3的存储,可以按需付费,不像传统IT那样一次性基础建设为存储付费。通过合理使用AWS S3提供标准,IA,Glacier存储分级,配合客户按时间线划分存储级别,优化存储成本,另外通过cloudwatch可以监控存储使用变化,发现不合理的存储增长,持续优化存储成本。
Outcomes of Project*
总存储成本降低60%。通过AWS云的S3的使用,整体存储成本下架60%,
降低总拥有成本(TCO):运维人员工作量每年减少30%左右。
1个月完成了项目,满足用户业务快速上线的需求。
存储、计算和带宽可以随时灵活扩展。S3对象不需要考虑存储限制和性能问题,满足用户电子商务业务的弹性需求。
通过使用成熟的AWS S3产品并将数据备份到AWS,系统的稳定性大大提高,从On-Prem环境下的99%提高到AWS环境下的99.99999999%,并且基础设施是无故障的,以确保业务的连续性。
通过运用S3存储,使用户可以充分利用数据,获得更多的商业利益。同时今后也会持续使用更多的AWS存储产品。