1:用户签到可以获得积分,需要按照用户维度每天进行用户总积分排行榜
2:需要近实时更新排行榜
3:在积分相同的情况下,需要按照先注册的用户排在前面
4:用户量100w
5:排行前20名称
6:实现积分新增,扣减,过期等能力。
7:优先使用即将过期的积分
1:排行榜的实现可以借助redis的SortedSet数据结构实现排行榜,sortedSet可以按照我们给的score进行排序,
但是SortedSet的性能会随着元素的数量急剧下降。这里每次写入新的移除旧的数据,保证排行的数量在100个
2:用户每次签到都去更新排行榜,可能导致redis 的压力很大。这边先将积分产生变动的记录到一个redis的list结构中
(数量多也可以考虑分片),然后用定时任务每分从redis中捞出积分变更的用户ID,然后再冲数据库中获取用户的积分账户的总积分。这样查询数据库就是走索引的点查了,性能旧很高,而且可以去重再一分钟内用户ID,降低重复刷新排行榜
3:但是SortedSet 再score 相同的情况下,是按照member的字典序排列,用户id是按照注册时间增加的,按照字典序的话id越大就再前面。
这个不符合要求。
然后采取方法,用最大ID减去用户ID,作为member,去排序。
4:查询排行榜直接可以再redis 中获取
特殊场景:用户A,获得10积分,然后马上进行消费积分10积分。但是我们对于积分明细记录是异步进行。可能出现先消费兑换积分的消息,然而用户获取积分的消息还没消费到,从而导致消费不成功。
如何处理这个问题:
如果保证同一个用户的消费积分变化的消息是顺序的。那么用户新增积分必然先消费处理,这样就可以规避这个问题。
这里利用了RocketMq在同一个queue中的消息消费是顺序的特性来处理这个问题,逻辑如下
将用户的userId取模选择queue,同一个用户消息发送到同一个queue,这样保证顺序了
过期积分采用定时任务,扫描过期积分,然后通过userId进行取模,发送mq,然后消费过期积分明细,更新积分账户表的总额
特殊场景
用户有10积分在15日过期,定时任务15日凌晨进行扫描过期,但是还没有更新到用户积分账户表。恰好这个时候用户进行了积分兑换,总表存在这10积分的,导致用户兑换成功,积分详情消费积分兑换消息进行积分明细扣减的时候不存在这笔10积分明细来扣减了,导致扣减失败。
解决方案:
我设计采用乐观锁机制处理,当积分过期时候,先查询该用户积分账户表积分总额,然后过期,当更新总表积分时候用开始查询的积分总额作为乐观锁,
当更新条数未0,说明这个时候用户积分有变更,并不是过期时候积分状态了。这个时候优先用户积分消费,然后将积分过期过期消息重新投递延迟5min的mq消息。
数据库表结构设计,其他技术细节比如消息幂等,消息发送保证成功等技术细节这边就略过,如果大家有其他需求实现难点,大家可以留言讨论!