首页 > 065高级推荐模型之二 > 065高级推荐模型之二,NewLife.Redis基础教程

065高级推荐模型之二,NewLife.Redis基础教程

互联网 2021-12-08 23:48:06 Tags:065高级推荐模型之二

《Unturned》(未转变者)实用物品大全id分类 哔哩哔哩NewLife.Redis基础教程 云+社区 腾讯云 Tencent机器学习第四讲:模型提升哔哩哔哩bilibili创新的资本逻辑 (豆瓣) Douban内控总监工作笔记 企业内部控制工作法及案例解析 企业内部控制 如何选择传感器?万字技巧指南来袭!面包板社区征服市场的人豆瓣在线阅读征服市场的人:西蒙斯传PDF+epub电 产业数字化PDF电子版在线阅读产业数字化 驱动中国经济打造新

X组件缓存架构以ICache接口为核心,包括MemoryCache、Redis和DbCache实现,支持FX和netstandard2.0!后续例程与使用说明均以Redis为例,各缓存实现类似。

Redis组件:Nuget包NewLife.Redis,源码 https://github.com/NewLifeX/NewLife.Redis

X组件:Nuget包NewLife.Core,源码 https://github.com/NewLifeX/X

一、内存缓存 MemoryCache

MemoryCache核心是并行字典ConcurrentDictionary,由于省去了序列化和网络通信,使得它具有千万级超高性能(普通台式机实测1600万tps)。MemoryCache支持过期时间,默认容量10万个,未过期key超过该值后,每60秒根据LRU清理溢出部分。常用于进程内千万级以下数据缓存场景。

// 缓存默认实现Cache.Default是MemoryCache,可修改//var ic = Cache.Default;//var ic = new MemoryCache();二、基础 Redis

Redis实现标准协议以及基础字符串操作,完整实现由独立开源项目NewLife.Redis提供。采取连接池加同步阻塞架构,具有超低延迟(200~600us)以及超高吞吐量(实测222万ops/900Mbps)的特点。在物流行业大数据实时计算中广泛应有,经过日均100亿次调用量验证。

// 实例化Redis,默认端口6379可以省略,密码有两种写法//var ic = Redis.Create("127.0.0.1", 7);var ic = Redis.Create("[email protected]:6379", 7);//var ic = Redis.Create("server=127.0.0.1:6379;password=pass", 7);ic.Log = XTrace.Log; // 调试日志。正式使用时注释三、数据库 DbCache

DbCache属于实验性质,采用数据库存储数据,默认SQLite。

四、基本操作

在基本操作之前,我们先做一些准备工作:

新建控制台项目,并在入口函数开头加上  XTrace.UseConsole();  ,这是为了方便查看调试日志具体测试代码之前,需要加上前面MemoryCache或Redis的实例化代码准备一个模型类User

class User{public String Name { get; set; }public DateTime CreateTime { get; set; }}

添删改查:

var user = new User { Name = "NewLife", CreateTime = DateTime.Now };ic.Set("user", user, 3600);var user2 = ic.Get("user");XTrace.WriteLine("Json: {0}", ic.Get("user"));if (ic.ContainsKey("user")) XTrace.WriteLine("存在!");ic.Remove("user");

执行结果:

14:14:25.9901 N - SELECT 714:14:25.9921 N - => OK14:14:26.0081 N - SETEX user 3600 [53]14:14:26.0211 N - => OK14:14:26.0421 N - GET user14:14:26.0481 N - => [53]14:14:26.0641 N - GET user14:14:26.0651 N - => [53]14:14:26.0661 N - Json: {"Name":"NewLife","CreateTime":"2018-09-25 14:14:25"}14:14:26.0671 N - EXISTS user14:14:26.0681 N - => 114:14:26.0681 N - 存在!14:14:26.0691 N - DEL user14:14:26.0701 N - => 1

保存复杂对象时,默认采用Json序列化,所以上面可以按字符串把结果取回来,发现正是Json字符串。Redis的strings,实质上就是带有长度前缀的二进制数据,[53]表示一段53字节长度的二进制数据。

五、集合操作

GetAll/SetAll 在Redis上是很常用的批量操作,同时获取或设置多个key,一般有10倍以上吞吐量。

批量操作:

var dic = new Dictionary{["name"] = "NewLife",["time"] = DateTime.Now,["count"] = 1234};ic.SetAll(dic, 120);var vs = ic.GetAll(dic.Keys);XTrace.WriteLine(vs.Join(",", e => $"{e.Key}={e.Value}"));

执行结果:

MSET name NewLife time 2018-09-25 15:56:26 count 1234=> OKEXPIRE name 120EXPIRE time 120EXPIRE count 120MGET name time countname=NewLife,time=2018-09-25 15:56:26,count=1234

集合操作里面还有 GetList/GetDictionary/GetQueue/GetSet 四个类型集合,分别代表Redis的列表、哈希、队列、Set集合等。基础版Redis不支持这四个集合,完整版NewLife.Redis支持,MemoryCache则直接支持。

六、高级操作Add 添加,当key不存在时添加,已存在时返回false。Replace 替换,替换已有值为新值,返回旧值。Increment 累加,原子操作Decrement 递减,原子操作

高级操作:

var flag = ic.Add("count", 5678);XTrace.WriteLine(flag ? "Add成功" : "Add失败");var ori = ic.Replace("count", 777);var count = ic.Get("count");XTrace.WriteLine("count由{0}替换为{1}", ori, count);ic.Increment("count", 11);var count2 = ic.Decrement("count", 10);XTrace.WriteLine("count={0}", count2);

执行结果:

SETNX count 5678=> 0Add失败GETSET count 777=> 1234GET count=> 777count由1234替换为777INCRBY count 11=> 788DECRBY count 10=> 778count=778七、性能测试

Bench 会分根据线程数分多组进行添删改压力测试。rand 参数,是否随机产生key/value。batch 批大小,分批执行读写操作,借助GetAll/SetAll进行优化。

Redis默认设置AutoPipeline=100,无分批时打开管道操作,对添删改优化。

Redis性能测试[随机],批大小[100],逻辑处理器 40 个 2,400MHz Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz测试 100,000 项,1 线程赋值 100,000 项,1 线程,耗时 418ms 速度 239,234 ops读取 100,000 项,1 线程,耗时 520ms 速度 192,307 ops删除 100,000 项,1 线程,耗时 125ms 速度 800,000 ops测试 200,000 项,2 线程赋值 200,000 项,2 线程,耗时 548ms 速度 364,963 ops读取 200,000 项,2 线程,耗时 549ms 速度 364,298 ops删除 200,000 项,2 线程,耗时 315ms 速度 634,920 ops测试 400,000 项,4 线程赋值 400,000 项,4 线程,耗时 694ms 速度 576,368 ops读取 400,000 项,4 线程,耗时 697ms 速度 573,888 ops删除 400,000 项,4 线程,耗时 438ms 速度 913,242 ops测试 800,000 项,8 线程赋值 800,000 项,8 线程,耗时 1,206ms 速度 663,349 ops读取 800,000 项,8 线程,耗时 1,236ms 速度 647,249 ops删除 800,000 项,8 线程,耗时 791ms 速度 1,011,378 ops测试 4,000,000 项, 40 线程赋值 4,000,000 项, 40 线程,耗时 4,848ms 速度 825,082 ops读取 4,000,000 项, 40 线程,耗时 5,399ms 速度 740,877 ops删除 4,000,000 项, 40 线程,耗时 6,281ms 速度 636,841 ops测试 4,000,000 项, 64 线程赋值 4,000,000 项, 64 线程,耗时 6,806ms 速度 587,716 ops读取 4,000,000 项, 64 线程,耗时 5,365ms 速度 745,573 ops删除 4,000,000 项, 64 线程,耗时 6,716ms 速度 595,592 ops

Redis组件:Nuget包NewLife.Redis,源码 https://github.com/NewLifeX/NewLife.Redis

X组件:Nuget包NewLife.Core,源码 https://github.com/NewLifeX/X

如果你喜欢我们的开源项目,到github赏个star呗^_^

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

免责声明:非注明原创的信息,皆为程序自动获取自互联网,目的在于传递更多信息,不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给网站管理员发送电子邮件,并提供相关证明(版权证明、身份证正反面、侵权链接),网站管理员将在收到邮件24小时内删除。