云函数访问redis
1. SpringBoot进阶之缓存中间件Redis
大家好，一直以来我都本着 用最通俗的话理解核心的知识点， 我认为所有的难点都离不开 “基础知识” 的铺垫
“大佬可以绕过 ~”
本节给大家讲讲 “java的SpringBoot框架” , 之前我们学习的都是java的基础知识和底层提供的一些能力，我们日常工作都是在写接口。在我们在产品开发中，一般我们都会选择比较稳定的框架来帮我们加速开发，不会自己去造轮子，而在java众多框架中，spring框架表现的非常好，大部分公司都会首选它作为开发框架，而至今，大部分企业都是以 springboot 来构建项目了,一个稳健的系统需要引入稳定的技术~
如果你是一路看过来的，很高兴你能够耐心看完。前几期都是带大家学习了 SpringBoot 的基础使用以及集成 mybatis 开发，这也是我们写业务的基础，如果你还不熟悉这些，请先看完它们。接下来的几期内容将会带大家进阶使用，会先讲解基础 中间件 的使用和一些场景的应用，或许这些技术你听说过，没看过也没关系，我会带大家一步一步的入门，耐心看完你一定会有 收获 ,本期将会给大家讲解最热门的缓存中间件技术 Redis ,同样的，我们集成到 Springboot 中。最近github可能会被墙，所以我把源码放到了国内gitee上,本节我们依然使用上期的代码
Redis 是由意大利人Salvatore Sanfilippo（网名：antirez）开发的一款内存高速缓存数据库。全称叫 Remote Dictionary Server（远程数据服务） 是由 C语言 编写的，Redis是一个 key-value 存储系统，它支持丰富的数据类型，如： string、list、set、zset(sorted set)、hash 。
它本质上是一种键值对数据库，我们之前学习的 mysql 它是持久层的关系型数据库,而 redis 它的存储主要存在 内存 中。我们都知道在 内存 中的数据读取是非常快的，就好比你把一个变量存到磁盘读取和直接放到代码中运行，肯定是在代码中拿到的速度快，因为运行时期，都是直接存到内存的。
给大家总结一下：
有了基本的概念之后，我们下面进行环境搭建,在学习阶段，安装 redis 很简单,生产环境一般我们也会选择云产品，一切为了服务保障,虽说它只是做缓存用，但也是系统的一把 保护伞
如果你是 mac 用户，你可以运行如下命令:
安装完成后会提示你运行命令，运行即可。
win 用户也很简单，直接下载 redis 软件，双击运行即可，运行之后它会有一个小方块的图案，和 locahost:6379 的log,说明运行成功了。初始阶段没有配置的 redis 默认 host 就是本地, port 就是 6379 , 而且是 没有密码 就可以访问的。
推荐一个客户端软件 Redis Desktop Manager ，它是 redis 的客户端界面软件,方便面我们学习的时候 清理缓存 使用,生产慎连。
我们不给大家讲它的基本命令使用，它也有语法，可以通过类似命令执行,如果想学习的小伙伴，可以自行搜索。本期重点内容是在 sprinboot 中的使用,我们平时开发不可能是去命令行里敲的，都是代码里执行，而目前市面上有很多封装好的库，我们可以直接调用它的方法，很方便的就可以操作它了，不用记一些繁琐的命令,下面我们就实际操作一下:
修改 pom.xml
修改 application.yml :
redis 默认是有 16 个库,不是 15 个啊，从 0 开始算的,我们随便连一个
通过代码很好理解, 首先需要引入 StringRedisTemplate ,然后需要设置一个 key ,那么思考一下，这个 key 允许重复吗
我们进客户端看一下，发现 key 还是只有一个,但是值变成了新的值了，所以可以得知 key 是唯一的，我们重新设置的时候相当于刷新了它。
在 redis 中删除缓存有两种方式，一种是自我消亡，也就是 过期 销毁,还有有一种是 主动 销毁，我们先看一下，过期时间如何设置
我们设置了 10s 后过期,过完10s后发现，这个```key data``消失了。我们在看看如何主动删除
我们可以利用 Redis 做一个计数器，实现自增功能,你可以用它做网站访问统计
通常做法，我们会把它封装一下，后续使用直接引入封装好的即可，把它直接交给 Springboot容器 管理
其实这个类，你还可以继续进一步封装，比如约束 key 的规范，约束过期时间，约束数据类型等等，这一切也都是为了规范和后期维护，防止滥用缓存
缓存的主要场景是用于解决热点数据问题，因为这些数据是访问频率比较高的，当大量的请求进来, mysql 可能压力很大，这样一来，数据查询效率就很慢，用户肯不高兴等了，这样用户体验很不好。所以我们一般做法，都是把这些热点数据放到缓存里，因为缓存读取速度很快。当有新数据的时候，我们再及时更新它，一般流程是先查询缓存，查到了直接返回缓存数据，查不到再走数据库，然后再刷回缓存。
但是并发足够大的时候，还是会暴露出很多问题，比如面试常问的一些高频问题 缓存雪崩、缓存穿透、缓存雪崩 ,这些问题后边会给大家专门讲，和如何去防范。所以总的来说，引入任何一门技术并不是万事大吉，还需我们不断的在实践中积累经验
本期到这里就结束了，总结一下，我们了解了什么是 redis ，以及在 springboot 中如何去使用它们，很简单，没什么复杂的东西。但这里想多说一点的是，缓存的设计却是很复杂的，因为工具是死的，人是活的，我们如何正确设计，需要我们在项目中不断的积累。
我们之前教大家查询列表数据，都是所有数据返回，还没有教大家如何去做分页，下期将带大家学习一下 mybatis 分页插件的使用 ，下期不见不散, 关注我，不迷路~
2. 腾讯云函数不支持C#
C#语言由于需要编译后才可以在 CoreCLR 虚拟机中运行。因此在 SCF 中的使用方式，和 Python、Node.js 这类脚本型语言不同，和Java一样有如下限制：
不支持上传代码：使用 C# 语言，仅支持上传已经开发完成，编译打包后的 zip 包。SCF 环境不提供 C# 的编译能力。
不支持在线编辑：不能上传代码，所以不支持在线编辑代码。CoreCLR 运行时的函数，在代码页面仅能看到再次通过页面上传或 COS 提交代码的方法。
需具有可执行权限。
能够在 SCF 系统环境（CentOS 7.6）中运行。
阿里云函数计算上部署.NET Core 3.1
使用阿里云ECS或者其他常见的VPS服务部署应用的时候,需要手动配置环境,并且监测ECS的行为,做补丁之类的,搞得有点复杂.好在很多云厂商(阿里云.Azure等)提供了Serverless服务,借助于 ...
IIS上部署Net.Core
部署: 1.安装vc_redist.x64vc_redist.x64 2.安装DotNetCore.1.0.0.RC2-WindowsHosting 3.安装DotNetCore.1.0.0-SDK. ...
So Easy - 在Linux服务器上部署 .NET Core App
.NET Core是微软提供的免费.跨平台和开源的开发框架,可以构建桌面应用程序.移动端应用程序.网络应用程序.物联网应用程序和游戏应用程序等.如果你是 Windows 平台下的 dotnet 开发 ...
在IIS上部署 .Net Core 3.0 项目踩坑实录
在IIS上部署 .Net Core 3.0 项目的主要流程有: 安装并启用IIS 安装AspNetCoreMoleV2 添加.配置网站 设置应用程序池 通过VS发布 一.安装并启用IIS: 安装了 ...
在CentOS 8 上 部署 .Net Core 应用程序
在Centos 8 上 部署 .Net Core 应用程序 -- 记录篇 1.更新dnf 源 1 dnf update 2.安装 Asp.Net Core 运行时 1 dnf install ...
在腾讯云&阿里云上部署JavaWeb项目（Tomcat+MySQL）
之前做项目都是在本地跑,最近遇到需要在在云服务器(阿里云或者腾讯云都可以,差不多)上部署Java Web项目的问题,一路上遇到了好多坑,在成功部署上去之后写一下部署的步骤与过程,一是帮助自己总结记忆, ...
ASP.NET Core学习之四 在CentOS上部署.net core
一.安装CentOs 以前在大学学过linux,但是对命令行总是有一种深深的排斥感,几年之后,还是又回来了. 1.下载 现在没法FQ,就算是FQ网速也是蜗牛一样慢,我使用阿里云的镜像站进行下载速度还是 ...
【netcore入门】在Windows IIS上部署.NET Core 2.1项目
部署之前先检查下面2个先决条件是否满足 1.安装了 IIS 模块 win7 在 控制面板→程序和功能→打开或关闭Windows功能→勾选Internet 信息服务(Internet Informati ...
CentOS7系统上部署.net core程序
一.准备工作 首先安装 xshell和 xftp ,前者用于SSH连接Linux服务器,后者用于FTP上传下载文件. xshell和xftp个人使用是免费的,下载地址 之后分别输入用户名和密码登录主 ...
自定义.NET Custom runtime
Custom Runtime的封装工作就是要把各种trigger 的事件封装一个.NET Standard库，开发云函数。自 .NET Core 2.0 开始， 提供了名为IHostedService的新接口，有助于轻松实现托管服务，文章《ASP.NET Core 3.x控制IHostedService启动顺序浅探》有深入的实现分析，基于IHostedService实现一个SCFHostService：
这里我们把SCF的Custom Runtime 抽象到ISCFHost 中
在SCFHost 类中完成Custom Runtime的业务处理，接收来自SCF 的事件，转发给函数进行处理，函数处理的接口 IFunctionInvoker：
默认实现了FunctionInvoker 把请求信息 返回给 SCF：
responseBody 代表了SCF函数的不同Trigger事件信息，我们可以根据不同的Trigger 定义不同的处理函数，例如我们处理HttpTrigger的函数为HttpFunctionInvoker：
上面我们已经完成了最小的MVP封装，利用.NET Core的依赖注入容器封装起来，我们定义了一个ISCFBuilder 来组装函数的配置和服务：
SCF 云函数开发
我们使用.NET Core的控制台程序来开发云函数，创建一个控制台程序, 引用Yhd.TencentCloud.SCF 包，把Program.cs 替换成类似代码：
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Hosting;
using Microsoft.Extensions.Logging;
using System.Threading.Tasks;
using Yhd.FindJob;
using Yhd.TencentCloud.SCF.Executors;
public class Index
{
static async Task Main(string[] args)
{
var builder = new HostBuilder()
.ConfigureSCF((context, scfbuilder) =>
{
var configuration = scfbuilder.Configuration;
scfbuilder.Services.AddFindJob(configuration);
scfbuilder.Services.AddEasyCaching(options =>
{
options.UseInMemory();
//use redis cache that named redis
options.UseRedis(configuration)
.WithJson()
;
});
scfbuilder.Services.AddTransient<IFunctionInvoker, JobsHttpFunctionInvoker>();
})
.UseConsoleLifetime();
var host = builder.Build();
using (host)
{
await host.RunAsync();
}
}
}
通过ConfigureSCF 可以添加函数的依赖服务，例如上面例子中的EasyCaching 以及函数的服务， 关键的一句是 scfbuilder.Services.AddTransient<IFunctionInvoker, JobsHttpFunctionInvoker>(); 把函数的处理逻辑使用JobsHttpFunctionInvoker 进行注入。把函数的配置放到appsettings.json。
现在SCF 云函数有个问题是本地Windows开发问题，本地的函数逻辑的测试可以通过单元测试进行。还有函数打包必须在linux环境下进行。
云函数部署
创建 bootstrap 文件
bootstrap 是运行时入口引导程序文件，Custom Runtime 加载函数时固定检索 bootstrap 同名文件，并执行该程序来启动 Custom Runtime 运行时。Custom Runtime 支持任意语言及版本开发运行函数，主要基于 bootstrap 引导程序由开发者自定义实现。其中，bootstrap 需具备以下条件：
下面这个是 .NET Core 3.1的云函数 bootstrap 文件
#!/bin/sh
echo "Start dotnet bootstrap ~~~"
export DOTNET_ROOT=/opt/rt
export PATH=$(pwd):/opt/rt:${PATH}
dotnet ./index/bin/Release/netcoreapp3.1/index.dll
index.dll 就是我们开发的函数文件。
成功创建bootstrap和函数文件后，目录结构如下所示：
├ bootstrap
└ index
需要在Linux 下执行以下命令，设置文件可执行权限，并将其添加至 ZIP 包
部署包准备好后，可以通过云函数控制台来创建和发布函数
在腾讯云云函数计算上部署.NET Core 3.1的更多相关文章
3. redis是如何执行的
对于任何一门技术，如果你只停留在“会用”的阶段，那就很难有所成就，甚至还有被裁员和找不到工作的风险，我相信能看此篇文章的你，一定是积极上进想有所作为的人，那么借此机会，我们来深入的解一下 Redis 的执行细节。
一条命令的执行过程有很多细节，但大体可分为：客户端先将用户输入的命令，转化为 Redis 相关的通讯协议，再用 socket 连接的方式将内容发送给服务器端，服务器端在接收到相关内容之后，先将内容转化为具体的执行命令，再判断用户授权信息和其他相关信息，当验证通过之后会执行最终命令，命令执行完之后，会进行相关的信息记录和数据统计，然后再把执行结果发送给客户端，这样一条命令的执行流程就结束了。如果是集群模式的话，主节点还会将命令同步至子节点，下面我们一起来看更加具体的执行流程。
步骤二：客户端先将命令转换成 Redis 协议，然后再通过 socket 连接发送给服务器端
客户端和服务器端是基于 socket 通信的，服务器端在初始化时会创建了一个 socket 监听，用于监测链接客户端的 socket 链接，源码如下：
当 socket 成功连接之后，客户端会先把命令转换成 Redis 通讯协议（RESP 协议，REdis Serialization Protocol）发送给服务器端，这个通信协议是为了保障服务器能最快速的理解命令的含义而制定的，如果没有这个通讯协议，那么 Redis 服务器端要遍历所有的空格以确认此条命令的含义，这样会加大服务器的运算量，而直接发送通讯协议，相当于把服务器端的解析工作交给了每一个客户端，这样会很大程度的提高 Redis 的运行速度。例如，当我们输入 set key val 命令时，客户端会把这个命令转换为 *3 $3 SET $4 KEY $4 VAL 协议发送给服务器端。 更多通讯协议，可访问官方文档： https://redis.io/topics/protocol
扩展知识：I/O 多路复用
Redis 使用的是 I/O 多路复用功能来监听多 socket 链接的，这样就可以使用一个线程链接来处理多个请求，减少线程切换带来的开销，同时也避免了 I/O 阻塞操作，从而大大提高了 Redis 的运行效率。
综合来说，此步骤的执行流程如下：
步骤三：服务器端接收到命令
当数据大小验证通过之后，服务器端会对输入缓冲区中的请求命令进行分析，提取命令请求中包含的命令参数，存储在 client 对象(服务器端会为每个链接创建一个 Client 对象)的属性中。
步骤四：执行前准备
① 判断是否为退出命令，如果是则直接返回；
② 非 null 判断，检查 client 对象是否为 null，如果是返回错误信息；
③ 获取执行命令，根据 client 对象存储的属性信息去 redisCommand 结构中查询执行命令；
④ 用户权限效验，未通过身份验证的客户端只能执行 AUTH(授权) 命令，未通过身份验证的客户端执行了 AUTH 之外的命令则返回错误信息；
⑤ 集群相关操作，如果是集群模式，把命令重定向到目标节点，如果是 master(主节点) 则不需要重定向；
⑥ 检查服务器端最大内存限制，如果服务器端开启了最大内存限制，会先检查内存大小，如果内存超过了最大值会对内存进行回收操作；
⑦ 持久化检测，检查服务器是否开启了持久化和持久化出错停止写入配置，如果开启了此配置并且有持久化失败的情况，禁止执行写命令；
⑧ 集群模式最少从节点(slave)验证，如果是集群模式并且配置了 repl min slaves to write(最小从节点写入)，当从节点的数量少于配置项时，禁止执行写命令；
⑨ 只读从节点验证，当此服务器为只读从节点时，只接受 master 的写命令；
⑩ 客户端订阅判断，当客户端正在订阅频道时，只会执行部分命令（只会执行 SUBSCRIBE、PSUBSCRIBE、UNSUBSCRIBE、PUNSUBSCRIBE，其他命令都会被拒绝）。
⑪ 从节点状态效验，当服务器为 slave 并且没有连接 master 时，只会执行状态查询相关的命令，如 info 等；
⑫ 服务器初始化效验，当服务器正在启动时，只会执行 loading 标志的命令，其他的命令都会被拒绝；
⑬ lua 脚本阻塞效验，当服务器因为执行 lua 脚本阻塞时，只会执行部分命令；
⑭ 事务命令效验，如果执行的是事务命令，则开启事务把命令放入等待队列；
⑮ 监视器 (monitor) 判断，如果服务器打开了监视器功能，那么服务器也会把执行命令和相关参数发送给监视器 (监视器是用于监控服务器运行状态的)。
当服务器经过以上操作之后，就可以执行真正的操作命令了。
步骤五：执行最终命令，调用 redisCommand 中的 proc 函数执行命令。
步骤六：执行完后相关记录和统计 ① 检查慢查询是否开启，如果开启会记录慢查询日志； ② 检查统计信息是否开启，如果开启会记录一些统计信息，例如执行命令所耗费时长和计数器(calls)加1； ③ 检查持久化功能是否开启，如果开启则会记录持久化信息； ④ 如果有其它从服务器正在复制当前服务器，则会将刚刚执行的命令传播给其他从服务器。
步骤七：返回结果给客户端 命令执行完之后，服务器会通过 socket 的方式把执行结果发送给客户端，客户端再把结果展示给用户，至此一条命令的执行就结束了。
小结
当用户输入一条命令之后，客户端会以 socket 的方式把数据转换成 Redis 协议，并发送至服务器端，服务器端在接受到数据之后，会先将协议转换为真正的执行命令，在经过各种验证以保证命令能够正确并安全的执行，但验证处理完之后，会调用具体的方法执行此条命令，执行完成之后会进行相关的统计和记录，然后再把执行结果返回给客户端。
4. 移动云云数据库Redis有什么产品功能缓存应用怎么样
首先云数据库Redis是一款内存型数据库，云数据库Redis应用场景还挺多的，可用于游戏缓存、互联网缓存、电商高并发，所以缓存应用是redis最为普遍的用途，各行各业都适用！
5. 如何在云数据库 Redis 版设置 IP 白名单
操作步骤
登录Redis 管理控制台，定位目标实例。
单击实例 ID 或者管理进入实例信息页面。
在左侧导航栏中选择安全设置，单击 default 白名单分组中的修改。
说明：若您想使用自定义分组，请先单击 default 白名单分组中清空以删除默认分组中的IP地址127.0.0.1，然后单击添加白名单分组新建自定义分组，其余操作步骤与下述步骤相似。
在修改白名单分组窗口中填写分组名称和组内白名单 IP 列表，单击确认。
参数说明：
分组名称：长度为2~32个字符，由小写字母、数字或下划线组成，开头需为小写字母，结尾需为字母或数字。在白名单分组创建成功后，该名称将不能被修改。
组内白名单：填写允许访问 Redis 实例的 IP 地址或者 IP 段。IP 白名单设置为 0.0.0.0/0 代表允许所有地址访问，设置为 127.0.0.1 代表禁止所有地址访问。
若填写 IP 段，如10.10.10.0/24，则表示10.10.10.X的IP地址都可以访问该 Redis 实例。
若您需要添加多个 IP，请用英文逗号隔开，逗号前后都不能加空格。
所有白名单分组总共最多可以添加1000个 IP。
6. 腾讯数据库版和腾讯云函数版区别
前者为提供云数据库的服务平台，后者为免费运行代码的计算平台。
腾讯云数据库（TencentDB）是腾讯提供的高可靠、高可用、可弹性伸缩的云数据库服务产品的总称。可轻松运维主流开源及商业数据库（MySQL、Redis、MongoDB、MariaDB、SQL Server、PostgreSQL等），它更拥有容灾、备份、恢复、监控、数据传输服务、安全服务、灾备和智能 DBA 等全套服务。
云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境，帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件，即可在腾讯云基础设施上弹性、安全地运行代码。云函数是实时文件处理和数据处理等场景下理想的计算平台。
如果是海量数据存储，可以考虑市面上的对象存储，比如杉岩海量对象存储MOS，为解决海量非结构数据存储提供整体解决方案。
7. 远程连接redis报错：Connection refused
注释掉 bind 127.0.0.1 这一行（在前面添加一个 # 就是注释）。
重启 redis 服务。
注意： redis 的配置文件位置不是100%一样，有可能你的服务器的 redis.config 文件和我的位置不一样，请注意甄别。
如果还不行，检查防火墙设置，看看是否有禁止 6379 端口或者限制远程 ip 访问。 如果是购买的云服务器 ，检查 安全组 是否放行 6379 端口（例如：如果你购买的是阿里云的服务器，则登录阿里云的控制台，查看redis所在服务器的安全组设置）。
将命令中的 88.88.88.88 改成你的 ip 地址，将 6379 改成你的 redis 的端口（默认端口就是 6379 ），将 password 改成你的 redis 授权密码。