壹、Redis提供了如何持久化学工业机械制,首先看下内部存款和储蓄器数据库的基本概念

安排文件

redis.windows.conf

Redis服务端的运维参数全体靠配置文件落实,此处详细介绍Redis配置文件的几个关键参数:

network

  • bind 1二7.0.0.一:绑定地址(外网连接:0.0.0.0)  
  • port 637玖:私下认可绑定本机的6379端口;
  • timeout:连接超时时间(秒)
  • requirepass pass:配置redis连接认证密码

general

  • loglevel
    debug/notice/warning/verbose:日志等级(开荒测试/生产环境/只记录警告错误音信/详细消息)
  • logfile
    ./Logs/redis_log.txt:日志文件保留路线
  • databases 16:数据库数量,私下认可0

snapshotting

  • save TimeInterval ChangeCnt

append only mode

  • appendonly yes:开启命令日志形式;

limits

  • maxclients 6四:最卢萨卡接数,0为不限定
  • maxmemory <bytes>:内部存款和储蓄器清理临界值
  • maxmemory-policy
    volatile-lru:内部存款和储蓄器清理选择的默许战略,对设置过期时间的key举行LRU算法删除

1). RDB持久化:(Redis asynchronously dumps the dataset )
  该机制是指在钦命的时日间隔内将内部存款和储蓄器中的多寡集快速照相写入磁盘。
2). AOF持久化:( Append Only File)
  该机制将以日记的款式记录服务器所处理的每1个写操作,在Redis服务器运转之初会读取该文件来重新创设数据库,以管教运转后数据库中的数据是壹体化的。
3). 无持久化:
  大家得以透过安顿的章程禁止使用Redis服务器的持久化功用,那样我们就足以将Redis视为3个效应抓牢版的memcached了。
四). 同时采取AOF和奇骏DB。

劳动命令

ping:启动服务连接情况
info:查看server/client配置信息
info commandstats + config resetstat:显示/清除名次调用统计信息
config get/set:获取/设置配信息
flushdb/flushall:删除当前所选/所有数据库中的所有key
save/bgsave:数据保存到硬盘/异步保存
lastsave: 上次成功保存到磁盘的unix时间戳
dbsize:查看所有key的数目 
get/set和mget/mset:获取/设置键
incr/decr和incrby/decrby:自增/自减
exists/type key:键key是否存在/键类型
expire key secondTime:设置键的过期时间
rename oldKey newKey:重命名
ttl key:键key的剩余存活时间
select db_index:选择数据库
move key db_index:将键key移动到指定数据库

4. AOF的配置:
在Redis的陈设文件中存在二种共同格局,它们各自是:
appendfsync always #每一次有数量修改产生时都会写入AOF文件。
appendfsync everysec #每分钟同步贰回,该政策为AOF的缺省攻略。
appendfsync no #不曾一同。高效不过数量不会被持久化。

Redis for C#

初识Redis时接触到的.Net-Redis组件是ServiceStack.Redis,其V叁类别的流行版本是:ServiceStack.Redis.3.9.29.0

ServiceStack.Redis

ServiceStack.Common.dll
ServiceStack.Interfaces.dll
ServiceStack.Redis.dll
ServiceStack.Text.dll

叩问RedisClient类的切切实实消息:

  • 基本操作

    public void Init();
    public bool ContainsKey(string key);
    public bool Remove(string key);
    public void RemoveByPattern(string pattern);
    public void RemoveByRegex(string pattern);
    public IEnumerable GetKeysByPattern(string pattern);
    public List SearchKeys(string pattern);
    public List GetAllKeys(); // 数据库内的全体键(慎用)
    public string GetRandomKey();
    public T Get(string key);
    public IRedisTypedClient As(); // / 重要 /
    public bool Add(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Add(string key, T value [, TimeSpan expiresIn]);
    public bool Set(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Set(string key, T value [, TimeSpan expiresIn]);
    public bool ExpireEntryAt(string key, DateTime expireAt); // 设置过期时间
    public bool ExpireEntryIn(string key, TimeSpan expireIn);
    public TimeSpan GetTimeToLive(string key); // TTL时间
    public long DecrementValue(string key); // 减
    public long DecrementValueBy(string key, int count);
    public long IncrementValue(string key); // 增
    public long IncrementValueBy(string key, int count);

  • string

    public long GetStringCount(string key);
    public string GetValue(string key);
    public void SetValue(string key, string value [, TimeSpan expireIn]);
    public void RenameKey(string fromName, string toName);
    public int AppendToValue(string key, string value);
    public string GetAndSetValue(string key, string value);
    public string GetSubstring(string key, int fromIndex, int toIndex);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);

  • List  

    // 基本操作
    public int GetListCount(string listId);
    public int RemoveItemFromList(string listId, string value);
    public string RemoveStart/End/AllFromList(string listId);
    public void SetItemInList(string listId, int listIndex, string value);
    public void AddItemToList(string listId, string value);
    public void AddRangeToList(string listId, List values);
    public List GetAllItemsFromList(string listId);
    public string GetItemFromList(string listId, int listIndex);
    public List GetRangeFromList(string listId, int startingFrom, int endingAt);
    public List GetRangeFromSortedList(string listId, int startingFrom, int endingAt);
    public List GetSortedItemsFromList(string listId, SortOptions sortOptions);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);
    // List作为队列
    public void EnqueueItemOnList(string listId, string value);
    public string DequeueItemFromList(string listId);
    // List作为栈
    public void PushItemToList(string listId, string value);
    public string PopItemFromList(string listId);
    public string PopAndPushItemBetweenLists(string fromListId, string toListId);

  • Set

    public int GetSetCount(string setId);
    public bool SetContainsItem(string setId, string item);
    public void RemoveItemFromSet(string setId, string item);
    public void AddItemToSet(string setId, string item);
    public void AddRangeToSet(string setId, List items);
    public HashSet GetAllItemsFromSet(string setId);
    public string GetRandomItemFromSet(string setId);
    public List GetSortedEntryValues(string setId, int startingFrom, int endingAt);
    public HashSet GetDifferencesFromSet(string fromSetId, params string[] withSetIds);
    public HashSet GetIntersectFromSets(params string[] setIds);
    public HashSet GetUnionFromSets(params string[] setIds);
    public void StoreDifferencesFromSet(string intoSetId, string fromSetId, params string[] withSetIds);
    public void StoreIntersectFromSets(string intoSetId, params string[] setIds);
    public void StoreUnionFromSets(string intoSetId, params string[] setIds);
    public void MoveBetweenSets(string fromSetId, string toSetId, string item);
    public string PopItemFromSet(string setId); 

  • Hash

    public int GetHashCount(string hashId);
    public bool HashContainsEntry(string hashId, string key);
    public bool RemoveEntryFromHash(string hashId, string key);
    public bool SetEntryInHash(string hashId, string key, string value);
    public List GetHashKeys(string hashId);
    public List GetHashValues(string hashId);
    public Dictionary GetAllEntriesFromHash(string hashId);
    public string GetValueFromHash(string hashId, string key);
    public List GetValuesFromHash(string hashId, params string[] keys);
    public T GetFromHash(object id);

  • SortedSet(zset)

    public int GetSortedSetCount(string setId);
    public bool SortedSetContainsItem(string setId, string value);
    public bool RemoveItemFromSortedSet(string setId, string value);
    public bool AddItemToSortedSet(string setId, string value [, double score]);
    public bool AddRangeToSortedSet(string setId, List values [, double score]);
    public List GetRangeFromSortedSet(string setId, int fromRank, int toRank);
    public IDictionary GetRangeWithScoresFromSortedSet(string setId, int fromRank, int toRank);
    public List GetAllItemsFromSortedSetDesc;
    public IDictionary GetAllWithScoresFromSortedSet(string setId);

在那之中,方法 public IRedisTypedClient<T>
As<T>(); 搭配接口 public interface
IRedisTypedClient<T> : IEntityStore<T>{} 和
public interface IEntityStore<T>{}
中提供的点子能够成功各样操作。

在V3.0版本的根基上,其V四.0版本 ServiceStack.Redis-4.0.52 提供了越来越多的艺术:

  • Scan方法;
  • 获取设置配置音讯;
  • 支持Lua脚本; 

    public RedisText Custom(params object[] cmdWithArgs); // 推行命令
    public RedisClient CloneClient();
    public string GetClient();
    public void SetClient(string name);
    public void KillClient(string address);
    public void ChangeDb(long db);
    public DateTime GetServerTime();
    public DateTime ConvertToServerDate(DateTime expiresAt);
    public List> GetClientsInfo();
    public string GetConfig(string configItem);
    public void SetConfig(string configItem, string value);
    public void SaveConfig();
    public void ResetInfoStats();

其中,Custom()方法能够执行绝大大多的Redis命令,ServiceStack.Redis.Commands概念命令,用于Custom()方法的第①个参数:

public static class Commands{   
        public static readonly byte[] CommandName;
}   

参考

StackExchange.Redis

由于ServiceStack.Redis的V4.0版本商业化起头收取金钱,推荐使用:StackExchange.Redis

StackExchange.Redis是专为.Net/C#的Redis客户端API,如今被StackOverFlow使用、微软官方RedisSessionStateProvider也运用StackExchange.Redis完结。

StackExchange.Redis的基本是ConnectionMultiplexer类(线程安全),在命名空间StackExchange.Redis中定义,封装了Redis服务的操作细节,该类的实例被全部应用程序域共享和起用。

ConnectionMultiplexer redisClient = ConnectionMultiplexer.Connect("localhost");
IDatabase db = redisClient .GetDatabase();

其基础和选取待学习…

参考

 


参考

 

运用场景

第二,将Redis与SQL Server/MySQL等比较一下:

  • Redis的持久化是外加成效,且其flushdb、flushall命令会直接清空数据库,
    SQL Server/MySQL的持久化是主题职能;
  • Redis全量持久数据从内部存款和储蓄器到磁盘、大数量下影响属性,SQL
    Server/MySQL增量持久化被涂改的数量;

接纳场景

 - 在主页中显示最新的项目列表;
 - 删除和过滤:lrem;
 - 排行榜(Leader Board)及相关问题;
 - 按照用户投票和时间排序;
 - 过期项目处理:unix时间作为得分;
 - 计数(Counting Stuff):INCR,DECR命令构建计数器系统;
 - 特定时间内的特定项目:Redis特色特性;
 - 实时分析正在发生的情况,用于数据统计与防止垃圾邮件等;
 - Pub/Sub:发布订阅机制;
 - 队列(Priority Queue);
 - 缓存(Caching);  

接下来交到使用Redis中的几点注意事项:

  • keys * —>  scan
  • 建议利用hash
  • expire设置key的幸存时间 + volatile-lru战略;
  • Redis所在机械物理内部存款和储蓄器使用最棒不用越过实际内部存储器总数的五分之三;

以及由此翻阅 ALCA in
Redis-land
 获得的提出:

图片 1

参考:Redis应用场景; Redis小编谈Redis应用场景; Redis应用建议

root@qiaozhi:/usr/local/redis# vim redis.conf 

其他

排序

问题:数据库帮助排序,为啥要把排序效率放在缓存中贯彻?

  • 排序会增繁多据库的负载,难以支撑高并发的行使;
  • 在缓存中排序不会遇上表锁定的难点;

    sort key [BY pattern] [LIMIT offset cnt] [GET pattern [GET pattern …]] [asc | desc] [ALPHA] [STORE destination]

  • by:即order by,钦定排序字段,by
    *->子键名;

  • limit:限制排序后回到元素的数额,表示跳过前offset个因素、再次来到之后的连年cnt个要素,能够兑现分页功能;
  • get:重回内定的字段值,get
    *->子键名;
  • store:将排序结果存入钦赐地方;  

事务

Transaction。

  • multi:原子操作,通告Redis,接下去的几何指令属于同壹业务;
  • 输入若干命令,存款和储蓄在指令队列中而不会被马上施行;
  • exec:原子操作,布告Redis,属于同1业务的有所命令输入达成,起首实行工作;

管道

pipilining,允许Redis三次性接收多个指令、实施后壹遍性再次回到结果,减弱客户端与Redis服务器的通讯次数、下跌往返时延。类似事情,通过原子操作multi/exec完结。

预先级队列

blpop/brpop。

0.编辑redis.conf 将redis的开发银行设置为后台运行(守护进度)

RDB

半持久化格局(快速照相格局:File-Snap-Shotting,即时间点转储:Point-in-Time Dump),Redis
DataBase
,将数据先存款和储蓄在内部存储器,当直接调用save/bgsave命令时或数量修改满意设置的save条件时触发bgsave操作,将内部存款和储蓄器数据贰回性写入奥德赛DB文件。比较适合灾殃苏醒(Disaster
Recovery),若Redis万分crash,最近的数码会丢掉。

rdbcompression yes:创建快照时对数据进行压缩  
dbfilename dump.rdb:快照名称
dir ./saveFile/:快照保存路径(AOF文件存放目录)

原理Copy-on-Write(写时复制)技巧

  • Redis forks;
  • 子进度将数据写到临时福睿斯DB文件中;
  • 当子进度完结写路虎极光DB文件,用新文件替换旧文件;

该原理保险别的时候复制LacrosseDB文件都以纯属安全的。

  redis支持三种艺术的持久化,一种是XC60DB,另1种是AOF。能够单独行使个中一种大概结合使用。

设置与使用

具体运用:

  • 服务端运营:将下令 redis-server.exe
    redis.windows.conf 写入 .bat 文件,直接运维 StartWithConf.bat 运转服务端;
  • 客户端运维:直接运转 redis-cli.exe 就可以;

    redis.windows.conf:配置文件
    redis-benchmark.exe:Redis读写质量测试工具
    redis-check-aof.exe:aof修复检查日志
    redis-check-dump.exe:dump检查数据库文件
    redis-cli.exe:Redis客户端程序
    redis-server.exe:Redis服务器程序
    StartWithConf.bat:运转Redis

二.AOF持久化测试

 首先清空数据库:

127.0.0.1:6379> flushall
OK
127.0.0.1:6379> keys *
(empty list or set)

在Redis的安顿文件中存在两种共同情势,它们各自是:

appendfsync always #每次有数据修改发生时都会写入AOF文件。
appendfsync everysec #每秒钟同步一次,该策略为AOF的缺省策略。
appendfsync no #从不同步。高效但是数据不会被持久化。

 

 (1)开启AOF持久化

暗许配置:

图片 2

 

 修改配置开启AOF

图片 3

 

 

 (二)修改同步格局(暗中同意正是每秒记一回)

图片 4

 

(三) 重写机制:(也正是将aof文件重新整理一下)

  达到6四M自此每拉长百分百重写2次

 

图片 5

 

 

 

(4)测试AOF持久化操作

  1.   重启redis服务并查阅/var/redis目录(aof文件的变通地点与地点CRUISERDB持久化的文本生成地方1个目录)

    root@qiaozhi:/usr/local/redis# ps -ef | grep redis
    root 3639 2854 0 06:47 pts/1 00:00:00 ./bin/redis-cli
    root 4089 1 0 07:57 ? 00:00:00 ./bin/redis-server 127.0.0.1:6379
    root 4137 3763 0 08:01 pts/0 00:00:00 grep –color=auto redis
    root@qiaozhi:/usr/local/redis# kill -9 4089
    root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf
    4139:C 07 Nov 08:02:16.404 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
    4139:C 07 Nov 08:02:16.404 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=4139, just started
    4139:C 07 Nov 08:02:16.404 # Configuration loaded
    root@qiaozhi:/usr/local/redis# ls /var/redis/
    appendonly.aof dump.rdb

    此时:appendonly.aof文件是空的。

  二.客户端实施五回redis操作:

127.0.0.1:6379> set a test
OK
127.0.0.1:6379> lpush lkey1 aaa bbb ccc
(integer) 3

 

   3.劳动器端重新查看appendonly.aof文件

root@qiaozhi:/usr/local/redis# less /var/redis/appendonly.aof 
*2
$6
SELECT
$1
0
*3
$3
set
$1
a
$4
test
*5
$5
lpush
$5
lkey1
$3
aaa
$3
bbb
$3
ccc

  解释:  *2   *3   * 四分别表示那条命令攻下的行数

*贰: select  0    使用默许的redis数据库

*3: set a test

*5 lpush lkey1 aaa bbb ccc

 

约等于redis会分局方的aof文件再一次实施脚本进行数量的死灰复燃。 

   (4)服务器端重新开动redis服务

root@qiaozhi:/usr/local/redis# ps -ef | grep redis
root      3639  2854  0 06:47 pts/1    00:00:00 ./bin/redis-cli
root      4140     1  0 08:02 ?        00:00:01 ./bin/redis-server 127.0.0.1:6379
root      4195  3763  0 08:10 pts/0    00:00:00 grep --color=auto redis
root@qiaozhi:/usr/local/redis# kill -9 4140
root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf
4197:C 07 Nov 08:10:35.648 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
4197:C 07 Nov 08:10:35.649 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=4197, just started
4197:C 07 Nov 08:10:35.649 # Configuration loaded

  (5)客户端进行查看数据(数据依旧存在表达进行了数据的持久化操作)

not connected> keys *
1) "lkey1"
2) "a"

  

 (5)测试AOF文件的重写(对AOF文件进行削减,对数码进行拍卖)

  •   客户端多次操作redis

    127.0.0.1:6379> set int 1
    OK
    127.0.0.1:6379> incrby int 1
    (integer) 2
    127.0.0.1:6379> incrby int 1
    (integer) 3
    127.0.0.1:6379> incrby int 1
    (integer) 4
    127.0.0.1:6379> incrby int 1
    (integer) 5
    127.0.0.1:6379> incrby int 1
    (integer) 6
    127.0.0.1:6379> incrby int 1
    (integer) 7
    127.0.0.1:6379> incrby int 1
    (integer) 8
    127.0.0.1:6379> incrby int 1
    (integer) 9
    127.0.0.1:6379> incrby int 1
    (integer) 10
    127.0.0.1:6379> incrby int 1
    (integer) 11
    127.0.0.1:6379> incrby int 1
    (integer) 12
    127.0.0.1:6379> incrby int 1
    (integer) 13
    127.0.0.1:6379> incrby int 1
    (integer) 14
    127.0.0.1:6379> incrby int 1
    (integer) 15
    127.0.0.1:6379> incrby int 1
    (integer) 16
    127.0.0.1:6379> incrby int 1
    (integer) 17
    127.0.0.1:6379> incrby int 1
    (integer) 18
    127.0.0.1:6379> incrby int 1
    (integer) 19
    127.0.0.1:6379> incrby int 1
    (integer) 20
    127.0.0.1:6379> incrby int 1
    (integer) 21
    127.0.0.1:6379> incrby int 1
    (integer) 22
    127.0.0.1:6379> incrby int 1
    (integer) 23
    127.0.0.1:6379> incrby int 1
    (integer) 24
    127.0.0.1:6379> incrby int 1
    (integer) 25
    127.0.0.1:6379> incrby int 1
    (integer) 26
    127.0.0.1:6379> get a
    “test”
    127.0.0.1:6379> get int
    “26”

 

  •  服务器端查看appendonly.aof内容:

    root@qiaozhi:/usr/local/redis# more /var/redis/appendonly.aof
    2
    $6
    SELECT
    $1
    0
    3
    $3
    set
    $1
    a
    $4
    test
    5
    $5
    lpush
    $5
    lkey1
    $3
    aaa
    $3
    bbb
    $3
    ccc
    2
    $6
    SELECT
    $1
    0
    3
    $3
    set
    $3
    int
    $1
    1
    3
    $6
    incrby
    $3
    int
    $1
    1
    3
    $6
    incrby
    $3
    int
    $1
    1
    3
    $6
    incrby
    $3
    int
    $1
    1
    3
    $6
    incrby
    $3
    int
    $1
    1
    3
    $6
    incrby
    $3
    int
    $1
    ………….

  

  •   服务器端查看appendonly.aof大小:

图片 6

 

 

(二)客户端重写AOF文件:(整理AOF文件,只保留AOF的结果,多次increby 变为结果)

127.0.0.1:6379> bgrewriteaof
Background append only file rewriting started
127.0.0.1:6379> 

  

 (三)服务端重新查看AOF文件大小与内容

大小:

 

图片 7

 

剧情:(操作已经实行统一)

root@qiaozhi:/usr/local/redis# more /var/redis/appendonly.aof 
*2
$6
SELECT
$1
0
*3
$3
SET
$3
int
$2
37
*5
$5
RPUSH
$5
lkey1
$3
ccc
$3
bbb
$3
aaa
*3
$3
SET
$1
a
$4
test

  

   注意:

    借使急需将redis数据库从1台服务器复制到另1台服务器,可以将aof文件和rdb文件举办拷贝,复制到另1台机器的redis工作目录上边,私下认可优先加载aof文件。

图片 8

 

AOF

全持久化格局(日志方式),Append-Only-File,将数据存在内部存款和储蓄器,同时调用fsync将本次写操作命令进行日志记录到aof文件,基于Redis网络交互协议的由Redis标准命令组成的可识其余纯文本文件,只同意扩张不允许改写。

写策略:暗中同意并引入 appendfsync everysec ,速度和安全兼顾。

  • appendfsync always:每提交三个更改命令调用fsync刷新到AOF文件,不快、但要命安全;
  • appendfsync everysec:每秒调用fsync刷新到AOF文件,非常快、但恐怕会丢掉1秒之内的数目;
  • appendfsync no:依靠OS被动刷新、redis不主动刷新AOF,最快、但安全性差;

AOF最重大的安排便是关于调用fsync追加日志文件持久化数据的功能。磁盘空间满、断电等情景不会影响日志的完整性和可用性。

保存:支持2种方式

  • 调用flushaofbuf,把aof_buf中的命令写入aof文件,再清空aof_buf,进入下3回loop;

    sds aof_buf; / AOF buffer, written before entering the event loop /

  • aof_rewrite:遵照现成的数据库数据反向生成命令,然后把命令写入aof文件中;

加载

fakeClient = createFakeClient();   // 创建伪客户端
while(命令不为空) {
   // 获取一条命令的参数信息 argc, argv
      . . . 
   // 执行
   fakeClient->argc = argc;
   fakeClient->argv = argv;
   cmd->proc(fakeClient);
}

AOF重写

bgrewriteAOF,重新生成一份AOF文件,新的AOF文件只包涵对一样个值的往往操作的最后一条记下(可以回复数据的小不点儿指令集),过程和帕杰罗DB类似(Copy-on-Write机制):

  • fork三个子进度,直接遍历旧的AOF文件,将数据写入新的AOF权且文件;
  • 在写新文件进程中,全数的新的写操作日志记录在内部存款和储蓄器缓冲区中、同时会写入到原有的AOF文件中;
  • 姣好写新文件操作后,发出复信号文告父进程将内部存款和储蓄器缓冲区中的写指令3次性追加到临时AOF文件中;
  • 扩充达成,Redis将权且AOF文件作为新AOF文件替代旧AOF文件(调用原子性的rename命令用新的AOF文件取代老的AOF文件); 

当同时满足以下1个原则时触发rewrite操作:

auto-aof-rewrite-percentage 100  // 当前写入日志文件的大小占到初始日志文件大小的某个百分比时触发rewrite
auto-aof-rewrite-min-size 64mb   // 本次Rewrite最小的写入数据量

留意,bgrewriteaof和bgsave无法同时实行,避免七个Redis后台进程同时对磁盘实行大批量的I/O操作。

修复

Redis提供 redis-check-aof.exe 工具帮忙日志修复效应:

  • 备份坏的AOF文件;
  • 运作redis-check-aof
    –fix修复坏的AOF文件;
  • 用diff
    -u相比较多个公文的差异,确认难题点;
  • 重启Redis,加载修复后的AOF文件;

  

宗旨机制

master-slave,为了增加持久化学工业机械制,在持久化基础上Redis提供复制效率:将三个主服务器(master)数据自动同步到七个从服务器(slave),完结主旨同步:

  • 纯粹的冗余备份
  • 升级读品质

具体地:

  • 起首从服务器,先向主服务器发送SYNC命令;
  • 主服务器收到SYNC命令后fork子进度早先保存快速照相,期间有所发给主服务器的通令都会被缓存到内部存款和储蓄器;
  • 快速照相保存达成后,主服务器把快速照相和缓存的下令全体发送给从服务器;

  • 从服务器保存收到的快速照相文件并加载到内部存款和储蓄器中,然后依次试行收到的缓存命令;

在主导同步进度中(异步达成),从服务器不会阻塞,时期暗许使用同步以前的多寡持续响应客户端命令。主从机制支持增量同步攻略,降低连接断开的回复资本。

具体运用中常见是:Redis+MySQL

图片 9

1. Snapshotting:
缺省状态下,Redis会将数据集的快速照相dump到dump.rdb文件中。其它,大家也足以通过铺排文件来修改Redis服务器dump快速照相的功用,在开发6379.conf文件从此,我们寻觅save,可以看来上边包车型地铁安插信息:
save 900 1
#在900秒(一四分钟)之后,如果至少有二个key发生变化,则dump内部存款和储蓄器快速照相。
save 300 10
#在300秒(6分钟)之后,尽管至少有11个key发生变化,则dump内部存款和储蓄器快速照相。
save 60 10000
#在60秒(一分钟)之后,即使至少有一千0个key产生变化,则dump内部存储器快速照相。

发表订阅机制

publish-subscribe,观看者情势,订阅者(Subscriber)订阅频道(Channel),发表者(Publisher)将音信发到钦赐频道(Channel),通过那种方法将音讯的发送者和接收者解耦,能够落成多少个浏览器之间的音讯同步和实时更新。

图片 10

  • 新闻的传递是多对多的;
  • 支撑方式相称;
  • 运维平稳、急忙;

    publish myChannel “xxx”:发表
    subscribe myChannel:订阅
    unsubscribe myChannel:撤除订阅

Redis的Pub/Sub情势允许动态的Subscribe/Unsubscribe,提升系统的灵活性和可扩充性。  

 

持久化

内部存款和储蓄器提供主存款和储蓄协助、硬盘作持久性存款和储蓄。默许开启奥迪Q3DB形式,暗中认可优先加载AOF文件。三回性将数据加载到内部存款和储蓄器中,叁次性预热。

问题:当服务器被关门时,服务器内存存款和储蓄的数目将何去何从?

RDB .vs. AOF

  • 福睿斯DB格局二进制方式存款和储蓄数据,文件较小且格式紧密(凯雷德DB文件的储存格式和Redis数据在内部存款和储蓄器中的编码格式一致)、加载速度快;AOF方式文本文件增添写操作命令,文件较大、音信冗余,加载速度慢,但rewrite命令会压缩aof文件;
  • OdysseyDB形式按陈设的save计策完毕按时批量数额存储、功能相对较高;AOF格局准实时日志记录、效能相对较低;
  • 比较SportageDB格局,AOF格局可信性较高、最少的多寡丢失和较高的数据恢复生机技术;

不重启Redis从卡宴DB方式切换成AOF方式

redis-cli> config set appendonly yes:启用AOF
redis-cli> config set save "":关闭RDB

参考:Redis数据持久化; Redis作者:深度剖析Redis持久化

———————持久化进程实行———————-

数据类型

string

图片 11

list

双向链表、允许再度,扶助lpush/rpush和lpop/rpop;完成信息队列等;

图片 12

set

不容许再一次,内部是哈希表完成、查找/删除/插入均O(一); 集合提供SINTE奥迪Q7、SUNION、SDIFF分别帮衬交集、并集、差集操作。

图片 13

hash

键值对(父键+子键:值)。存款和储蓄键key的多个属性数据,完全能够用Json格式存储、直接当做string类型操作,但对品质有震慑,所以Redis提出Hash类型。

图片 14 

正如,图①是平常的key/value结构,须要封装一个对象保存value的音信;图贰是Redis的Hash类型:

图片 15

zset

稳步键值对(父键+成员:分值),键值对实际是成员和分值(Member-Score)的投射关系(字符串成员member与浮点数分值score之间的有序映射,按分值大小排序),分值必须为浮点数; 既能够根据成员访问成分(同散列),又有什么不可根据分值按序访问成分结构。

图片 16

 

基本概念

Redis是杰出的NoSQL数据库服务器,其License是Apache
License、完全无需付费。首先看下内部存款和储蓄器数据库的基本概念:

内部存款和储蓄器数据库

In-Memory DataBase,以内部存款和储蓄器为首要存储介质的数据库.

  • 有着的表及索引在内部存储器中、消除I/O瓶颈,为访问内部存款和储蓄器设计最棒访问方法和目录情势,读写速度快、质量好;
  • 内部存储器数据库的容积大小受物理内部存款和储蓄器的界定;
  • 安全性难题是硬伤,帮助依据政策与磁盘数据库进行数据同步,以及数据库的可信性恢复生机机制;

Redis

REmote DIctionary Server(远程字典服务),远程内部存款和储蓄器数据库(Memory Database + Data Structure
Server),开源的选用ANSI-C语言编写、扶助网络、可依照内部存款和储蓄器亦可持久化的日志型、高品质的key-value数据库,Redis不预订义且不选择表,适应高并发、海量数据存款和储蓄场景。

  • A persistent key-value database with built-in net interface
    written in ANSI-C for Posix systems.
  • Redis is an open source, BSD licensed, advanced key-value cache
    and store.

上边是Redis帮助的两种档次数据结构的内部图解(图1):

图片 17

redisObject对象是Redis内部的主导指标,用于表示全数的key和value。

typedef struct redisObject {
    unsigned type:4;  // 数据类型
    unsigned encoding:4;  // 编码方式
    unsigned lru:REDIS_LRU_BITS;   /* lru time (relative to server.lruclock) */
    int refcount;   // 对象的引用计数
    void *ptr;   // 指向真正的存储结构
} robj;

其中,REDIS_LRU_BITS代表当内存超过限度时行使LRU算法清除内存中的靶子。redisObject对象的创设在object.c文件中:

robj *createObject(int type, void *ptr) {
    robj *o = zmalloc(sizeof(*o));
    o->type = type;
    o->encoding = OBJ_ENCODING_RAW;
    o->ptr = ptr;
    o->refcount = 1;

    /* Set the LRU to the current lruclock (minutes resolution). */
    o->lru = LRU_CLOCK();
    return o;
}    

Redis的键类型为string,值类型协理:

  •  字符串:string
  •  列表:list
  •  集合:set
  •  有序集合:zset (SortedSet)
  •  散列:hash

现实内部存储器结构示意图(图二):

图片 18

参考:Redis数据库入门教程; Redis学习笔记

特点

  • 一体多少In-Momory,作为Memcached的代替者;
  • key-value存款和储蓄系统(Key:数据检索的唯1标志、Value:数据存款和储蓄的基本点指标),协助几系列型的value(数据结构服务器);
  • redis的源点是cache,缓存,高速缓存;
  • 数码存款和储蓄于内部存款和储蓄器中或被铺排为使用虚拟内部存款和储蓄器;
  • 持久化天性(Persistence):能够持久化到磁盘(周期性把革新数据写入磁盘或把修改操作追加写入记录文件);
  • 主从复制性情(Master/Slave
    Replication):负载均衡,扩展读质量;
  • 客户端分片(Client-Side
    Sharding):数据划分为八个部分,扩张写质量,线性级其余天性提高;
  • 支撑各类不相同措施的排序;
  • 协助轻易的作业(仅完成三次性施行多条命令的功效,不帮忙回滚);
  • 协助设置数据过期时间;

内存优化

  • string和数字:Redis内部维护二个数字池,能够省去存储空间,暗许 REDIS_SHARED_INTEGERS = 10000 
  • 复杂类型的积存优化:Redis内部选取紧密格式存储数据(适合集合包括的Entry不多并且每种Entry包蕴的Value不是非常短的气象),遍历复杂度降低为O(n)、但节省存款和储蓄空间。以ZIPMap的数据结构为例:

  图片 19

 
个中,字段free用于冗余空间,空间换时间、一定意况下幸免插入操作引起的扩大容积操作。

  • list、set、hash采纳卓殊编码,优化存款和储蓄空间;
  • byte、bit级其他操作:getrange/setrange、getbit/setbit以及bitmap高效存储;

Redis .vs.
Memcached

  • 两边均是高品质键值缓存服务器,Memcached只提供数据缓存服务,Redis提供数据缓存和持久化;
  • Memcached:多线程服务器;Redis:单线程服务器,部分质量通过八线程实现;
  • Memcached只补助普通字符串键;Redis提供充分的数码存款和储蓄结构,同时匡助主数据库(Primary
    Database)+ 帮衬数据库(Auxiliary Database)使用;
  • Memcached:预分配内部存款和储蓄器池方式,Redis:现场报名内存的法门存款和储蓄数据、且能够配备虚拟内部存款和储蓄器
root@qiaozhi:/home/qiaozhi# ps -ef|grep redis
root      3602     1  0 06:41 ?        00:00:01 ./bin/redis-server 127.0.0.1:6379
root      3639  2854  0 06:47 pts/1    00:00:00 ./bin/redis-cli
root      3677  3660  0 06:51 pts/0    00:00:00 grep --color=auto redis
root@qiaozhi:/home/qiaozhi# kill -9 3602
root@qiaozhi:/home/qiaozhi# ps -ef|grep redis
root      3639  2854  0 06:47 pts/1    00:00:00 ./bin/redis-cli
root      3680  3660  0 06:51 pts/0    00:00:00 grep --color=auto redis
root@qiaozhi:/home/qiaozhi# cd /usr/local/redis
root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf 
3683:C 07 Nov 06:52:03.260 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3683:C 07 Nov 06:52:03.261 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=3683, just started
3683:C 07 Nov 06:52:03.261 # Configuration loaded
root@qiaozhi:/usr/local/redis# 

奥迪Q3DB存在什么优势呢?
一).
一旦选取该措施,那么您的整套Redis数据库将只含有贰个文书,那对于文本备份来说是可怜周详的。比如,你恐怕打算各个刻钟归档二遍近期贰四钟头的数目,同时还要每一天归档二次近来30天的数码。通过那样的备份计策,壹旦系统出现苦难性故障,大家能够非常轻易的拓展复原。
二).
对于灾殃复苏来讲,ENCOREDB是十二分不易的挑三拣四。因为大家能够十三分轻便的将1个单独的公文收缩后再转移到任何存款和储蓄介质上。
叁).
质量最大化。对于Redis的劳动进度而言,在起来持久化时,它唯1供给做的只是fork出子进度,之后再由子进度实现那个持久化的行事,那样就足以小幅度的制止服务进度施行IO操作了。
四). 比较于AOF机制,若是数额集极大,LANDDB的起步效用会越来越高。

测试:开启redis服务并测试进程是或不是有redis(设置为看护进度后在拉开之后写其余命令不会潜移默化守护进度)

图片 20

  优先装载AOF(数据更全,有更加好的持久化保险吗,LANDDB有不小或者丢掉1部分数据)

壹、Redis提供了什么持久化学工业机械制:

AOF的优势有何样呢?
1).
该机制能够推动更加高的数目安全性,即数据持久性。Redis中提供了三中协同战略,即每秒同步、每修改同步和分裂步。事实上,每秒同步也是异步完毕的,其效用也是不行高的,所差的是只要系统出现宕机现象,那么那1分钟之内修改的数据将会丢掉。而每修改同步,大家可以将其视为共同持久化,即每一回爆发的数码变化都会被立刻记录到磁盘中。可以预见,那种方法在作用上是最低的。至于无同步,无需多言,笔者想我们都能正确的驾驭它。
贰).
由于该机制对日记文件的写入操作使用的是append格局,因而在写入进度中不怕出现宕机现象,也不会损坏日志文件中早就存在的内容。可是1旦我们本次操作只是写入了161%码就应运而生了系统崩溃难点,不用顾忌,在Redis下叁次开发银行在此以前,大家能够通过redis-check-aof工具来援救大家缓解数据一致性的主题材料。
3).
借使日志过大,Redis能够活动启用rewrite机制。即Redis以append方式不断的将修改数据写入到老的磁盘文件中,同时Redis还会创建2个新的文件用于记录此时期有啥样修改命令被施行。由此在实行rewrite切换时能够越来越好的保障数据安全性。
四).
AOF蕴涵2个格式清晰、易于精通的日志文件用于记录全体的更换操作。事实上,大家也足以透过该文件实现多少的重建。

(也得以调用save或许gbsave将数据保存到.rdb文件中 
 参考:http://www.runoob.com/redis/redis-backup.html)
  在Redis中大家能够透过copy的办法在线备份正在周转的Redis数据文件。那是因为PRADODB文件一旦被扭转之后就不会再被改变。Redis每便都以将时尚的多寡dump到2个权且文件中,之后在利用rename函数原子性的将如今文件改名叫本来的数据文件名。由此大家得以说,在随心所欲时刻copy数据文件都以平安的和平等的。鉴于此,我们就足以经过成立cron
job的不二诀要定期备份Redis的数据文件,并将备份文件copy到平安的磁盘介质中。

2、宝马X3DB机制的优势和劣势:

凯雷德DB又存在哪些劣势呢?
壹).
借使你想保障数据的高可用性,即最大限度的防止数据丢失,那么PAJERODB将不是贰个很好的挑3拣肆。因为系统一旦在按时持久化从前出现宕机现象,此前不曾来得及写入磁盘的数额都将遗失。
2). 由于凯雷德DB是由此fork子进度来救助达成多少持久化职业的,由此,假如当数码集较大时,大概会产生整个服务器截至服务几百皮秒,甚至是一分钟。

AOF的劣势有啥样呢?
一). 对于同样数量的数目集来说,AOF文件一般要高于大切诺基DB文件。
二).
依据联合计策的不相同,AOF在运作功用上数次会慢于TiggoDB。总之,每秒同步攻略的功用是相比较高的,同步禁用攻略的频率和奥迪Q7DB同样高速。

6. Redis的数据备份:

  

5. 什么修复坏损的AOF文件:
壹). 将现存已经坏损的AOF文件额外拷贝出来1份。
二). 施行”redis-check-aof –fix
<filename>”命令来修补坏损的AOF文件。
3). 用修复后的AOF文件再度起动Redis服务器。

root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf 
3601:C 07 Nov 06:41:19.801 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3601:C 07 Nov 06:41:19.802 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=3601, just started
3601:C 07 Nov 06:41:19.802 # Configuration loaded
root@qiaozhi:/usr/local/redis# ps -ef|grep redis
root      3600  2854  0 06:41 pts/1    00:00:00 ./bin/redis-cli
root      3602     1  0 06:41 ?        00:00:00 ./bin/redis-server 127.0.0.1:6379
root      3609  3518  0 06:41 pts/0    00:00:00 grep --color=auto redis
root@qiaozhi:/usr/local/redis# 

3、AOF机制的优势和劣势:

干掉进程重新张开进度测试:

四、其它:

3. AOF文件:
地点已经数十三次讲过,中华VDB的快速照相定时dump机制不只怕保障很好的多寡持久性。假若大家的施用确实13分关心此点,我们得以设想动用Redis中的AOF机制。对于Redis服务器来说,其缺省的体制是PRADODB,若是急需运用AOF,则需求修改配置文件中的以下条目:
将appendonly no改为appendonly yes
从今后起,Redis在每贰回收取到数量修改的下令之后,都会将其增添到AOF文件中。在Redis下3遍重复运维时,须求加载AOF文件中的新闻来塑造新型的数额到内存中。

  redis的高质量是因为其有着数据都设有了内部存款和储蓄器中
,为了使redis在重启之后数据照旧不丢掉,须求将数据同步到硬盘中,这一经过正是持久化。

一.普拉多DB持久化测试 

 

(1)修改配置文件奥迪Q伍DB持久化频率

暗中同意配置:

图片 21

 

解释:将60 10000改为60 100

指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合

    save <seconds> <changes>

    Redis默认配置文件中提供了三个条件:

    save 900 1

    save 300 10

    save 60 100

    分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有100个更改。

  

(二)修改rdb文件的调换目录:

暗中认可配置:

图片 22

 

 

将rdb文件的扭转目录改为/var/redis目录下(var目录用于存放系统时常变化的公文)

图片 23

 

 

 (3)重启redis服务开始展览测试:

 重启:(由于缺乏/var/redis目录而报错)

root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf 

*** FATAL CONFIG FILE ERROR ***
Reading the configuration file, at line 253
>>> 'dbfilename /var/redis/dump.rdb'
dbfilename can't be a path, just a filename

 

删除redis目录下的dump.rdb并且创制/var/redis/目录后重启

root@qiaozhi:/usr/local/redis# ls
bin  dump.rdb  redis.conf
root@qiaozhi:/usr/local/redis# rm dump.rdb 
root@qiaozhi:/usr/local/redis# ls
bin  redis.conf
root@qiaozhi:/usr/local/redis# mkdir /var/redis
root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf 
3839:C 07 Nov 07:18:40.944 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3839:C 07 Nov 07:18:40.945 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=3839, just started
3839:C 07 Nov 07:18:40.945 # Configuration loaded

 

(四)客户端测试是或不是有key

127.0.0.1:6379> keys *
(empty list or set)

  

(5)测试RDB持久化

  1. redis品质检查测试工具实施2000次命令

    root@qiaozhi:/usr/local/redis# ./bin/redis-benchmark -n 2000

  2.客户端测试是不是有key

127.0.0.1:6379> keys *
1) "mylist"
2) "myset:__rand_int__"
3) "counter:__rand_int__"
4) "key:__rand_int__"

  三.关门服务器重启

root@qiaozhi:/usr/local/redis# kill -9 3840
root@qiaozhi:/usr/local/redis# ./bin/redis-server redis.conf
3913:C 07 Nov 07:30:02.418 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
3913:C 07 Nov 07:30:02.418 # Redis version=4.0.2, bits=32, commit=00000000, modified=0, pid=3913, just started
3913:C 07 Nov 07:30:02.419 # Configuration loaded

  四.客户端查看是或不是有多少(服务珍视启之后依然有数量评释被持久化)

127.0.0.1:6379> keys *
1) "mylist"
2) "key:__rand_int__"
3) "counter:__rand_int__"
4) "myset:__rand_int__"

  

 

 

 

二. Dump快速照相的机制:
1). Redis先fork子进程。
贰). 子进度将快速照相数据写入到一时半刻TiguanDB文件中。
三). 当子进程完毕数据写入操作后,再用一时半刻文件替换老的文件。

相关文章