跳到正文
零到全栈 · 卷 6 · 数据与状态

数据不丢、越权不进

本合集目录
本章目录

单册说明:本文件是卷 6 的第 8 章,可独立阅读。前置:第 7 章(多用户与鉴权)。本章把前面七章的保证收成一张 12 项检查表,逐项给出可执行的命令,然后真的做一次"备份 → 删库 → 恢复",并演示三种常见的备份错觉。

项 内容
所属卷 卷 6 · 数据与状态(第 8 / 8 章)
前置章节 6.7 多用户与鉴权
本章产出 一份 12 项检查表 · 一次完整的恢复演练 · 一份失败演练清单
对应代码 app/db.py、scripts/ 下的备份与检查脚本
配图 无(后续统一制图)
读完的判定 能在十分钟内对一台机器做完这 12 项检查,并从备份里真的恢复出数据

6.8.1 一句话结论:收口不是写总结,是写 12 条能跑的命令

"数据不丢、越权不进"这两句话,只有变成可执行的检查才有意义。不能执行的保证,等于没有保证。

先看三种"以为做了"的现场,它们全都来自真实操作:

你以为 实际 发现时机
"我每天都 cp 库文件" WAL 模式下主文件里可能连表都没有 恢复时 no such table: notes
"备份文件在,20MB" 那是昨天的库;今天写了 300 条,恢复后全没了 恢复后条数不对
"恢复成功了" 磁盘上还留着旧的 -wal,打开时被回放,删掉的数据又回来了 恢复后数据还是"删之前"的样子

第三个最阴。实测:备份时库里 1 条,之后又写了 2 条(还在 WAL 里没落盘),此时把备份覆盖回主文件、但没删 -wal,打开读到的是:

恢复后读到: [(1,), (2,), (3,)]

三条,不是一条。恢复被旧日志"撤销"了,而且不报错。

6.8.2 原理与方法

12 项检查表

这张表是整卷的收口。每一项都能用一条命令验证,建议写成脚本,上线前后各跑一次。

# 检查项 命令(D 是库路径) 期望
1 库文件存在且非空 ls -l $D 大小 > 0,且只有一份
2 文件结构没坏 python -m sqlite3 $D "PRAGMA integrity_check" ok
3 六张表都在 ... "SELECT name FROM sqlite_master WHERE type='table' ORDER BY name" 含 users/notes/tags/note_tags/sessions/schema_version
4 迁移版本对得上 ... "SELECT MAX(version) FROM schema_version" 等于最新脚本编号
5 外键在应用连接里是开的 python -c "from app.db import connect; ..." 1
6 没有孤儿摘录 ... "SELECT COUNT(*) FROM notes n LEFT JOIN users u ON u.id=n.user_id WHERE u.id IS NULL" 0
7 没有重复邮箱 ... "SELECT email,COUNT(*) c FROM users GROUP BY email HAVING c>1" 空结果
8 密码全是哈希 ... "SELECT COUNT(*) FROM users WHERE password_hash NOT LIKE 'scrypt$%'" 0
9 没有过期会话残留 ... "SELECT COUNT(*) FROM sessions WHERE expires_at <= strftime('%Y-%m-%dT%H:%M:%SZ','now')" 0
10 未登录被拒 curl -o /dev/null -w '%{http_code}' $B/api/notes 401
11 越权被拒 B 的 cookie 读 A 的摘录 404
12 备份可读且条数一致 备份后对备份库跑第 2、3 项 + 数条数 ok + 条数相同

第 10、11 项是"越权不进"的可执行定义;第 1–9、12 项是"数据不丢"的。没有第 12 项,前 11 项都只在"库还活着"的前提下成立,而"库还活着"这件事本身也需要被检查。

第 4 项还兼任一个侦探角色:如果 MAX(version) 比 migrations/ 里最新的编号大,说明有人在这台机器上手工执行过 SQL 并伪造了版本号,或者代码回滚到了旧版本而库没跟着退。两种都需要人工确认,不能当作没事。

三种备份方式,只有两种可用

做法 一致性 要不要停服务 说明
cp dudao.db backup.db 不保证 要 WAL 模式下会漏掉 -wal 里的内容,实测拷出来"连表都没有"
sqlite3 dudao.db ".backup backup.db" 保证 不用 官方备份命令,边写边备也一致
VACUUM INTO 'backup.db' 保证 不用 一条 SQL,顺带整理碎片、体积更小

cp 的问题不是"偶尔出错",而是"在 WAL 模式下几乎一定漏数据"。实测:一个刚建表、刚插了 100 行的库,只拷主文件,打开报:

sqlite3.OperationalError: no such table: t

因为连"建表"这个动作都还躺在 WAL 里。执行 PRAGMA wal_checkpoint(TRUNCATE) 之后再拷,才能拿到 100 行。

本书统一用 VACUUM INTO:它是一条 SQL,能在 Python 里调,也能在命令行跑;产物是一个干净的、没有 WAL 依赖的独立文件。

恢复的标准五步

步 动作 为什么不能省
1 停掉应用进程 不停就等于"一边恢复一边被写",恢复出来的东西立刻被覆盖
2 删掉 dudao.db-wal 与 dudao.db-shm 旧日志会被回放到新主文件上,恢复失效(本章开头那个现场)
3 把备份文件拷成 dudao.db 用 cp 而不是"解压后改名",确保权限与属主正确
4 PRAGMA integrity_check 备份本身可能是坏的,先证明它完整
5 数一遍条数、抽一条记录 "能打开"不等于"数据对",数量与内容都要看

顺序不能换。第 2 步放最后,等于白做。

备份三二一,落到本项目的版本

原则 全量版 本项目的最小版
三份副本 生产 + 两份备份 生产 + 本地备份 + 异地一份(网盘/对象存储)
两种介质 磁盘 + 对象存储 服务器磁盘 + 你自己电脑
一份异地 不同机房 下载到本地(这一步很多人只在心里做)

个人项目做到"每天自动 VACUUM INTO + 每周手动下载一份到电脑",就已经比绝大多数玩具项目强。定时任务和异地传输属于卷 7 的部署内容,本卷只保证"备份动作本身是对的"。

失败演练清单

只做正常路径的验证,等于没验证。这五项值得各花十分钟:

演练 怎么做 期望
并发写 八个线程同时写(第 5 章那段脚本) 不丢更新,或明确报错而不是静默失败
断电式杀进程 写入过程中 kill -9(Windows 用任务管理器结束进程) 重启后库能打开,最后一条要么在要么不在,不能半条
磁盘满 把库放在一个小分区上写满 写入报错且不损坏已有数据
误删数据 DELETE FROM notes 后立刻恢复 条数回到删除前
备份损坏 手动改坏备份文件的一个字节 integrity_check 能报出来,而不是"打开成功但数据乱"

第二项特别值得做:SQLite 的卖点之一就是"崩溃安全",但只有你真的杀一次,才会相信它。

与卷 7 的分工

本卷做的 卷 7 接着做的
手动备份、手动恢复、手动跑检查表 定时任务(cron / systemd timer)自动备份
单机、本地磁盘 Nginx 反向代理、HTTPS、域名
检查"库对不对" 检查"服务活不活"(健康检查、重启策略)
本机跑脚本 日志、监控、告警、回滚

一句话:这一卷让"数据与身份"正确,下一卷让"服务与访问"可靠。

6.8.3 动手:跑一遍检查表,再做一次真恢复

第一步:逐项跑(实测输出)

D=./data/reg.db
python -m sqlite3 $D "PRAGMA integrity_check"
python -m sqlite3 $D "SELECT name FROM sqlite_master WHERE type='table' ORDER BY name"
python -m sqlite3 $D "SELECT MAX(version) FROM schema_version"
python -m sqlite3 $D "SELECT COUNT(*) FROM notes n LEFT JOIN users u ON u.id=n.user_id WHERE u.id IS NULL"
python -m sqlite3 $D "SELECT COUNT(*) FROM users WHERE password_hash NOT LIKE 'scrypt\$%'"
('ok',)
('note_tags',)
('notes',)
('schema_version',)
('sessions',)
('sqlite_sequence',)
('tags',)
('users',)
(2,)
(0,)
(0,)

sqlite_sequence 是 AUTOINCREMENT 用的内部表,不是你的;note_tags 排在 notes 前面是字典序,不影响任何事。

第 5 项(外键开关)必须用应用的连接来测,不能只用命令行——PRAGMA 是连接级的:

from app.db import connect
con = connect()
print(con.execute("PRAGMA foreign_keys").fetchone()[0])   # 1
con.close()

第 10、11 项就是上一章那两条 curl。把 12 条写进一个 check.sh,以后每次改动都跑一次,比记住任何结论都可靠。

第二步:备份

python -m sqlite3 ./data/reg.db "VACUUM INTO './data/bk-20261117.db'"
ls -l data/bk-20261117.db
python -m sqlite3 ./data/bk-20261117.db "SELECT COUNT(*) FROM notes"
61440 data/bk-20261117.db
(3,)

备份完立刻验一次条数,这一步只花 0.1 秒,能挡掉"备份了个空库"。

第三步:制造灾难

python -m sqlite3 ./data/drill.db "DELETE FROM notes"
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"
(0,)

三条摘录全没了。此时不要慌,也不要急着 INSERT 补数据——那会让恢复变得更复杂。

第四步:恢复

cp data/bk-20261117.db data/drill.db
rm -f data/drill.db-wal data/drill.db-shm
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"
python -m sqlite3 ./data/drill.db "PRAGMA integrity_check"
(3,)
('ok',)

条数回来了,完整性也 ok。这就叫"恢复演练做过了"——不是"我备份了",是"我从备份里把数据拿回来过"。

第五步:故意犯一次错

删掉数据、恢复,但保留 -wal:

cp data/bk-20261117.db data/drill.db        # 不删 -wal
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"

如果这个库在崩溃前处于"WAL 里有新写入"的状态,你会读到比备份更新的数据——看起来"恢复得很好",实际是旧日志覆盖了恢复结果。下次真出事时,这个错误会让你以为"备份没用"。

6.8.4 三个坑

坑一:备份文件存在,但是空的

症状:ls -l backups/ 里每天都有新文件,每个 0 字节。出事那天 cp 回去,服务起来后所有接口 500:no such table: users。

成因:备份脚本写的是 cp $DB $BACKUP_DIR/$(date).db,但 $DB 是相对路径,定时任务的工作目录不是项目目录,cp 复制了一个不存在的路径——有的系统会创建一个空文件,有的直接静默失败。脚本没有 set -e,也没有检查产物。

修法:备份后必须验证:文件大小 > 0、能打开、条数 > 0。把这三条写进备份脚本,验证不过就让它以非零退出码失败,这样定时任务的告警才有东西可报。

坑二:恢复时没删 -wal,数据"自己回来了"

症状:删库 → 恢复 → 查条数,发现数据是"删除之前"的样子,甚至比备份还新。你以为备份错了,其实是 WAL 被回放了。

成因:SQLite 打开数据库时,如果同目录存在 -wal 且格式匹配,会把里面的帧应用到主文件上。你恢复的主文件是旧的,但 WAL 是"新的",两者一合并,得到一个谁也没预期的状态。

修法:恢复前先停服务,再删 -wal 和 -shm,然后才拷备份。这三步是一个整体,缺一步就可能得到"看起来对、其实错"的库。

坑三:WAL 模式下直接 cp 主文件

症状:备份脚本跑了半年没人发现,直到第一次真恢复——打开报 no such table: notes,或者数据停在几个月前。

成因:WAL 模式下,最近的写入(甚至建表)先落在 -wal,主文件可能长期没更新。只拷主文件等于拷了一份"旧快照"。

修法:用 VACUUM INTO 或 .backup,它们在复制时会考虑到 WAL 的状态,产出一个自洽的库。如果非要用 cp,先 PRAGMA wal_checkpoint(TRUNCATE) 把 WAL 清空,再连同 -wal、-shm 一起拷(三个文件必须同时拷,缺一个都可能不一致)。

本章验收

  • 12 项检查全部跑过,每一项都有实际输出,不是"应该没问题"
  • 完成一次"备份 → 删库 → 恢复",恢复后条数与备份时一致
  • 能说出恢复五个步骤,以及第 2 步(删 -wal)为什么不能省
  • 能解释 cp 与 VACUUM INTO 在 WAL 模式下的区别
  • 做过至少一项失败演练(并发写或杀进程),并记录了结果

自测

Q1:为什么"备份成功"这个状态,必须用"能恢复"来证明?

看答案 因为备份失败的方式非常安静:路径写错会生成空文件,`cp` 在 WAL 下会漏数据,磁盘满会留下半个文件,权限不对会在恢复时才发现。这些都不会让备份命令报错。"能恢复"是唯一能证伪的检验——它同时验证了文件完整、格式正确、路径可读、权限够用。这也是为什么恢复演练要定期做,而不是出事那天第一次做。

Q2:恢复时为什么必须先停服务?

看答案 因为运行中的进程持有连接和文件句柄,你替换主文件时它可能还在写,或者把旧的 WAL 继续应用上去。结果是"恢复"和"新写入"混在一起,得到一个既不是备份也不是当前状态的库。停服务是为了让磁盘上的三个文件(主库、`-wal`、`-shm`)处于静止状态,之后的操作才有确定的起点。

Q3:检查表里为什么要单独查"孤儿摘录"和"重复邮箱"?

看答案 因为它们代表约束失效。孤儿摘录说明外键没生效(多半是某个连接忘了 `PRAGMA foreign_keys=ON`),重复邮箱说明唯一索引不存在或被绕过——这两种情况都不会让接口立刻报错,但会让"多用户"这个前提悄悄崩塌:孤儿数据谁都查不到,重复邮箱会让登录时好时坏。数据正确性要靠数据本身来验证,不能只看接口返回 200。

下一步

卷 6 到此收口:数据在 SQLite 里、结构靠迁移演进、写入有事务、身份靠服务端会话、越权被 SQL 条件挡住。但这些都还跑在你自己电脑上,用的是 127.0.0.1 和一个 8000 端口。

下一卷把它交给互联网:域名、HTTPS、让进程常驻、把日志留下来、把备份变成定时任务。

→ ../卷7/卷7-01-部署心智配置与代码分离.md