数据不丢、越权不进
本合集目录
本章目录
单册说明:本文件是卷 6 的第 8 章,可独立阅读。前置:第 7 章(多用户与鉴权)。本章把前面七章的保证收成一张 12 项检查表,逐项给出可执行的命令,然后真的做一次"备份 → 删库 → 恢复",并演示三种常见的备份错觉。
| 项 | 内容 |
|---|---|
| 所属卷 | 卷 6 · 数据与状态(第 8 / 8 章) |
| 前置章节 | 6.7 多用户与鉴权 |
| 本章产出 | 一份 12 项检查表 · 一次完整的恢复演练 · 一份失败演练清单 |
| 对应代码 | app/db.py、scripts/ 下的备份与检查脚本 |
| 配图 | 无(后续统一制图) |
| 读完的判定 | 能在十分钟内对一台机器做完这 12 项检查,并从备份里真的恢复出数据 |
6.8.1 一句话结论:收口不是写总结,是写 12 条能跑的命令
"数据不丢、越权不进"这两句话,只有变成可执行的检查才有意义。不能执行的保证,等于没有保证。
先看三种"以为做了"的现场,它们全都来自真实操作:
| 你以为 | 实际 | 发现时机 |
|---|---|---|
"我每天都 cp 库文件" |
WAL 模式下主文件里可能连表都没有 | 恢复时 no such table: notes |
| "备份文件在,20MB" | 那是昨天的库;今天写了 300 条,恢复后全没了 | 恢复后条数不对 |
| "恢复成功了" | 磁盘上还留着旧的 -wal,打开时被回放,删掉的数据又回来了 |
恢复后数据还是"删之前"的样子 |
第三个最阴。实测:备份时库里 1 条,之后又写了 2 条(还在 WAL 里没落盘),此时把备份覆盖回主文件、但没删 -wal,打开读到的是:
恢复后读到: [(1,), (2,), (3,)]
三条,不是一条。恢复被旧日志"撤销"了,而且不报错。
6.8.2 原理与方法
12 项检查表
这张表是整卷的收口。每一项都能用一条命令验证,建议写成脚本,上线前后各跑一次。
| # | 检查项 | 命令(D 是库路径) |
期望 |
|---|---|---|---|
| 1 | 库文件存在且非空 | ls -l $D |
大小 > 0,且只有一份 |
| 2 | 文件结构没坏 | python -m sqlite3 $D "PRAGMA integrity_check" |
ok |
| 3 | 六张表都在 | ... "SELECT name FROM sqlite_master WHERE type='table' ORDER BY name" |
含 users/notes/tags/note_tags/sessions/schema_version |
| 4 | 迁移版本对得上 | ... "SELECT MAX(version) FROM schema_version" |
等于最新脚本编号 |
| 5 | 外键在应用连接里是开的 | python -c "from app.db import connect; ..." |
1 |
| 6 | 没有孤儿摘录 | ... "SELECT COUNT(*) FROM notes n LEFT JOIN users u ON u.id=n.user_id WHERE u.id IS NULL" |
0 |
| 7 | 没有重复邮箱 | ... "SELECT email,COUNT(*) c FROM users GROUP BY email HAVING c>1" |
空结果 |
| 8 | 密码全是哈希 | ... "SELECT COUNT(*) FROM users WHERE password_hash NOT LIKE 'scrypt$%'" |
0 |
| 9 | 没有过期会话残留 | ... "SELECT COUNT(*) FROM sessions WHERE expires_at <= strftime('%Y-%m-%dT%H:%M:%SZ','now')" |
0 |
| 10 | 未登录被拒 | curl -o /dev/null -w '%{http_code}' $B/api/notes |
401 |
| 11 | 越权被拒 | B 的 cookie 读 A 的摘录 | 404 |
| 12 | 备份可读且条数一致 | 备份后对备份库跑第 2、3 项 + 数条数 | ok + 条数相同 |
第 10、11 项是"越权不进"的可执行定义;第 1–9、12 项是"数据不丢"的。没有第 12 项,前 11 项都只在"库还活着"的前提下成立,而"库还活着"这件事本身也需要被检查。
第 4 项还兼任一个侦探角色:如果 MAX(version) 比 migrations/ 里最新的编号大,说明有人在这台机器上手工执行过 SQL 并伪造了版本号,或者代码回滚到了旧版本而库没跟着退。两种都需要人工确认,不能当作没事。
三种备份方式,只有两种可用
| 做法 | 一致性 | 要不要停服务 | 说明 |
|---|---|---|---|
cp dudao.db backup.db |
不保证 | 要 | WAL 模式下会漏掉 -wal 里的内容,实测拷出来"连表都没有" |
sqlite3 dudao.db ".backup backup.db" |
保证 | 不用 | 官方备份命令,边写边备也一致 |
VACUUM INTO 'backup.db' |
保证 | 不用 | 一条 SQL,顺带整理碎片、体积更小 |
cp 的问题不是"偶尔出错",而是"在 WAL 模式下几乎一定漏数据"。实测:一个刚建表、刚插了 100 行的库,只拷主文件,打开报:
sqlite3.OperationalError: no such table: t
因为连"建表"这个动作都还躺在 WAL 里。执行 PRAGMA wal_checkpoint(TRUNCATE) 之后再拷,才能拿到 100 行。
本书统一用 VACUUM INTO:它是一条 SQL,能在 Python 里调,也能在命令行跑;产物是一个干净的、没有 WAL 依赖的独立文件。
恢复的标准五步
| 步 | 动作 | 为什么不能省 |
|---|---|---|
| 1 | 停掉应用进程 | 不停就等于"一边恢复一边被写",恢复出来的东西立刻被覆盖 |
| 2 | 删掉 dudao.db-wal 与 dudao.db-shm |
旧日志会被回放到新主文件上,恢复失效(本章开头那个现场) |
| 3 | 把备份文件拷成 dudao.db |
用 cp 而不是"解压后改名",确保权限与属主正确 |
| 4 | PRAGMA integrity_check |
备份本身可能是坏的,先证明它完整 |
| 5 | 数一遍条数、抽一条记录 | "能打开"不等于"数据对",数量与内容都要看 |
顺序不能换。第 2 步放最后,等于白做。
备份三二一,落到本项目的版本
| 原则 | 全量版 | 本项目的最小版 |
|---|---|---|
| 三份副本 | 生产 + 两份备份 | 生产 + 本地备份 + 异地一份(网盘/对象存储) |
| 两种介质 | 磁盘 + 对象存储 | 服务器磁盘 + 你自己电脑 |
| 一份异地 | 不同机房 | 下载到本地(这一步很多人只在心里做) |
个人项目做到"每天自动 VACUUM INTO + 每周手动下载一份到电脑",就已经比绝大多数玩具项目强。定时任务和异地传输属于卷 7 的部署内容,本卷只保证"备份动作本身是对的"。
失败演练清单
只做正常路径的验证,等于没验证。这五项值得各花十分钟:
| 演练 | 怎么做 | 期望 |
|---|---|---|
| 并发写 | 八个线程同时写(第 5 章那段脚本) | 不丢更新,或明确报错而不是静默失败 |
| 断电式杀进程 | 写入过程中 kill -9(Windows 用任务管理器结束进程) |
重启后库能打开,最后一条要么在要么不在,不能半条 |
| 磁盘满 | 把库放在一个小分区上写满 | 写入报错且不损坏已有数据 |
| 误删数据 | DELETE FROM notes 后立刻恢复 |
条数回到删除前 |
| 备份损坏 | 手动改坏备份文件的一个字节 | integrity_check 能报出来,而不是"打开成功但数据乱" |
第二项特别值得做:SQLite 的卖点之一就是"崩溃安全",但只有你真的杀一次,才会相信它。
与卷 7 的分工
| 本卷做的 | 卷 7 接着做的 |
|---|---|
| 手动备份、手动恢复、手动跑检查表 | 定时任务(cron / systemd timer)自动备份 |
| 单机、本地磁盘 | Nginx 反向代理、HTTPS、域名 |
| 检查"库对不对" | 检查"服务活不活"(健康检查、重启策略) |
| 本机跑脚本 | 日志、监控、告警、回滚 |
一句话:这一卷让"数据与身份"正确,下一卷让"服务与访问"可靠。
6.8.3 动手:跑一遍检查表,再做一次真恢复
第一步:逐项跑(实测输出)
D=./data/reg.db
python -m sqlite3 $D "PRAGMA integrity_check"
python -m sqlite3 $D "SELECT name FROM sqlite_master WHERE type='table' ORDER BY name"
python -m sqlite3 $D "SELECT MAX(version) FROM schema_version"
python -m sqlite3 $D "SELECT COUNT(*) FROM notes n LEFT JOIN users u ON u.id=n.user_id WHERE u.id IS NULL"
python -m sqlite3 $D "SELECT COUNT(*) FROM users WHERE password_hash NOT LIKE 'scrypt\$%'"
('ok',)
('note_tags',)
('notes',)
('schema_version',)
('sessions',)
('sqlite_sequence',)
('tags',)
('users',)
(2,)
(0,)
(0,)
sqlite_sequence 是 AUTOINCREMENT 用的内部表,不是你的;note_tags 排在 notes 前面是字典序,不影响任何事。
第 5 项(外键开关)必须用应用的连接来测,不能只用命令行——PRAGMA 是连接级的:
from app.db import connect
con = connect()
print(con.execute("PRAGMA foreign_keys").fetchone()[0]) # 1
con.close()
第 10、11 项就是上一章那两条 curl。把 12 条写进一个 check.sh,以后每次改动都跑一次,比记住任何结论都可靠。
第二步:备份
python -m sqlite3 ./data/reg.db "VACUUM INTO './data/bk-20261117.db'"
ls -l data/bk-20261117.db
python -m sqlite3 ./data/bk-20261117.db "SELECT COUNT(*) FROM notes"
61440 data/bk-20261117.db
(3,)
备份完立刻验一次条数,这一步只花 0.1 秒,能挡掉"备份了个空库"。
第三步:制造灾难
python -m sqlite3 ./data/drill.db "DELETE FROM notes"
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"
(0,)
三条摘录全没了。此时不要慌,也不要急着 INSERT 补数据——那会让恢复变得更复杂。
第四步:恢复
cp data/bk-20261117.db data/drill.db
rm -f data/drill.db-wal data/drill.db-shm
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"
python -m sqlite3 ./data/drill.db "PRAGMA integrity_check"
(3,)
('ok',)
条数回来了,完整性也 ok。这就叫"恢复演练做过了"——不是"我备份了",是"我从备份里把数据拿回来过"。
第五步:故意犯一次错
删掉数据、恢复,但保留 -wal:
cp data/bk-20261117.db data/drill.db # 不删 -wal
python -m sqlite3 ./data/drill.db "SELECT COUNT(*) FROM notes"
如果这个库在崩溃前处于"WAL 里有新写入"的状态,你会读到比备份更新的数据——看起来"恢复得很好",实际是旧日志覆盖了恢复结果。下次真出事时,这个错误会让你以为"备份没用"。
6.8.4 三个坑
坑一:备份文件存在,但是空的
症状:ls -l backups/ 里每天都有新文件,每个 0 字节。出事那天 cp 回去,服务起来后所有接口 500:no such table: users。
成因:备份脚本写的是 cp $DB $BACKUP_DIR/$(date).db,但 $DB 是相对路径,定时任务的工作目录不是项目目录,cp 复制了一个不存在的路径——有的系统会创建一个空文件,有的直接静默失败。脚本没有 set -e,也没有检查产物。
修法:备份后必须验证:文件大小 > 0、能打开、条数 > 0。把这三条写进备份脚本,验证不过就让它以非零退出码失败,这样定时任务的告警才有东西可报。
坑二:恢复时没删 -wal,数据"自己回来了"
症状:删库 → 恢复 → 查条数,发现数据是"删除之前"的样子,甚至比备份还新。你以为备份错了,其实是 WAL 被回放了。
成因:SQLite 打开数据库时,如果同目录存在 -wal 且格式匹配,会把里面的帧应用到主文件上。你恢复的主文件是旧的,但 WAL 是"新的",两者一合并,得到一个谁也没预期的状态。
修法:恢复前先停服务,再删 -wal 和 -shm,然后才拷备份。这三步是一个整体,缺一步就可能得到"看起来对、其实错"的库。
坑三:WAL 模式下直接 cp 主文件
症状:备份脚本跑了半年没人发现,直到第一次真恢复——打开报 no such table: notes,或者数据停在几个月前。
成因:WAL 模式下,最近的写入(甚至建表)先落在 -wal,主文件可能长期没更新。只拷主文件等于拷了一份"旧快照"。
修法:用 VACUUM INTO 或 .backup,它们在复制时会考虑到 WAL 的状态,产出一个自洽的库。如果非要用 cp,先 PRAGMA wal_checkpoint(TRUNCATE) 把 WAL 清空,再连同 -wal、-shm 一起拷(三个文件必须同时拷,缺一个都可能不一致)。
本章验收
- 12 项检查全部跑过,每一项都有实际输出,不是"应该没问题"
- 完成一次"备份 → 删库 → 恢复",恢复后条数与备份时一致
- 能说出恢复五个步骤,以及第 2 步(删
-wal)为什么不能省 - 能解释
cp与VACUUM INTO在 WAL 模式下的区别 - 做过至少一项失败演练(并发写或杀进程),并记录了结果
自测
Q1:为什么"备份成功"这个状态,必须用"能恢复"来证明?
看答案
因为备份失败的方式非常安静:路径写错会生成空文件,`cp` 在 WAL 下会漏数据,磁盘满会留下半个文件,权限不对会在恢复时才发现。这些都不会让备份命令报错。"能恢复"是唯一能证伪的检验——它同时验证了文件完整、格式正确、路径可读、权限够用。这也是为什么恢复演练要定期做,而不是出事那天第一次做。Q2:恢复时为什么必须先停服务?
看答案
因为运行中的进程持有连接和文件句柄,你替换主文件时它可能还在写,或者把旧的 WAL 继续应用上去。结果是"恢复"和"新写入"混在一起,得到一个既不是备份也不是当前状态的库。停服务是为了让磁盘上的三个文件(主库、`-wal`、`-shm`)处于静止状态,之后的操作才有确定的起点。Q3:检查表里为什么要单独查"孤儿摘录"和"重复邮箱"?
看答案
因为它们代表约束失效。孤儿摘录说明外键没生效(多半是某个连接忘了 `PRAGMA foreign_keys=ON`),重复邮箱说明唯一索引不存在或被绕过——这两种情况都不会让接口立刻报错,但会让"多用户"这个前提悄悄崩塌:孤儿数据谁都查不到,重复邮箱会让登录时好时坏。数据正确性要靠数据本身来验证,不能只看接口返回 200。下一步
卷 6 到此收口:数据在 SQLite 里、结构靠迁移演进、写入有事务、身份靠服务端会话、越权被 SQL 条件挡住。但这些都还跑在你自己电脑上,用的是 127.0.0.1 和一个 8000 端口。
下一卷把它交给互联网:域名、HTTPS、让进程常驻、把日志留下来、把备份变成定时任务。