fix(export): exclude application data from portable notes

This commit is contained in:
eezd committed 2026-10-25 13:59:54 +08:00
1 parent 9449a1aa65
commit c705d1ab33
5 files changed
+159 -4

No files matched your search

+1 -1
View File
@@ -44,7 +44,7 @@ docker run -d --name rawmark \
- 设置:桌面使用居中窗口,手机使用分类与内容两级布局;支持搜索设置并定位、常用排版项单独重置,自动保存状态与失败提示可见。外观与编辑器分别管理,安装入口位于「关于」。 - 设置:桌面使用居中窗口,手机使用分类与内容两级布局;支持搜索设置并定位、常用排版项单独重置,自动保存状态与失败提示可见。外观与编辑器分别管理,安装入口位于「关于」。
- 回收站与存储:回收站支持清空全部;默认按原删除时间保留 30 天,0 表示永不自动删除,服务启动及每小时执行清理,修改期限同样影响已有条目。设置「存储空间」进入即统计数据目录、外置笔记库及内置可选字体(不含默认 Maple),支持刷新和字体明细;不跟随内部符号链接,附件与回收站包含在笔记库总量中。 - 回收站与存储:回收站支持清空全部;默认按原删除时间保留 30 天,0 表示永不自动删除,服务启动及每小时执行清理,修改期限同样影响已有条目。设置「存储空间」进入即统计数据目录、外置笔记库及内置可选字体(不含默认 Maple),支持刷新和字体明细;不跟随内部符号链接,附件与回收站包含在笔记库总量中。
- 快捷键:支持按命令名称、ID 或组合键搜索,添加、逐条移除和单项/全部重置,并拒绝冲突绑定。默认跟随 [Typora](https://support.typora.io/Shortcut-Keys/) 的 Windows/Linux 或 macOS 组合,无对应项和插件默认留空;浏览器保留键可自行重新绑定。Ctrl/Cmd+1~6 设置标题,同级再次触发恢复正文;字号可直接输入,编辑器字号随有效输入即时生效。 - 快捷键:支持按命令名称、ID 或组合键搜索,添加、逐条移除和单项/全部重置,并拒绝冲突绑定。默认跟随 [Typora](https://support.typora.io/Shortcut-Keys/) 的 Windows/Linux 或 macOS 组合,无对应项和插件默认留空;浏览器保留键可自行重新绑定。Ctrl/Cmd+1~6 设置标题,同级再次触发恢复正文;字号可直接输入,编辑器字号随有效输入即时生效。
- 备份与维护:设置「存储空间」提供完整实例、普通 Markdown 笔记库、设置与资源三种迁移入口。完整实例含数据库、登录信息、回收站与资源,恢复会替换当前业务数据并要求重新登录;设置包含偏好、插件数据及字体/主题/插件,保留包外资源,同 ID 资源替换。两者应用前均在数据目录 `backups/` 保存恢复包;不包含运维环境配置、派生索引或临时文件。普通笔记导出保留目录与原文,缺失附件记录于 `.rawmark-export/missing-assets.json`,导回时忽略该报告并导入新文件夹。 - 备份与维护:设置「存储空间」提供完整实例、普通 Markdown 笔记库、设置与资源三种迁移入口。完整实例含数据库、登录信息、回收站与资源,恢复会替换当前业务数据并要求重新登录;设置包含偏好、插件数据及字体/主题/插件,保留包外资源,同 ID 资源替换。两者应用前均在数据目录 `backups/` 保存恢复包;不包含运维环境配置、派生索引或临时文件。普通笔记导出保留目录与原文,即使仓库与应用目录重合或嵌套也不包含应用数据库、资源与暂存文件;缺失附件记录于 `.rawmark-export/missing-assets.json`,导回时忽略该报告并导入新文件夹。
- 维护边界:备份恢复只接受本程序的版本化 ZIP,顺序分块上传,每块 8 MiB,压缩上限 2 GiB、展开上限 8 GiB/100000 项;完整恢复前需停止外部程序直接改写仓库。维护期间暂时暂停 API 操作,实例恢复在关闭数据库和后台任务后执行,中断时回退操作前备份。优化/重建仅作用于派生索引;临时清理不删除用户文件、活动上传或恢复备份。重置偏好保留插件存储、账户、资源和本机标签页。日志保存于 `logs/`,三份、每份至多 10 MiB,可导出日志及版本运行摘要,不补录历史日志。 - 维护边界:备份恢复只接受本程序的版本化 ZIP,顺序分块上传,每块 8 MiB,压缩上限 2 GiB、展开上限 8 GiB/100000 项;完整恢复前需停止外部程序直接改写仓库。维护期间暂时暂停 API 操作,实例恢复在关闭数据库和后台任务后执行,中断时回退操作前备份。优化/重建仅作用于派生索引;临时清理不删除用户文件、活动上传或恢复备份。重置偏好保留插件存储、账户、资源和本机标签页。日志保存于 `logs/`,三份、每份至多 10 MiB,可导出日志及版本运行摘要,不补录历史日志。
- 文件目录操作:右键「文件目录」标题或目录空白处,可搜索、打开标签索引、新建笔记、新建目录、导入文档及管理图片;也可点击标题打开菜单。文件夹右键操作以所选文件夹为目标。 - 文件目录操作:右键「文件目录」标题或目录空白处,可搜索、打开标签索引、新建笔记、新建目录、导入文档及管理图片;也可点击标题打开菜单。文件夹右键操作以所选文件夹为目标。
+117
View File
@@ -0,0 +1,117 @@
package api
import (
"archive/zip"
"bytes"
"io"
"net/http/httptest"
"os"
"path/filepath"
"testing"
"testing/fstest"
"rawmark/internal/auth"
"rawmark/internal/events"
"rawmark/internal/search"
"rawmark/internal/store"
"rawmark/internal/vault"
)
func TestPortableNotesExcludeApplicationData(t *testing.T) {
for _, layout := range []string{"default", "same-root", "nested-app", "symlink-data"} {
t.Run(layout, func(t *testing.T) {
root := t.TempDir()
data := root
switch layout {
case "default":
root = filepath.Join(data, "vault")
case "nested-app", "symlink-data":
data = filepath.Join(root, "application")
}
if err := os.MkdirAll(data, 0700); err != nil {
t.Fatal(err)
}
if layout == "symlink-data" {
link := filepath.Join(t.TempDir(), "data")
if err := os.Symlink(data, link); err != nil {
t.Fatal(err)
}
data = link
}
v, err := vault.Open(root)
if err != nil {
t.Fatal(err)
}
st, err := store.Open(filepath.Join(data, "rawmark.db"))
if err != nil {
t.Fatal(err)
}
defer st.Close()
am := auth.New(st)
if err = am.Setup("disposable-export-password"); err != nil {
t.Fatal(err)
}
idx, err := search.Open(filepath.Join(data, "index.db"), v)
if err != nil {
t.Fatal(err)
}
defer idx.Close()
server := New(v, am, st, events.NewHub(), idx)
server.DataDir = data
srv := httptest.NewServer(server.Handler(fstest.MapFS{}))
defer srv.Close()
f := &fixture{t: t, url: srv.URL, root: root, store: st, admin: newClient()}
res := f.do(f.admin, "POST", "/api/v1/auth/login", `{"password":"disposable-export-password"}`, nil)
assertOK(t, res)
res.Body.Close()
f.write("note.md", "# portable note\n![](assets/a.png)")
f.write("assets/a.png", "image")
f.write("personal/fonts/keep.dat", "user resource")
for _, name := range []string{"temp", "backups", "logs", "fonts", "themes", "plugins"} {
dir := filepath.Join(data, name)
if err = os.MkdirAll(dir, 0700); err != nil {
t.Fatal(err)
}
if err = os.WriteFile(filepath.Join(dir, "application.dat"), []byte("private"), 0600); err != nil {
t.Fatal(err)
}
}
// 与真实进程一致,导出暂存文件位于应用数据目录内。
t.Setenv("TMPDIR", filepath.Join(data, "temp"))
res = f.do(f.admin, "POST", "/api/v1/maintenance/notes/export", "", nil)
defer res.Body.Close()
assertOK(t, res)
body, err := io.ReadAll(res.Body)
if err != nil {
t.Fatal(err)
}
z, err := zip.NewReader(bytes.NewReader(body), int64(len(body)))
if err != nil {
t.Fatal(err)
}
want := map[string]string{"note.md": "# portable note\n![](assets/a.png)", "assets/a.png": "image", "personal/fonts/keep.dat": "user resource"}
for _, file := range z.File {
if file.FileInfo().IsDir() {
continue
}
expected, ok := want[file.Name]
if !ok {
t.Fatalf("笔记导出包含应用数据或临时文件:%s", file.Name)
}
r, err := file.Open()
if err != nil {
t.Fatal(err)
}
content, err := io.ReadAll(r)
r.Close()
if err != nil || string(content) != expected {
t.Fatalf("笔记或附件内容改变:%s,%v", file.Name, err)
}
delete(want, file.Name)
}
if len(want) != 0 {
t.Fatalf("遗漏用户文件:%v", want)
}
})
}
}
+7 -1
View File
@@ -209,7 +209,13 @@ func (s *Server) exportBackup(w http.ResponseWriter, r *http.Request) {
} }
func (s *Server) exportNotes(w http.ResponseWriter, r *http.Request) { func (s *Server) exportNotes(w http.ResponseWriter, r *http.Request) {
err := s.maintain("导出笔记数据", func() error { err := s.maintain("导出笔记数据", func() error {
file, err := s.vault.ExportNotes(r.Context()) dataRoot, err := filepath.EvalSymlinks(s.DataDir)
if err != nil {
return err
}
file, err := s.vault.ExportNotes(r.Context(), func(rel string) bool {
return backup.VaultExcluded(dataRoot, s.vault.Root(), rel)
})
if err != nil { if err != nil {
return err return err
} }
+8 -1
View File
@@ -17,7 +17,8 @@ type MissingAsset struct {
Path string `json:"path"` Path string `json:"path"`
} }
func (v *Vault) ExportNotes(ctx context.Context) (result *os.File, err error) { // exclude 由应用层提供,笔记库不持有数据库和资源目录的配置。
func (v *Vault) ExportNotes(ctx context.Context, exclude func(string) bool) (result *os.File, err error) {
v.mu.Lock() v.mu.Lock()
defer v.mu.Unlock() defer v.mu.Unlock()
f, err := os.CreateTemp("", "rawmark-notes-*.zip") f, err := os.CreateTemp("", "rawmark-notes-*.zip")
@@ -47,6 +48,12 @@ func (v *Vault) ExportNotes(ctx context.Context) (result *os.File, err error) {
return nil return nil
} }
rel = filepath.ToSlash(rel) rel = filepath.ToSlash(rel)
if full == f.Name() || (exclude != nil && exclude(rel)) {
if d.IsDir() {
return filepath.SkipDir
}
return nil
}
for _, p := range strings.Split(rel, "/") { for _, p := range strings.Split(rel, "/") {
if strings.HasPrefix(p, ".") { if strings.HasPrefix(p, ".") {
if d.IsDir() { if d.IsDir() {
+26 -1
View File
@@ -20,7 +20,7 @@ func TestExportNotesKeepsMarkdownAndReportsMissingAssets(t *testing.T) {
} }
v.Delete("other.md") v.Delete("other.md")
v.SaveAsset("note.md", "a.png", strings.NewReader("image"), 50<<20) v.SaveAsset("note.md", "a.png", strings.NewReader("image"), 50<<20)
file, err := v.ExportNotes(context.Background()) file, err := v.ExportNotes(context.Background(), nil)
if err != nil { if err != nil {
t.Fatal(err) t.Fatal(err)
} }
@@ -58,3 +58,28 @@ func TestExportNotesKeepsMarkdownAndReportsMissingAssets(t *testing.T) {
t.Fatalf("导出包不能导回: %v", err) t.Fatalf("导出包不能导回: %v", err)
} }
} }
func TestExportNotesExcludesItsOwnOutputInsideVault(t *testing.T) {
v := newVault(t)
t.Setenv("TMPDIR", v.Root())
if _, err := v.Write("note.md", []byte("source"), Precondition{}); err != nil {
t.Fatal(err)
}
file, err := v.ExportNotes(context.Background(), nil)
if err != nil {
t.Fatal(err)
}
defer os.Remove(file.Name())
defer file.Close()
info, err := file.Stat()
if err != nil {
t.Fatal(err)
}
z, err := zip.NewReader(file, info.Size())
if err != nil {
t.Fatal(err)
}
if len(z.File) != 1 || z.File[0].Name != "note.md" {
t.Fatal("导出包含自身临时文件")
}
}