壓縮Sqlite數據文件大小,解決數據刪除後占用空間不變的問題
壓縮Sqlite數據文件大小,解決數據刪除後占用空間不變的問題
資料來源:https://read01.com/3OmJm5.html
起因:
最近有一網站使用Sqlite資料庫作為數據臨時性的緩存,對多片區進行劃分Sqlite資料庫文件,每天大概新增近1萬的數據量,起初效率有明顯的提高,但歷經一個多月後資料庫文件從幾K也上升到了近160M,數據量也達到了40多萬條,平均每一條數據占用了 4K的空間,雖然使用上的效率直觀上沒有造成太大的影響,但伺服器的占用內存卻比原來多占用了20%左右。今天剛好打算清除一個Sqlite的冗餘數據,將保留最近10天的數據就可以了,結果執行了刪除指令delete後刪除30多萬條數據保留了10多萬數據,卻發現Sqlite資料庫文件占用空間的大小一點沒有少,這是為什麼呢?
原因:
當你從Sqlite刪除數據後,未使用的磁碟空間被添加到一個內在的」空閒列表」中用於存儲你下次插入的數據。磁碟空間並沒有丟失。但是也不向作業系統返回磁碟空間。(嘿嘿,Sqlite.org的FAQ中提到過這個問題)
解決方法:兩種
一,在數據刪除後,手動執行VACUUM命令
VACUUM命令會清空「空閒列表」,把資料庫尺寸壓縮到最小。但是要耗費一些時間。
FQA裡面說,在Linux的環境下,大約0.5秒/M。並且要使用兩倍於資料庫文件的空間。
我憎恨此FQA,他只說系統環境,不說機器硬體環境。我在測試手機上執行用了將近13秒時間壓縮了將近3M的空間。至於它所占用的另一部分空間,是生成了一個.db-journal後綴名的臨時文件。(這個問題對我現在來說是無所謂的。)
二,在資料庫文件建成中,將auto_vacuum設置成「1」
注意:只有在資料庫中未建任何表時才能改變auto-vacuum標記,試圖在已有表的情況下修改不會導致報錯。
當開啟auto-vacuum,當提交一個從資料庫中刪除除數據的事物時,資料庫文件自動收縮。
資料庫會在內部存儲一些信息以便支持這一功能,這使得資料庫文件比不開啟該選項時稍微大一些。
我的表結構,不含任何數據是,資料庫文件大小是25K左右,開了auto_vacuum之後是26K。
插入運行基礎數據後,文件變成35K,開了auto_vacuum之後是36K。
變化不大,無所謂。
結論:
推薦使用第一種方式手動執行VACUUM命令,去壓縮Sqlite資料庫文件的大小。