記憶體壓縮技術

本篇探討 LLM 的 4 種類型的壓縮技術：剪枝 (Pruning)、知識蒸餾 (Knowledge Distillation)、量化 (Quantization)、低秩因子分解 (Low-Rank Factorization)

內存壓縮的工作原理是在系統面臨內存壓力時識別不活動或不常用的數據。 Windows 不會將此數據寫入速度較慢的硬碟，而是將其壓縮到 RAM 中，從而減少使用頁面文件的需要。

說到壓縮這個詞，我們並不陌生，應該都能想到是降低占用空間，使同樣的空間可以存放更多的東西，類似於我們平時常用的文件壓縮,內存壓縮同樣也是為了節省內存。 儘管當前android手機6GB，8GB甚至12GB的機器都較為常見了，但內存無論多大，總是會有不夠用的時候。當系統內存緊張的時候，會將文件頁丟棄或回寫回磁碟（如果是髒頁），還可能會觸發LMK殺進程進行內存回收。這些被回收的內存如果再次使用都需要重新從磁碟讀取，而這個過程涉及到較多的IO操作。就目前的技術而言，IO的速度遠遠慢於這RAM操作速度。因此，如果

本計畫的重點將包括記憶體內運算 (processing-in-memory, PIM)、近記憶體運算 (processing-near-memory, PNM)和存儲體內運算 (in-storage computing, ISC)等三個記憶體中心設計的研究方向。

「内存压缩」本质上是一种「虚拟内存压缩」技术，通过压缩数据来减少对辅助存储（比如 HDD 或 SSD）的分页请求量和大小。 对于物理内存有限的设备来说，它可以显著提升系统的响应速度、多任务处理能力，以及整体稳定性。 并减少对硬盘进行「页面交换」的频率，大幅改善 I/O 效率。 在 Windows 11 中 开启虚拟内存 功能后，当系统检测到内存不足时，就会把一些使用频率较低的数据，临时转存到硬盘上的「分页文件」。 这个「分页文件」默认存放在 Windows 系统盘的根目录下，是一个名为 pagefile.

記憶體壓縮是一種記憶體管理技術，主要用於減少計算機中數據佔用的空間，從而提高系統性能。 以下是記憶體壓縮的基本概念及其運作方式： 1. **基本概念**： - 記憶體壓縮的主要目的是減少RAM的使用量，這樣可以在內存不足的情況下，讓系統運行得更順暢 [9]。

記憶體壓縮技術的主要思想是將資料按照一定的演算法壓縮後存入壓縮記憶體中，系統從壓縮記憶體中找到壓縮過的資料，將其解壓後即可以供系統使用。