什麼是開放重量？它與開源有何不同？
在觀看人工智能新聞時，你可能經常會遇到“開源人工智能模型”這個詞。另一方面，您可能也見過“開放權重模型”這個術語。
很容易給人一種向公眾開放、可以自由使用的印象，但其實兩者是根本上完全不同的概念。
什麼是開源？
該術語最初在軟件世界中使用，根據 MIT 和 Apache 2.0 等開源許可證，由 OSI（開源倡議）定義。源代碼是公開的，任何人都可以使用、修改和重新分發它。指的是
典型的例子包括Linux（操作系統）和Python（編程語言），它們培育了一種在世界各地的開發人員之間自由改進和共享它們的文化。
什麼是開放重量？
這是訓練模型的“權重”是公開的。也就是說，表示已經學習到的模型數據已經公開，但源代碼、原始數據等機制的所有部分並未公開。
許多官方發布數據的人工智能模型都屬於“開放權重”，包括 LLaMA（2 或更高版本）和 Stable Diffusion 等著名模型。
為什麼容易混淆
- 開源：免費使用
- 開放權重：權重是公開的，可以自由使用
兩者都具有“自由接觸”的形象，因此它們往往被認為是同一件事。
但本質不同。
- 開源：機製本身（配方）已公開。可以自由使用、修改和重新分發的內容。
- 開放重量：正在分發成品（成品菜品）。根據每個公司提供的許可證，其使用方式可能會受到限制。
對於人工智能模型來說，權重是知識的實質，因此只要有了這個學習模型，就可以進行額外的學習（微調）或將其合併到應用程序中。但它在透明度和自由度上與開源有著本質的區別。
體重到底是什麼？人工智能如何學習
在人工智能新聞中，經常強調“參數數量XX億”這個數字。但“參數”是什麼樣的能力呢？
神經網絡如何工作
大規模語言模型（LLM）是由模仿人腦神經迴路的“神經網絡”組成的。在這個網絡內，有數百萬到數千億的“參數（≒權重）”。
該參數是一個數值，表示輸入和輸出之間的“連接強度”。
例如，當你聽到“貓”這個詞時，你會想到什麼？
“可愛”、“哺乳動物”、“飼養方法”、“喜歡魚”、“過敏”、“領養”、“爪子”、“挪威森林貓”……我相信你能想到很多。有些人可能會覺得這很困難、可怕或不友好。
另一方面，諸如“微波爐”、“捲心菜”、“吉娃娃”、“圓珠筆”、“化石”和“可充電”之類的詞在沒有特殊上下文的情況下無法直接關聯。
權重是關聯程度的數字表示。神經網絡試圖重現人類大腦中自然玩的“聯想遊戲”。
LLM學習，簡單地說，閱讀大量文本並優化權重的任務。是。
- 該模型預測“下一個單詞”。
- 與實際正確答案進行比較，如有錯誤，相應調整權重。
- 通過多次重複這個過程，就可以理解上下文並生成自然的句子。
換句話說，權重是創建合理句子的指標”。
學習就是“調整權重”
我以文本生成人工智能中的神經網絡為例，但圖像生成、音樂生成和視頻生成基本上都是使用該神經網絡的原理進行訓練的。
人工智能通過基於大量數據的反復學習來提高其準確性，例如如何在沙塵暴等嘈雜圖像中留下或調整顏色，使其看起來像一隻貓，應隨時間改變什麼頻率才能使其聽起來像貓的叫聲，以及貓接下來應該做出什麼動作才能使其看起來像在走路。
參數數量和模型大小
它通常被稱為“具有◯◯十億個參數的模型”，簡單來說就是“模型中有多少個權重”。
參數越多，學習單詞之間的關係越深，因此表達能力會越高，但運算所需的學習成本和計算資源也會相應增加。
因此，我們將發布訓練後的數據。訓練前的數據量很大，學習所需的GPU等設備規格也很大。如果你不把訓練編程得高效，那麼無論你有多少數據，都不一定能得到高質量的模型。也就是說，即使菜譜公開了，能直接準備或安排的廚房或廚師也不多。
此外，隨著世界各地紛紛提起人工智能未經許可學習的訴訟，有多少公司能夠披露他們正在學習的內容？也可以說，這表明了這一點。即使你獲得了一個沒有任何版權問題的數據集，在是否可以免費發布方面仍然是一樣的。
畢竟，為什麼它被稱為開源呢？
如前所述，“開源人工智能”一詞被廣泛使用，但是其中許多實際上指的是“開放權重模型”。
然而，“開源”一詞仍然被使用，因為
①“開源”一詞具有較高的普遍認知度。
② 因為只要有分量就可以用，很容易與“發表=開源”混淆
③因為從營銷角度來說很能引起共鳴
有一個背景。
開發者/研究社區中也有關於此措辭的討論，例如 Hugging Face 上。為了更準確地反映實際情況，還出現了明確說明許可限制內容或使用“開放模式”或“公共模式”等中性表述的運動。
但目前的情況是，出版公司使用“開源”這個詞，強調這個詞的影響力，記者也效仿，將其視為“開源”。
對於個人使用來說，這可能沒有那麼大的區別，但它不是開源的事實意味著它的一些“自由使用、修改和重新分發”的原則可能不會得到認可。
特別是，在公司等進行商業使用之前，仔細檢查相應的條款和條件、許可證等非常重要。