亚洲中文字幕无码日韩精品,亚洲一区制服无码中字,亚洲精品第一国产综合精品99 ,一本大道中文日本香蕉

OpenAI 提供了兩項(xiàng)基于 GPT-3 模型的能力：

1. fine-tune 微調(diào)
2. embedding 嵌入

fine-tune

一般稱之為微調(diào)。

模型底層更通用，頂層更垂直，fine-tune 的原理是在不改動(dòng)（或不能改動(dòng)）預(yù)訓(xùn)練模型的基礎(chǔ)上，在模型「頂層」增加分類器或一些特征映射，使微調(diào)后的模型能夠更貼合實(shí)際使用場景。

在 OpenAI 中，可以在不改動(dòng) GPT-3 大模型的情況下，針對 prompt 和 completion 的進(jìn)行訓(xùn)練，對「句式」、「情感」等特征進(jìn)行優(yōu)化。

OpenAI-fine-tune
GPT-3 已經(jīng)預(yù)訓(xùn)練了大量的互聯(lián)網(wǎng)內(nèi)容。只需要在 prompt 里寫少量的用例，他基本可以感知你的用意，并生成一段基本合理的 completion。這個(gè)功能一般叫做 "few-shot learning".
fine-tune 基于 few-shot learning，通過訓(xùn)練比寫在 prompt 里更多的示例，可以得到更好的結(jié)果。模型被微調(diào)后，就不用在 prompt 里再寫一些實(shí)例了。這樣可以節(jié)省成本和耗時(shí)。

使用場景：

1. 想讓 GPT-3 按照某種格式來識(shí)別 Prompt ，或按照某種格式來回答
2. 想讓 GPT-3 按照某種語氣、性格來回答
3. 想讓 completion 具有某種傾向

比如不進(jìn)行 fine-tune 提問

prompt: 
小紅喜歡洋娃娃。小紅的性別是？ 

completion: 
女孩，所以她很喜歡洋娃娃。洋娃娃通常有著豐富多彩的服裝和裝飾，可以讓小紅玩得很開心。此外，紅還可以給洋娃娃起名字，造出一個(gè)屬于自己的小世界，從而獲得更多的樂趣。

GPT-3 詳盡的回答了你的問題，但是可能你只想知道是 男 or 女。

在 prompt 里加入示例

prompt:
示例：小紅喜歡洋娃娃。小紅的性別是？
答案：女 

下面是問題：小明喜歡坦克，小明的性別是？ 

completion:
答案：男

經(jīng)過提示的 prompt 會(huì)按照示例的格式回答你的問題。

如果通過對大量如下數(shù)據(jù)進(jìn)行 fine-tuning。

prompt:
小紅喜歡洋娃娃。小紅的性別是？ 

completion: 
答案: 女

訓(xùn)練后的模型中，按照 prompt 格式書寫，那么 completion 會(huì)自動(dòng)按照期望的格式返回，而不是返回其他內(nèi)容.

類似于 Masked Language Modeling（MLM） ，系統(tǒng)會(huì)將回答識(shí)別為「答案: [mask] 」，模型去預(yù)測 mask 的內(nèi)容，或者理解為「完形填空」

embedding

一般稱之為嵌入。

embedding 一般是指將一個(gè)內(nèi)容實(shí)體映射為低維向量，從而可以獲得內(nèi)容之間的相似度。

OpenAI 的 embedding 是計(jì)算文本與維度的相關(guān)性，默認(rèn)的 ada-002 模型會(huì)將文本解析為 1536 個(gè)維度。用戶可以通過文本之間的 embedding 計(jì)算相似度。

embedding 的使用場景是可以根據(jù)用戶提供的語料片段與 prompt 內(nèi)容計(jì)算相關(guān)度，然后將最相關(guān)的語料片段作為上下文放到 prompt 中，以提高 completion 的準(zhǔn)確率。

具體可以看 （二）如何使用 Embedding 提升回答質(zhì)量？

使用場景：

1. 獲取文本特征向量
2. 提供「相關(guān)」上下文，讓 GPT-3 依據(jù)上下文回答

fine-tune 和 embedding 可以結(jié)合使用，比如通過 fine-tune 訓(xùn)練基于 context 識(shí)別 prompt 模型，再使用此模型使用 embedding 插入上下文，這樣新模型也能更好地理解 prompt

兩者如何選擇

我有一堆語料，想讓 GPT-3 依據(jù)我的語料輸出內(nèi)容 - 使用 embedding

想讓 GPT-3 模仿一個(gè)溫柔賢惠的女人和我對話 - 使用 fine-tune

希望用戶按照一定格式提交問題 - 使用 fine-tune

可以根據(jù)產(chǎn)品的使用手冊來回答用戶的問題 - 使用 embedding

  業(yè)務(wù)實(shí)施流程