現代提示工程的進展 I — 提示工程的崛起與重要性

Harry Chao
May 5, 2024

--

這篇文章由 Rebuy Engine 人工智能總監 Cameron R. Wolfe 博士所撰寫,深入探討了 Prompt 提示工程的各個面向,從基本概念到 前瞻技術,提供了全面的理解。他分享了實用的提示策略,並介紹了最新的研究方向,是一篇不可多得的提示工程指南。

我預計將這篇文章分五個段落來進行翻譯,當做自我學習,也希望可以讓有興趣的夥伴一同學習。

I 提示工程的崛起與重要性

大型語言模型(LLMs)因使用起來很方便,迅速在各領域獲得廣泛應用。即使是對深度學習一無所知的人,只需構建一個文字提示 Prompt,就能夠迅速利用龐大的神經網路解決各式各樣的複雜問題。隨著時間的推移,這些模型變得更聽話、更準確了,所以用起來更方便,變得更加容易使用。然而,有效地使用提示Prompt不僅是技術,也是一門藝術,通過細微調整我們的提示方法或策略,可以大幅提升效果。在這篇介紹中,我們將全面探討提示工程,從基本概念到近期提出的先進技術。

提示工程是什麼?

LLMs之所以如此受歡迎,一大原因是其文本到文本的介面極為簡單易用。在過去,使用深度學習解決一個問題通常需要對模型進行微調,讓它學會如何完成特定任務。而且,這些模型大多數只能專精於單一任務。但LLMs憑藉著語境學習”In context learning”,可以通過文字提示解決多種問題,將以往複雜的解決方案簡化為自然語言操作

“提示工程是一個新興學科,專注於開發和優化提示,以便在各種應用和研究主題中高效利用語言模型。”

提示工程的簡便性使得其廣泛普及。你不必是數據科學家或機器學習工程師就可以使用LLMs — — 只要你能理解英文(或你選擇的語言),就能解決相對複雜的問題!然而,使用LLM解決問題的效果很大程度上依賴於提供給模型的文本提示。因此,提示工程 — 一門通過測試不同提示來優化LLM表現的實證科學 — 已變得極為流行且具有深遠影響,推動了許多技術和最佳實踐的發展。

後續主題II 提示的基本組成與技術III 提示工程的策略與技巧、IV 進階的提示技術 起始句、V 最新的研究方向

原文:https://cameronrwolfe.substack.com/p/modern-advances-in-prompt-engineering?fbclid=IwZXh0bgNhZW0CMTAAAR1GNrnIpp-u1agBOifH9IZC_8jBTjdy9JUCuDm8MH6W_ubyN_uIlV1S6LQ_aem_AbhVqYdpE2mSCX5Z4UB91PFGn_m_csq68S11rGNsj0UJd7lg7YdNdzhk_JRJGhShaVfmlc2rPRRCyhg76nURbRMZ

註解:語境學習”In context learning”是讓機器學習模型在訓練過程中,觀察和分析大量含有背景語境的數據樣本。這樣做可以讓機器學習到如何在不同的語境下識別和理解信息。簡單來說,透過這種學習方式,模型不僅學會了「看到什麼」,還學會了「為什麼看到它」,提升了對語言的理解和推理能力。這就像是讓機器通過觀察大量的實際情況,學會如何更靈活地應對各種語言上的挑戰。

--

--