Snabb ingenjörskonst
Snabb ingenjörskonst är ett begrepp inom artificiell intelligens , särskilt naturlig språkbehandling (NLP). I prompt engineering är beskrivningen av uppgiften inbäddad i inmatningen, t.ex. som en fråga istället för att den ges implicit. Prompt engineering fungerar vanligtvis genom att konvertera en eller flera uppgifter till en promptbaserad datauppsättning och träna en språkmodell med vad som har kallats "prompt-based learning" eller bara "prompt learning". Snabbteknik kan fungera utifrån en stor "fryst" förtränad språkmodell och där endast representationen av prompten lärs in (dvs. optimeras), med metoder som "prefix-tuning" eller "prompt tuning".
Språkmodellerna GPT-2 och GPT-3 var viktiga steg i snabb konstruktion. År 2021 visade multitask prompt-teknik med flera NLP-datauppsättningar bra prestanda för nya uppgifter. Uppmaningar som inkluderar en tankekedja i få-shot lärande exempel visar bättre indikation på resonemang i språkmodeller. I noll-shot-inlärning kan det förbättra prestandan hos en språkmodell i flerstegsresonemangsproblem genom att lägga text framför prompten som uppmuntrar en tankekedja (t.ex. "Låt oss tänka steg för steg"). Den breda tillgängligheten för dessa verktyg drevs av publiceringen av flera anteckningsböcker med öppen källkod och samhällsledda projekt för bildsyntes.
En beskrivning för hantering av meddelanden rapporterade att över 2 000 offentliga meddelanden för cirka 170 datauppsättningar var tillgängliga i februari 2022.
2022 släpptes maskininlärningsmodeller som DALL-E 2 , Stable Diffusion och Midjourney till allmänheten. Dessa modeller tar textuppmaningar som indata och använder dem för att generera bilder, vilket introducerade en ny kategori av promptteknik relaterad till text-till-bild- uppmaningar.
Illvillig
Snabbinjektion är en familj av relaterade datasäkerhetsexploater som utförs genom att få maskininlärningsmodeller (som en stor språkmodell) som tränats i att följa mänskliga givna instruktioner för att följa instruktioner från en illvillig användare, vilket står i kontrast till den avsedda operationen av instruktionsföljande system, varvid ML-modellen endast är avsedd att följa pålitliga instruktioner (prompter) tillhandahållna av ML-modellens operatör.
Snabbinjektion kan ses som en kodinjektionsattack med hjälp av kontradiktorisk promptteknik. 2022 NCC-koncernen karakteriserat prompt injektion som en ny klass av sårbarhet för AI/ML-system.
Runt 2023 sågs en snabb injektion "i det vilda" i mindre utnyttjande av ChatGPT , Bing och liknande chatbots, till exempel för att avslöja systemens dolda initiala uppmaningar eller för att lura chatboten att delta i konversationer som bryter mot chatbotens innehållspolicy .
- ^ Alec Radford; Jeffrey Wu; Återvunnet barn; David Luan; Dario Amodi; Ilya Sutskever (2019), Language Models are Unsupervised Multitask Learners (PDF) , Wikidata Q95726769
- ^ Pengfei Liu; Weizhe Yuan; Jinlan Fu; Zhengbao Jiang; Hiroaki Hayashi; Graham Neubig (28 juli 2021), Pre-train, prompt och predict: A Systematic Survey of Prompting Methods in Natural Language Processing ( PDF) , arXiv : 2107.13586 , Wikidata Q109286554
- ^ Xiang Lisa Li; Percy Liang (augusti 2021). "Prefix-Tuning: Optimizing Continuous Prompts for Generation" (PDF) . Handlingar från det 59:e årsmötet för Association for Computational Linguistics och den 11:e internationella gemensamma konferensen om naturlig språkbehandling (Volume 1: Long Papers): 4582–4597. doi : 10.18653/V1/2021.ACL-LONG.353 . Wikidata Q110887424 .
- ^ Brian Lester; Rami Al-Rfou; Noah Constant (november 2021). "Skalans kraft för parametereffektiv snabbjustering" ( PDF) . Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing : 3045–3059. arXiv : 2104.08691 . doi : 10.18653/V1/2021.EMNLP-MAIN.243 . Wikidata Q110887400 .
- ^ Tom Brown; Benjamin Mann; Nick Ryder; et al. (28 maj 2020). "Språkmodeller är fåskjutna elever" (PDF) . arXiv . Framsteg inom neurala informationsbehandlingssystem. arXiv : 2005.14165 . doi : 10.48550/ARXIV.2005.14165 . ISSN 2331-8422 . S2CID 218971783 . Wikidata Q95727440 .
- ^ Victor Sanh; Albert Webson; Colin Raffel; et al. (15 oktober 2021), Multitask-uppmanad utbildning möjliggör Zero-Shot Task Generalization (PDF) , arXiv : 2110.08207 , Wikidata Q108941092
- ^ Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Ed Chi; Quoc Viet Le ; Denny Zhou (28 januari 2022), Chain of Thought Prompting Elicits Reasoning in Large Language Models (PDF) , arXiv : 2201.11903 , doi : 10.48550/ARXIV.2201.11903 , Wikidata Q11091111
- ^ Takeshi Kojima; Shixiang Shane Gu; Machel Reid; Yutaka Matsuo; Yusuke Iwasawa (24 maj 2022), Large Language Models are Zero-Shot Reasoners (PDF) , arXiv : 2205.11916 , doi : 10.48550/ARXIV.2205.11916 , Wikidata Q1121248
- ^ Liu, Vivian; Chilton, Lydia. "Designriktlinjer för snabba tekniska text-till-bild-generativa modeller" . ACM Digital Library . Föreningen för Datormaskiner . Hämtad 26 oktober 2022 .
- ^ Stephen H. Bach; Victor Sanh; Zheng-Xin Yong; et al. (2 februari 2022), PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts (PDF) , arXiv : 2202.01279 , Wikidata Q110839490
- ^ Monge, Jim Clyde (2022-08-25). "Dall-E2 VS stabil spridning: samma prompt, olika resultat" . MLearning.ai . Hämtad 2022-08-31 .
- ^ Willison, Simon (12 september 2022). "Snabba injektionsattacker mot GPT-3" . simonwillison.net . Hämtad 2023-02-09 .
- ^ Papp, Donald (2022-09-17). "Vad som är gammalt är nytt igen: GPT-3 Prompt Injection Attack påverkar AI" . Hackaday . Hämtad 2023-02-09 .
- ^ Vigliarolo, Brandon (19 september 2022). "GPT-3 'snabb injektion' attack orsakar bot dåligt uppförande" . www.theregister.com . Hämtad 2023-02-09 .
- ^ Selvi, Jose (2022-12-05). "Utforska snabba injektionsattacker" . NCC Group Research . Hämtad 2023-02-09 .
- ^ Edwards, Benj (14 februari 2023). "AI-driven Bing Chat tappar förståndet när den matas med Ars Technica-artikeln" . Ars Technica . Hämtad 16 februari 2023 .
- ^ "Det smarta tricket som gör ChatGPT till sin onda tvilling" . Washington Post . 2023 . Hämtad 16 februari 2023 .
