Guldruschen inom Generativ AI övergår till en era av effektivitet. I början av 2023 ville de flesta tech-startups bara få en prompt att fungera. Nu när vi använder dessa Generativ AI-applikationer med tusentals användare har samtalet förändrats från "Kan Generativ AI göra det här?" till "Hur mycket kostar Generativ AI per förfrågan?"
Kostnaden för att använda en Generativ AI-modell, vilket är det pris som betalas till en leverantör som OpenAI, Anthropic, eller Google för varje genererad token, kan bli ett stort problem för startups. Det kan vara dyrare än hosting. Om dina kostnader inte är rimliga är din Generativ AI-funktion inte en produkt; det är en skuld.
Vi tror att inferenskostnader är mycket viktiga för AI-ingenjörer under 2024. Genom att använda en strategi med lagvisa optimeringar har vi sett team minska sina utgifter med upp till 80% utan att förlora utdatakvaliteten. Här är en plan för att bemästra dina Generativ AI-marginaler.
1. Strategi för routing av flera modeller
Startups gör ofta misstaget att använda en Generativ AI-modell för varje uppgift. Att använda GPT-4 eller Claude för allt är som att anställa en doktor för att svara på en kundsupportfråga. Detta är inte en effektiv användning av Generativ AI.
För att spara kostnader måste du kategorisera dina uppgifter efter komplexitet. Vi rekommenderar en arkitektur med tre nivåer:
- Nivå 1: Komplexa uppgifter som resonemang, flersteglogik och kreativ skrivning. Använd avancerade Generativ AI-modeller här.
- Nivå 2: Uppgifter med medelhög komplexitet som sammanfattning, extrahering eller sentimentanalys. Använd modeller som Flash eller Haiku.
- Nivå 3: Uppgifter som klassificering, formatering eller datarengöring. Använd små eller öppen källkod-modeller som Llama 3.
Med hjälp av en modellrouter kan din applikation välja lämplig modell baserat på användarens avsikt. Att skicka 60% av din trafik till mindre modeller kan reducera din räkning med hälften.
2. Konsten att trimma och komprimera prompter
Tokens är vad du betalar för när du använder stora språkmodeller. Du spenderar troligen för mycket på onödiga ord. Långa prompts och upprepade kontextfönster kan öka kostnaderna. Dessa modeller behöver inte så mycket text för att förstå din avsikt.
Undvik överdriven ordrik i prompts, eftersom många utvecklare inkluderar långa exempel. Även om de är effektiva ökar de också kostnaderna. Vi föreslår att du finjusterar modeller för specifika uppgifter. Genom att träna på några hundra exempel kan du ofta ta bort långa instruktioner, vilket reducerar inmatningstoken med upp till 70%.
Använd kontextcachning om din applikation upprepade gånger skickar samma kontext. Detta gör att leverantören kan återanvända bearbetade tokens till ett lägre pris, vilket hjälper till att minska kostnaderna.
3. Optimering av RAG: Kvalitet före kvantitet
RAG är standarden för att bygga AI på data, men det implementeras ofta ineffektivt. De flesta system hämtar för mycket data, vilket ökar kostnaderna.
För att minska kostnaderna fokuserar du på omrangering:
- Hämta potentiella dokumentavsnitt med sökning. Detta är ett kostnadseffektivt sätt att hitta relevant data.
- Använd en modell för att identifiera de mest relevanta avsnitten.
- Skicka bara dessa valda avsnitt till den stora språkmodellen.
Denna metod säkerställer att du inte betalar för att modellen bearbetar onödig data. Cachning kan också hjälpa till att kringgå modellen för upprepade frågor.
4. Kontroll av utdataktoken
Inmatningstoken är relativt billiga. Utdataktoken är dyra. Stora språkmodeller kan vara alltför utsvävande, vilket lägger till onödiga ord som ökar kostnaderna.
Du kan kontrollera detta genom utdataoptimering:
- Ställ in en gräns för antalet tokens som modellen kan generera.
- Använd JSON-läge och scheman för att tillämpa strukturerad utdata.
- Använd stoppsekvenser för att sluta genereringen när den nödvändiga informationen är tillgänglig.
5. Skiftet till öppen källkod och själv hosting
För växande startups kan en API-först-metod bli dyr. I stor skala kan hosting av dina egna modeller vara mer kostnadseffektivt än att betala per token.
Att distribuera modeller som Llama 3 eller Mistral på din egen infrastruktur möjliggör:
- Kostnadskontroll: Du betalar för hårdvara istället för tokens, vilket gör utgifterna förutsägbara.
- Kvantisering: Kör effektiva modeller på begränsad hårdvara utan större noggrannhetsförlust.
Nästa värdeutbyte
I AI-startuplandskapet blir vinnarna de med starka marginaler. Att minska inferenskostnader med 80% handlar inte bara om att spara pengar; det ger dig flexibilitet att experimentera, sänka priser och förbliva konkurrenskraftig.
Generativ AI är kraftfull, men det kan vara dyrt. Genom att optimera dina marginaler gör du den både effektiv och skalbar.
Vi rekommenderar att du börjar med en token-granskning. Identifiera var dina tokens spenderas och börja optimera. Målet är att göra din AI lika effektiv som den är intelligent. Det tar ansträngning, men resultaten är värda det.
Letar du efter att bygga ett högpresterande fjärrteknölag?
Kolla in MyNextDeveloper, en plattform där du kan hitta de bästa 3% av mjukvaruingenjörer som är djupt passionerade om innovation. Våra on-demand, dedikerade och grundliga lösningar för mjukvarutalang ger en omfattande lösning för alla dina mjukvarubehov.
Besök vår webbplats för att utforska hur vi kan hjälpa dig att sätta samman ditt perfekta team.
