Kako dodati AI u vas postojeci softverski proizvod

Vec imate proizvod. Korisnici se oslanjaju na njega. Prihod tece kroz njega. Sada je pitanje moze li ga AI uciniti boljim i kako ga dodati bez razbijanja onoga sto vec funkcionira.

Ovaj vodic govori o integraciji AI-ja u postojeci softver. Ne o izgradnji AI startupa od nule. Ne o zamjeni vaseg proizvoda chatbotom. Samo o tome da vas trenutni proizvod bude pametniji na mjestima gdje je to vazno.

Zasto dodati AI u postojeci proizvod?

Poceti od onoga sto imate je ogromna prednost. Vec poznajete svoje korisnike, svoje radne procese i svoje podatke. Taj kontekst je upravo ono sto cini AI integracije ucinkovitima.

Izgradnja novog AI-first proizvoda znaci nagadanje o uskladenosti proizvoda s trzistem. Dodavanje AI-ja u postojeci proizvod znaci rjesavanje problema koje vec razumijete.

Najjace AI funkcionalnosti u produkciji danas su poboljsanja uspostavljenih proizvoda:

• Gmailov Smart Compose. Email proizvod je postojao 15 godina prije nego sto je AI funkcionalnost stigla.
• Notionovi AI sazeci. Alat za dokumente je vec imao sadrzaj. AI ga je ucinio korisnijim.
• Shopifyjevi opisi proizvoda. Trgovci su vec imali trgovine. AI je smanjio trenje pri njihovom popunjavanju.

Nijedan od ovih nije AI proizvod. To su proizvodi s AI funkcionalnostima. Ta razlika je vazna.

Identificiranje AI slucajeva koristenja visoke vrijednosti

Ne profitira svaka funkcionalnost od AI-ja. Najbolji kandidati dijele obrazac: ukljucuju ponavljajuci kognitivni rad koji slijedi slobodna pravila, ali nije cisto mehanicki.

Obrada dokumenata

Ako vasi korisnici ucitavaju dokumente, fakture, ugovore ili obrasce, AI moze iz njih izdvojiti strukturirane podatke. Ovo je nekad zahtijevalo krute predloske i OCR pipeline. Moderni LLM-ovi iznenadujuce dobro rukuju neurednim, nedosljednim dokumentima.

Pretraga i otkrivanje

Tradicionalna pretraga po kljucnim rijecima ne funkcionira kada korisnici ne znaju tocne pojmove. Semanticka pretraga pogonjenja AI-jem razumije namjeru. Korisnik koji trazi “kasne isporuke proslog kvartala” moze pronaci rezultate cak i ako nijedan dokument ne sadrzi tu tocnu frazu.

Preporuke

Ako vas proizvod ima katalog (proizvodi, sadrzaj, tecajevi, bilo sto), AI moze uskladiti korisnike s relevantnim stavkama na temelju ponasanja, preferencija i konteksta. Ovo ne zahtijeva ogroman skup podataka. Cak i jednostavna slicnost temeljena na embeddingima moze nadmasiti preporuke temeljene na pravilima.

Automatizacija radnih procesa

Zadaci poput kategoriziranja tiketa podrske, usmjeravanja zahtjeva, izrade odgovora ili oznacavanja anomalija savrseni su za AI. Zahtijevaju prosudbu, ali ne duboku ekspertizu. Dobro promptani LLM ih obrdduje s 80-90% tocnosti, sto je cesto dovoljno dobro da ustedi sate rucnog rada.

Korisniacka podrska

AI-potpomognuta podrska ne znaci zamjenu vaseg tima chatbotom. Znaci izradu prijedloga odgovora, surfanje relevantnih clanaka baze znanja, sazimanje povijesti razgovora i rjesavanje ponavljajucih pitanja prve razine kako bi se vas tim mogao fokusirati na slozene probleme.

Pristupi integraciji

Postoje tri glavna nacina za dodavanje AI mogucnosti vasem proizvodu. Svaki dolazi s razlicitim kompromisima.

Temeljeno na API-ju (OpenAI, Anthropic, Google)

Saljete zahtjeve hostiranom modelu i dobivate odgovore natrag. Ovo je najbrzi nacin za isporuku AI funkcionalnosti.

Prednosti:

• Nema infrastrukture za upravljanje
• Pristup najsposobnijim modelima
• Placanje po koristenju, bez pocetne investicije
• Nove verzije modela odmah dostupne

Nedostaci:

• Podaci napustaju vasu infrastrukturu
• Latencija ovisi o pruzatelju (obicno 500ms do 5s)
• Troskovi se skaliraju s koristenjem
• Ovisite o trecoj strani za vrijeme rada

Najbolje za: vecinu timova koji pocnu, funkcionalnosti gdje je latencija od 1-3 sekunde prihvatljiva i radne zadatke koji ne ukljucuju visoko osjetljive podatke.

Samostalno hostirani modeli

Pokreecete open-source modele (Llama, Mistral, Phi) na vlastitoj infrastrukturi. Ovo vam daje potpunu kontrolu nad podacima i latencijom.

Prednosti:

• Podaci nikad ne napusstaju vasu mrezu
• Predvidljivi troskovi na skali
• Niza latencija ako je vas hardver blizu vasih korisnika
• Potpuna kontrola nad ponasanjem modela

Nedostaci:

• Zahtijeva GPU infrastrukturu (skupo za postavljanje)
• Vi upravljate azuriranjima, skaliranjem i pouzdanoscu
• Open-source modeli su manje sposobni od vrhunskih komercijalnih modela
• Treba ML inzenjersku ekspertizu

Najbolje za: proizvode koji rukuju osjetljivim podacima (zdravstvo, pravo, financije), radne zadatke vrlo velikog volumena i timove s iskustvom u ML infrastrukturi.

Hibridno

Koristite komercijalne API-je za vecinu funkcionalnosti. Pokrecite samostalno hostirane modele za zadatke koji ukljucuju osjetljive podatke ili zahtijevaju vrlo nisku latenciju. Ovdje vecina zrelih integracija zavrsi.

Prakticni plan implementacije

Korak 1: Revidirajte svoj trenutni proizvod

Mapirajte svaki korisnicki radni proces u vasem proizvodu. Za svaki, pitajte:

• Postoji li ponavljajuci kognitivni rad?
• Kopiraju li korisnici i lijepe izmedu sustava?
• Postoje li odluke koje slijede obrasce, ali nisu u potpunosti temeljene na pravilima?
• Gdje korisnici trose najvise vremena na zadatke niske vrijednosti?

Korak 2: Identificirajte top 3 prilike

Rangirajte prilike prema dva faktora: utjecaj na korisnika i izvedivost implementacije. Pocnite s funkcionalnoscu koja ima najbolji rezultat na oba.

Izbjegavajte iskuisenje da izgradite AI asistenta opce namjene. Odaberite specifican, uzan slucaj koristenja u kojem mozete jasno mjeriti uspjeh.

Korak 3: Napravite prototip

Izgradite najjednostavniju mogucu verziju. Za LLM funkcionalnost, to cesto znaci:

1. Napisite prompt.
2. Pozovite API.
3. Prikazite rezultat.

Prototip bi trebao trajati dane, ne tjedne. Najprije ga koristite interno. Cilj je nauciti je li AI rezultat koristan, ne izgraditi produkcijski sustav.

Korak 4: Validirajte sa stvarnim korisnicima

Stavite prototip pred 5-10 stvarnih korisnika. Gledajte ih kako ga koriste. Pitajte:

• Je li im AI rezultat ustedeo vrijeme?
• Koliko je cesto rezultat bio pogresan ili nekoristan?
• Bi li koristili ovu funkcionalnost redovito?

Ako su odgovori ohrabrujuci, krenite u produkciju. Ako ne, iterirajte na promptu, slucaju koristenja ili oboje.

Korak 5: Produkcija

Ucvrstite funkcionalnost za produkcijsku uporabu. To znaci dodavanje obrade pogresaka, rezervnih rjesenja, ogranicenja brzine, kontrole troskova, nadzora i mehanizama povratnih informacija korisnika.

Tehnicka razmatranja

Latencija

LLM API pozivi su spori u usporedbi s upitima baze podataka. Tipican odgovor traje 1-3 sekunde. Za streamane odgovore (poput ispisivanja teksta), vrijeme do prvog tokena je obicno 200-500ms.

Dizajnirajte svoje korisnicko iskustvo oko ovoga. Pokazujte stanja ucitavanja. Koristite streaming gdje je moguce. Ne blokirajte kriticne korisnicke putove AI odgovorima.

Trosak po zahtjevu

API cijene se temelje na tokenima (otprilike 4 znaka po tokenu). Tipican par zahtjev-odgovor moze kostati:

• Jednostavna klasifikacija ili izdvajanje: 0,001 do 0,01 EUR
• Duze generiranje teksta: 0,01 do 0,05 EUR
• Slozeno razmisljanje s velikim kontekstom: 0,05 do 0,50 EUR

S 10.000 zahtjeva dnevno, cak se i jeftinije operacije zbrajaju. Nadzirite troskove od prvog dana.

Obrada pogresaka i rezervna rjesenja

AI rezultati su probabilisticki. Ponekad ce biti pogresni, irelevantni ili neispravno formatirani. Vas sustav to mora gracrozno obraditi.

• Uvijek validirajte AI rezultat prije djelovanja po njemu.
• Osigurajte rucno rezervno rjesenje. Ako AI ne moze kategorizirati tiket, neka to ucini korisnik.
• Postavite pragove pouzdanosti. Samo automatski primjenjujte AI odluke iznad odredene razine pouzdanosti.
• Zapisujte sve. Trebate podatke za poboljsanje promptova i hvatanje regresija.

Streaming odgovora

Za korisnicko generiranje teksta, streamajte odgovor token po token. Ovo dramaticno poboljsava percipiranu izvedbu. Umjesto cekanja 3 sekunde za potpun odgovor, korisnik vidi tekst koji se odmah pojavljuje.

Privatnost podataka i sigurnost

Ako poslujete u Europi ili sluzite europske korisnike, GDPR se primjenjuje i na vase AI funkcionalnosti.

Kljucne brige

• Podaci poslani AI API-jima. Kada saljete korisnicke podatke OpenAI-ju ili Anthropicu, prenosite podatke obradivuacu trece strane. Trebate Ugovor o obradi podataka (DPA).
• Zadrzavanje podataka. Provjerite zadrzava li pruzatelj API-ja vase ulaze za obuku. Vecina pruzatelja nudi opciju iskljucivanja, ali je trebate omoguciti.
• Pristanak korisnika. Ako AI funkcionalnosti obraduju osobne podatke na nove nacine, vasa politika privatnosti to treba odrazavati. U nekim slucajevima trebate eksplicitan pristanak korisnika.
• Rezidentnost podataka. Neke industrije i propisi zahtijevaju da podaci ostanu unutar EU. Provjerite nudi li vas AI pruzatelj endpointe smjestene u EU.

Prakticni koraci

1. Pregledajte DPA vaseg AI pruzatelja.
2. Omogucite iskljucivanje podataka iz obuke (i OpenAI i Anthropic ovo podrzavaju).
3. Minimizirajte osobne podatke koje saljete. Uklonite imena, emailove i ID-jeve prije slanja teksta API-ju ako nisu potrebni za zadatak.
4. Azurirajte svoju politiku privatnosti da spominje AI obradu.
5. Razmotrite alternative hostirane u EU ili samostalno hostirane modele za osjetljive radne zadatke.

Struktura troskova AI API-ja

Razumijevanje cijena pomaze vam procijeniti troskove prije izgradnje.

Razina modela	Ulazni trosak (po 1M tokena)	Izlazni trosak (po 1M tokena)	Najbolje za
Mali (GPT-4o mini, Claude Haiku)	~0,25 EUR	~1,00 EUR	Klasifikacija, izdvajanje, jednostavni zadaci
Srednji (GPT-4o, Claude Sonnet)	~2,50 EUR	~10,00 EUR	Funkcionalnosti opce namjene
Veliki (Claude Opus, o1)	~15,00 EUR	~60,00 EUR	Slozeno razmisljanje, odluke visokog uloga

Pocnite s najmanjim modelom koji proizvodi prihvatljive rezultate. Uvijek mozete nadograditi kasnije. Mnogi zadaci koji se cine kao da trebaju veliki model dobro funkcioniraju s malim nakon optimizacije prompta.

Uobicajene pogreske

Pokusaj primjene AI-ja na sve

Najcesca pogreska je dodavanje AI-ja svakoj funkcionalnosti jer to mozete. AI treba rjesavati specificne probleme. Ako jednostavni padajuci izbornik ili filter pretrage dobro funkcionira, ostavite ga na miru.

Ignoriranje rubnih slucajeva

AI dobro funkcionira u prosjeku, ali moze spektakularno zakazati na neobicnim ulazima. Funkcionalnost izdvajanja iz dokumenata koja radi na 95% faktura proizvest ce pouzdano pogresne podatke na ostalih 5%. Planirajte za ovo.

Nema rezervnog puta

Ako vasa AI funkcionalnost prestane raditi (a hoce, jer vanjski API-ji imaju ispade), korisnici bi i dalje trebali moci dovrsiti svoj zadatak rucno. Nikada ne cinite AI jedinim putem.

Preskakanje evaluacije

Bez mjerenja tocnosti, letite naslijepo. Postavite pipeline evaluacije rano. Pratite koliko cesto korisnici prihvacaju, uredjuju ili odbijaju AI prijedloge. Ti podaci su vas plan za poboljsanje.

Podcjenjivanje prompt inzenjeringa

Razlika izmedu osrednje i izvrsne AI funkcionalnosti cesto je samo prompt. Investirajte vrijeme u pisanje jasnih, specificnih promptova s primjerima. Testirajte ih na raznolikim ulazima. Kontrolirajte verzije vasih promptova kao kod.

Primjer koda: jednostavna LLM integracija

Evo prakticnog primjera integracije LLM-a za kategoriziranje dolaznih tiketa podrske u Node.js backendu.

import Anthropic from "@anthropic-ai/sdk";

const client = new Anthropic({ apiKey: process.env.ANTHROPIC_API_KEY });

interface TicketClassification {
  category: string;
  priority: "low" | "medium" | "high";
  suggestedAction: string;
}

async function classifyTicket(
  ticketText: string
): Promise<TicketClassification> {
  const response = await client.messages.create({
    model: "claude-sonnet-4-20250514",
    max_tokens: 256,
    messages: [
      {
        role: "user",
        content: `Classify this support ticket. Return JSON only.

Categories: billing, technical, account, feature_request, other
Priority: low, medium, high

Ticket: "${ticketText}"

Respond with this exact JSON format:
{"category": "...", "priority": "...", "suggestedAction": "..."}`,
      },
    ],
  });

  const text =
    response.content[0].type === "text" ? response.content[0].text : "";

  try {
    return JSON.parse(text) as TicketClassification;
  } catch {
    // Fallback when the model returns invalid JSON
    return {
      category: "other",
      priority: "medium",
      suggestedAction: "Route to support team for manual review",
    };
  }
}

Primijetite rezervno rjesenje. Ako model vrati nesto sto se ne moze parsirati, sustav ne pada. Vracea se na sigurnu zadanu vrijednost i pusta covjeka da to rijesi.

U produkciji biste dodali:

• Ogranicenje brzine za kontrolu troskova.
• Kesiranje odgovora za identicne ili slicne tikete.
• Zapisivanje svakog zahtjeva, odgovora i parsiranog rezultata.
• Petlju povratnih informacija gdje agenti mogu ispraviti klasifikaciju, generirajuci podatke za obuku za buduca poboljsanja.

Gdje poceti

Odaberite jednu funkcionalnost. Onu gdje korisnici gube najvise vremena na ponavljajuci rad. Napravite prototip za tjedan dana. Izmjerite pomaze li. Zatim odlucite zelite li ici dalje.

AI integracija nije odluka sve ili nista. To je niz malih, mjerljivih oklada. Timovi koji uspijevaju su oni koji pocnu malo, mjere sve i sire samo ono sto funkcionira.

---

Zelite dodati AI mogucnosti vasem postojecem proizvodu? Razgovarajmo o vasem slucaju koristenja. Pomazemo timovima integrirati AI tamo gdje stvara pravu vrijednost, ne tamo gdje stvara demo prezentacije.