Osa 4 / 5: Tekoälyn luominen, joka on todella sinun omaa

Tervetuloa takaisin! Olemme käsitelleet RAG-järjestelmiä ja olemassa olevien mallien hienosäätöä. Tänään menemme täysin DIY-tielle — rakennamme kielimallin nollasta. Nyt, ennen kuin ajattelet "se on liian monimutkaista minulle", haluan pysäyttää sinut nyt. Mitä rakennamme, ei korvaa GPT-5:ää, mutta se on täysin sinun, toimii laitteellasi ja käyttää sinun dataasi.

Miksi rakentaa oma malli?

Saatat ihmetellä: "Miksi keksiä pyörää uudelleen, kun ChatGPT on olemassa?" Tässä syy:

Täydellinen yksityisyys: Sinun datasi ei koskaan poistu tietokoneeltasi. Ei API-kutsuja, ei ulkoisia riippuvuuksia.

Nolla jatkuvia kustannuksia: Kun se on koulutettu, sen käyttäminen on ilmaista ikuisesti.

Täysi hallinta: Sinä päätät mitä se oppii, miten se käyttäytyy ja milloin se päivitetään.

Toimialavapaus: Pieni malli, joka on koulutettu sinun spesifisillä käyttötapauksilla, voi ylittää jättimäiset mallit kapeille tehtäville.

Mitä rakennamme

Näytän sinulle, kuinka luoda mukautettu kielimalli PyTorchia käyttämällä. Esimerkissämme keskitytään MyNextDeveloper-yrityksen tietoon, mutta voit mukauttaa tämän mille tahansa toimialalle — lakiasiakirjat, tekniset käsikirjat, asiakaspalvelun vastaukset, mitä vain.

Tekoälyi-työpajaasi asettaminen

Ensin valmistetaan työkalumme. Tarvitset Pythonia ja muutamia kirjastoja. Älä huoli, jos et ole koodauksen asiantuntija — selitän kaiken vaihe vaiheelta.

import torch

import torch.nn as nn

import numpy as np

import matplotlib.pyplot as plt

from collections import Counter

import re

import math

Jos käytät Google Colabia (mitä suosittelen aloittelijoille), suurin osa näistä on jo asennettu.

Vaihe 1: Tekoälyn opettaminen ymmärtämään sanoja

Ennen kuin mallamme voi oppia kieli, sen täytyy ymmärtää mitä sanat ovat. Tätä prosessia kutsutaan tokenisoinniksi — tekstin jakaminen osiin, joita tietokone voi käsitellä.

class ImprovedTokenizer:

def __init__(self):

self.vocab = {}

self.inverse_vocab = {}

def build_vocab(self, text, min_freq=1): # Convert to lowercase and split into words and punctuation text = text.lower() words = re.findall(r'w+|[.!?,:;]', text) word_counts = Counter(words) # Create vocabulary with special tokens self.vocab = {'<PAD>': 0, '<UNK>': 1, '<START>': 2, '<END>': 3} for word, count in word_counts.items(): if count >= min_freq and word not in self.vocab: self.vocab[word] = len(self.vocab) self.inverse_vocab = {v: k for k, v in self.vocab.items()} print(f"Vocabulary size: {len(self.vocab)}")

Mitä täällä tapahtuu? Luomme sanakirjan, jossa jokainen ainutlaatuinen sana saa numeron. Ajattele sitä kuin antaisit jokaiselle toimialasi sanalle henkilöllisyystodistuksen.

Vaihe 2: Koulutusdatan valmistelu

Mallimme oppii katsomalla sanasarjoja ja yrittämällä arvata mitä tulee seuraavaksi. Se on kuin opettaa jollekulle kieltä näyttämällä heille miljoonia lausefragmentteja.

class ImprovedTextDataset:

def __init__(self, text, tokenizer, seq_length=32):

self.tokenizer = tokenizer

tokens = tokenizer.encode(text)

self.data = []

# Create input-output pairs for i in range(len(tokens) - seq_length): input_seq = tokens[i:i+seq_length] target_seq = tokens[i+1:i+seq_length+1] self.data.append((input_seq, target_seq))

Tämä luo tuhansia esimerkkejä, joissa malli näkee sarjan sanoja ja oppii mitä sanan tulisi tulla seuraavaksi.

Vaihe 3: Tekoälyn aivot

Nyt tulee jännittävä osa — varsinaisen neuroverkkon rakentaminen. Käytämme Transformer-arkkitehtuuria, samaa tyyppiä, jota ChatGPT käyttää, vain pienempää.

class ImprovedTransformer(nn.Module):

def __init__(self, vocab_size, embed_dim=256, num_heads=8, num_layers=6):

super().__init__()

# Convert words to numbers the model can understand

self.token_embedding = nn.Embedding(vocab_size, embed_dim)

# Add position information so model knows word order self.pos_encoding = PositionalEncoding(embed_dim) # The transformer layers - where the magic happens encoder_layer = nn.TransformerEncoderLayer( d_model=embed_dim, nhead=num_heads, dim_feedforward=embed_dim * 4, dropout=0.1 ) self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=num_layers) # Final layer to predict next words self.head = nn.Linear(embed_dim, vocab_size)

Tämä verkko oppii kielen kuvioita käsittelemällä sanasarjoja useiden matemaattisten muunnosten kerroksien läpi.

Vaihe 4: Mallin kouluttaminen

Tässä opetamme mallillemme kaiken toimialastasi:

def train(self, document_text, epochs=80, batch_size=4, learning_rate=0.0003):

# Prepare the data

dataset = self.prepare_data(document_text)

dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True)

# Create the model self.model = ImprovedTransformer(vocab_size=self.tokenizer.vocab_size) # Set up the learning process optimizer = optim.AdamW(self.model.parameters(), lr=learning_rate) criterion = nn.CrossEntropyLoss() # Training loop for epoch in range(epochs): total_loss = 0 for inputs, targets in dataloader: # Forward pass outputs = self.model(inputs) loss = criterion(outputs.view(-1, self.tokenizer.vocab_size), targets.view(-1)) # Backward pass optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() if epoch % 10 == 0: print(f"Epoch {epoch}, Loss: {total_loss/len(dataloader):.4f}")

Koulutusprosessi on kuin näyttäminen mallille tuhansia esimerkkejä ja antaminen sille mahdollisuus parantaa asteittain arvaamiskykyään.

Vaihe 5: Kaiken yhdistäminen

Koulutetaan mallia MyNextDeveloper-yritystiedoista:

# knowledge base

mnd_corpus = """

MyNextDeveloper (MND) is a remote-first tech company founded in 2022 in Mumbai.

They focus on supplying pre-vetted, highly skilled developers to startups.

Their mission is to solve the trust gap between startups and engineers by

emphasizing empathy, communication, and transparency.The company promotes agile practices, test-driven development, and

POSH-compliant culture. MND offers services like staff augmentation,

API and web development, UI/UX design, and AI/ML solutions.

"""

# Create and train the model

llm = ImprovedTopicLLM()

llm.train(mnd_corpus, epochs=80, batch_size=4, learning_rate=0.0003)

Vaihe 6: Luomuksesi testaaminen

Kun koulutus on valmis, voit keskustella mukautetun tekoälysi kanssa:

# Test different prompts

prompts = [

"What is MyNextDeveloper known for?",

"Where is MyNextDeveloper headquartered?",

"What technologies do they use?",

"How do they ensure trust?"

]

for prompt in prompts: response = llm.generate(prompt, max_length=30) print(f"Question: {prompt}") print(f"Answer: {response}")

Google Colab

Google Colab -linkki tälle artikkelille on täällä ja sitä voi ajaa yhdellä napsautuksella: linkki

Odotuksien hallinta

Olkaamme rehellisiä siitä, mitä saat. Mukautettu mallisi tulee:

✅ Edut:

Olla täysin yksityinen ja turvallinen
Toimia ilman internetyhteyttä
Maksaa mitään koulutuksen jälkeen
Olla täydellisesti räätälöity toimialallesi
Tuottaa vastauksia välittömästi

❌ Rajoitukset:

Ei ole yleistä maailmantietoa
Saattaa tuottaa toistavia vastauksia
Vaatii laadukkaita koulutusdatoja
Vie aikaa ja vaivaa kouluttaa kunnolla
Ei vastaa GPT-4:n monipuolisuutta

Todellisen maailman sovellukset

Tässä käytännön käyttötapauksia mukautetuille malleille:

Asiakaspalvelu: Kouluta FAQ- ja tukipyynnöillä välittömiin, johdonmukaisiin vastauksiin.

Tekninen dokumentaatio: Luo malli, joka voi vastata kysymyksiin sinun spesifisistä ohjelmistosta tai prosesseista.

Sisällön luominen: Luo tuotekuvauksia, sähköpostimalleja tai sosiaalisen median viestejä omalla brändin äänellä.

Oikeus/Vaatimustenmukaisuus: Kouluta alasi säännöksillä nopeiden käytäntöhakujen saamiseksi.

Koulutusvinkkejä, jotka todella toimivat

1. Laatu ennen määrää: 1 000 hyvin kirjoitettua esimerkkiä voittaa 10 000 satunnaista.

2. Ole johdonmukainen: Jos koulutusdatasi on epäjohdonmukaista, mallisi on myös.

3. Aloita pienestä: Aloita keskittyneestä toimialasta sen sijaan, että yrität kattaa kaiken.

4. Testaa aikaisin ja usein: Luo vastauksia koko koulutuksen ajan, jotta voit havaita ongelmia ajoissa.

5. Tallenna mallit: Tallenna aina koulutetut mallit, jotta sinun ei tarvitse kouluttaa uudelleen alusta.

Mukautettujen mallien taloustiede

Puhumme kustannuksista:

Koulutus: Jos käytät pilvi-GPU:ita, odota 5–20 dollaria pienelle mallille.

Käyttö: Täysin ilmaista koulutuksen jälkeen.

Aikainvestointi: Kestää rakentamisen, sitten enimmäkseen automatisoitu

Ylläpito: Voi päivittää kun tietopohjasi muuttuu

Vertaa tätä API-kustannuksiin: jos teet tuhansia kyselyitä kuukaudessa, mukautettu malli maksaa itselleen nopeasti.

Mitä voi mennä pieleen?

Yliostuminen: Malli muistaa koulutusdatasi, mutta ei voi yleistää. Ratkaisu: Käytä enemmän monipuolisia esimerkkejä ja lyhyempää koulutusta.

Aliostuminen: Malli ei oppi tarpeeksi. Ratkaisu: Kouluta pidempään tai käytä enemmän dataa.

Toistavat vastaukset: Malli juuttuu silmukoihin. Ratkaisu: Säädä lämpötila- ja top-k-parametreja tuotannon aikana.

Huono datan laatu: Roskat sisään, roskat ulos. Ratkaisu: Vieta aikaa koulutusjäsentekstisi puhdistamiseen ja parantamiseen.

Skaalaantuminen

Kun sinulla on toimiva malli, saatat haluta:

Kouluttaa suurempia malleja, joissa on enemmän parametreja
Yhdistää useita malleja eri toimialoille
Ottaa käyttöön kehittyneempiä tuotannon tekniikoita
Rakentaa yksinkertaisen verkkokäyttöliittymän muille käyttäjille

Tulevaisuuteen katsominen

Olemme rakentaneet kielimallin nollasta — jotain, mikä näytti mahdottomalta vain muutama vuosi sitten. Lopullisessa artikkelissa näytän sinulle, kuinka yhdistää tekoälytyökaluisi todelliseen maailmaan käyttämällä Model Context Protocol (MCP), muuttamalla ne eristettyjen järjestelmien sijasta tehokkaaksi, yhdistetyiksi avustajiksi.

Mukautetut kielimallit eivät ole enää vain tekniikan jättiläisten omistuksessa. Oikealla lähestymistavalla mikä tahansa yritys voi luoda tekoälyä, joka todella ymmärtää heidän toimialaansa ja puhuu heidän kieltään. Se ei ehkä ole GPT, mutta se on sinun omaa, ja joskus se on täsmälleen se, mitä tarvitset.

Tulossa: Artikkeli 5 — "Tekoälyn yhdistäminen maailmaan: MCP toiminnassa"