Human-in-the-Loop 2.0: Tehokkaille arviointijärjestelmien suunnittelu autonomisille agenteille

Tekoäly lupasi tekevän kaiken puolestamme — meidän tulisi vain asettaa se. Itsenäiset agentit hallinnoisivat asiakastukea ja monimutkaista toimitusketjun logistiikkaa. Nyt tiedämme, että täydellinen automatisointi ei ole vielä mahdollista. Ongelma ei ole siinä, että tekoäly ei olisi riittävän kykenevä. Ongelma on, että rajapinta tekoälyjärjestelmien ja ihmisten välillä ei ole riittävän hyvä.

Siirrymme pois vanhasta paradigmasta, jota kutsutaan Human-in-the-Loop 1.0:ksi, jossa ihmiset merkitsivät tietoja manuaalisesti tai havaitsivat virheet. Nyt astumme uuteen aikakauteen nimeltään Human-in-the-Loop 2.0, jossa keskitytään todelliseen yhteistyöhön itsenäisten agenttien kanssa. Teknologian startup-yrityksille tehokkaan tarkistamistoiminnon rakentaminen on kriittistä — se ei ole vain turvaominaisuus, vaan myös välttämätöntä yrityksen menestykselle.

Miksi tekoälyn onnistuminen vaatii nyt paremman ihmisvalvonnan

Aiemmin human-in-the-loop tarkoitti tietojen merkitsemistä. Ihmiset viettävät tunteja piirtäen ruutuja pysäkkimerkkien ympärille tai merkitsemällä mielipidettä twiiteissä. Nyt itsenäiset agentit suorittavat paljon monimutkaisempia, monivaiheisia tehtäviä. Ihmiset eivät enää vain opeta mallia, miltä "kissa" näyttää; he tarkastelevat itsenäisten agenttien päättelyä ja toimintoja, jotka toimivat todellisessa maailmassa.

Itsenäinen agentti saattaa selata verkkoa, käyttää tietokantaa ja luonnostella sähköpostia yhdessä järjestyksessä. Yksinkertainen peukalon ylös-peukalon alas -rajapinta ei riitä. Tehokkaat tarkistamistoiminnot on tarjottava kontekstissa, jäljitettävyydellä ja väliintulokohteilla — ilman että agenttien vauhtia häiritään.

HITL 2.0:n kolme suunnittelun pilaria

Tehokkaan tarkistamistoiminnon rakentamiseksi meidän on keskityttävä kolmeen suunnittelun pilariin: Kontrollin jäsenöityneisyyteen, kontekstiseen läpinäkyvyyteen ja asynkroniseen vuorovaikutukseen.

1. Kontrollin jäsenöityneisyys: "Jarru" ja "ohjauspyörä"

Itsenäinen agentti ei saa toimia valvomatta epäonnistumiseen asti. Meidän on suunniteltava järjestelmät, jotka kalibroivat autonomian tasoja kunkin tehtävän riskiprofiilin perusteella:

• Edeltävä hyväksyntä: Korkean riskin toimille agentti on pysäytettävä ja odotettava selkeää hyväksyntää.
• Jälkikäteinen tarkistaminen: Matalan riskin toimille agentti etenee, mutta merkitsee toiminnon myöhempää tarkastusta varten.
• Kesken oleva väliintulo: Tämä on vaikeinta suunnitella, mutta se on myös arvokkain mahdollisuus. Se mahdollistaa ihmisen astuvan käynnissä olevaan prosessiin ja korjata alivaihe ennen kuin koko tehtävä menee pieleen.

2. Läpinäkyvyys ("miksi" "mitän" takana)

Suurin haaste ihmisen tarkistuksessa on niin sanottu "kylmän käynnistyksen" ongelma. Jos itsenäinen agentti esittää ihmiselle valmiin raportin ja pyytää hyväksyntää, tarkistajan on luettava koko asiakirja virheiden löytämiseksi — mikä on tehottomaa.

Tehokkaat HITL 2.0 -järjestelmät käyttävät jäljitettävyyskarttoja, jotka esittävät paitsi tuloksen myös lähteet, välivaiheen ja luottamuspisteet kunkin alitehtävän osalta. Näin tarkistaja voi tarkistaa logiikan, ei vain tuloksen.

3. Asynkroninen vuorovaikutus

Vanha human-in-the-loop -malli oletti ihmisen istuneen ja odottavan tekoälyä esittävän kysymyksen. Startup-ympäristössä tämä on epärealistista. Meidän on suunniteltava järjestelmät, joissa itsenäiset agentit voivat "pysäköidä" tehtävän, kun ne saavuttavat epävarmuuden kynnyksen ja siirtyä toiseen tehtävään. Ihmiset voivat sitten käsitellä nämä avunpyynnöt erillä sopivaksi ajaksi.

Käytännön esimerkki: tekoälyyn perustuva myyntien mahdollisuuksien etsintä

Harkitse itsenäistä agentia B2B-startupille, joka tunnistaa potentiaaliset asiakkaat, tutkii heidän LinkedIn-toimintaa ja luo henkilökohtaisia yhteydenottoja. Se, että ihminen tarkistaa jokaisen sähköpostin ennen kuin se lähetetään, on hidasta ja tylsää. Sen sijaan voimme suunnitella hallintapaneelin, joka kategorisoi agentin työtä:

• Vihreä vyöhyke: Korkean luottamuksen luonnokset pienemmän prioriteetin johtajille. Nämä lähetetään automaattisesti ja kootaan päivittäiseen raporttiin.
• Keltainen vyöhyke: Luonnokset, joissa agentti löytyi ristiriitaisia tai epäselviä tietoja. Nämä merkitään nopeaan ihmisen muokkaukseen.
• Punainen vyöhyke: Korkean arvon tavoitteet, joissa agentti ehdottaa strategiaa, mutta vaatii ihmistä kirjoittamaan avaussaitaa.

Suunnittelemalla järjestelmä tällä tavalla yksi ihminen voi tehokkaasti valvoa kymmenen kertaa enemmän itsenäisiä agenteja ilman henkilökohtaista kosketusta, joka erottaa aidon yhteydenpidon roskapostista.

Tarkistajan väsymyksen vähentäminen

Yksi keskeisistä riskeistä itsenäisten agenttien kanssa työskentelemisessä on automaatioharha — ihmisten pyrkimys lopettaa huomion kiinnittäminen ja yksinkertaisesti napsauttaa "Hyväksy", koska tekoäly on yleensä oikeassa.

Tämän torjumiseksi meidän on suunniteltava aktiivista sitoutumista. Taktiikat sisältävät:

• Ajoittainen testaus: Säännöllisesti tunnetun virheen tai tarkoituksellisen poikkeaman lisääminen tarkistusjonoon sen tarkistamiseksi, että ihminen todellakin lukee sisällön.
• Vertaileva tarkistaminen: Sen sijaan että kysyisimme "Onko tämä hyvä?", esitä tarkistajalle kaksi eri lähestymistapaa, joita agentti olisi voinut käyttää, ja pyydä häntä valitsemaan — edellyttäen todellista arviointia.

Reaaliaikaisten palautesyklien kilpailuetu

Teknologian startup-yritykselle tarkistamistoiminto ei ole vain käyttöliittymä — se on tietoflywheel. Joka kerta kun ihminen korjaa itsenäisen agentin alavaiheen, korjaus tulee kaapata hienosäätämään agentin tulevaa käyttäytymistä.

Ihmisen "ei" tulisi nähdä itsenäisen agentin epäonnistumisena, vaan arvokkaimpana tietona, joka meillä on. Rakentamalla tarkistamistoiminnon, joka kaappaa, miksi ihminen muutti jotain, luomme järjestelmän, joka todella paranee ajan myötä.

Johtopäätös

Tekoälyn tulevaisuus ei ole "ilman ihmisiä" — se on "ihmisten valjastaminen". Kun rakentaa seuraavaa sukupolvea itsenäisiä agenteja, meidän fokus on siirrettävä siitä, että tekoälystä tulee 1 % tarkempi siihen, että ihmisestä tulee 100 % tehokkaampi sen tarkistuksessa.

Suunnittelemalla läpinäkyvyyden, kontrollin jäsenöityneisyyden ja asynkronisten työnkulkujen mukaan voimme rakentaa itsenäisiä agenteja, joihin ihmiset todella luottavat. Lopulta menestyneimmät tekoälyn startup-yritykset eivät vain ole parhaiden mallien omaavia; heillä on parhaat järjestelmät ihmisten informoimiseksi ja hallinnassa pitämiseksi. Human-in-the-Loop 2.0 on avain siihen.

Etsimässä korkean suorituskyvyn etäteknologia-tiimin rakentamista?

Tutustu MyNextDeveloperiin, alustaan, jossa voit löytää parhaat 3 % ohjelmistoinsinööreistä, jotka ovat syvään intohimoisia innovaatiosta. Palvelumme tarjoavat on-demand, omistettuja ja perusteellisia ohjelmistolaatuehdotuksia, jotka tarjoavat kattavan ratkaisun kaikille ohjelmistovaatimuksillesi.

Käy meidän verkkosivustolla tutustuaksesi siihen, kuinka voimme auttaa sinua kokoamaan täydellisen tiimisi.