Intervju med Marius Sandbu Bør alle bedrifter ha sin egen chatbot? Det får du vite mer om på ARK 2023

Den 15. november er det klart for den 11. årlige arkitekturkonferanse og i år blir det et svært innholdsrikt program med mange gode foredragsholdere klare til å ose av sin kunnskap. 

– Konferansen ARK 2023 samler eksperter og ledende aktører innen generativ AI-teknologi, sier  Shiraz Ali Bhaiji, leder for Den norske Dataforening faggruppe for Løsnings- og integrasjonsarkitektur. 

En av foredragsholderne er Marius Sandbu, Cloud Evangelist i Sopra Steria og kjent for sin podcast. Han skal blant annet snakke om Hvordan kan vi ta i bruk en GPT tjeneste med våre egne data

https://www.dataforeningen.no/arrangement/ark-2023/ .

Dataforeningen tok en prat med ham i forkant for å bli litt klokere.  

Bør alle bedrifter ha sin egen chatbot? Hvorfor eller hvorfor ikke?
Fordeler og ulemper?

– En chatbot må ha et formål, som ofte vil være å kunne levere nyttig informasjon tilbake til brukeren som kommer med et spørsmål eller noe man lurer på. Historisk så har de fleste chatbotter vært drevet av «nøkkelord» for å ha en viss dialog mot brukeren. Nå med språkmodeller kan vi få til en bedre dialog hvor man har en chatbot som faktisk forstår konteksten av hva man spør om, sier Marius Sandbu.

Sandbu mener de aller fleste av oss bruker masse tid til å søke etter informasjon, enten det er internt eller eksternt. Fordelen med nåtidens teknologi er at vi kan enklere få koblet sammen en rekke datakilder, som gjør det tilgjengelig for en chatbot eller virtuell assistent –  som da kan hente ut relevant informasjon på hva du leter etter. Slik at man da kan «chatte» mot sine egne data. Selvsagt vil det å få slik teknologi på plass, kreve en del jobb både på datakvalitet og integrasjoner, men mulighetene på sikt vil også åpne opp en del muligheter, sier Sandbu. 

Finnes det noen regler for å få mest mulig effektiv informasjon ut fra Chat GTP eller bare prøve seg frem?

– Prompt engineering har blitt et viktig tema for tiden. Altså hvordan skal man formulere seg best mulig for å få best mulig informasjon tilbake fra ChatGPT eller andre lignende tjenester. Språkmodeller er jo egentlig laget for å prøve å forutse neste ord (eller setning) i en gitt kontekst. Om språkmodellen ikke har nok kontekst, vil den prøve å fylle inn svar hvor den ikke har informasjon. Da vil man ikke få så gode svar. Det er alltid et par ting man bør tenke på for å få best mulig informasjon tilbake. Rolle, formatering, eksempel på hvordan du vil ha teksten laget og ikke minst gi en tydelig oppgave; hva vil du den skal gjøre, sier den erfarne IT- spesialisten. 

Hva er det viktigste i ditt foredrag og hva slags nytte kan det gi teknologer? 

-Det viktigste jeg ønsker å få frem er at med bruk av Generativ AI og med fremtidens virtuelle assistenter / copiloter eller chatbots vil det komme en rekke nye muligheter og bruksområder. Men for å få best mulig utbytte må man forstå hva som inngår i et slikt system, hva er de typiske komponentene? Hvordan henger slike systemer sammen? Hva er fallgruvene og begrensningene? Så jeg ønsker å få frem hvordan man kan designe og sette opp slike løsninger og gi litt mer kontekst på hva som beveger seg under slike løsninger, sier Sandbu. 

Meld deg på ARK 2023