Svår utmaning för företag att bedöma riskerna med AI

Artificiell intelligens kan hjälpa företag genom automatisering eller genom att förbättra befintliga uppgifter men precis som all annan teknik medför den risker om den inte hanteras på rätt sätt. För de företag som har beslutat att bygga sin egen AI eller köpa mjukvara med inbyggd AI är riskbedömningen ett viktigt steg för att säkerställa regelefterlevnad och datasäkerhet.

Den explosionsartade utvecklingen av generativ AI har förstärkt dessa och nya framväxande risker. Enligt en Gartnerundersökning från december är generativ AI den högst rankade frågan under de kommande två åren för chefer inom juridik, regelefterlevnad och integritet.

För att motverka riskerna kan organisationerna noggrant utvärdera sin exponering för AI, bedöma riskerna och införa riktlinjer och strategier för att hantera de mest affärskritiska frågorna. Bedömningsstrategierna skiljer sig åt beroende på vilken typ av AI det handlar om, och de kan i allmänhet delas in i tre kategorier: interna AI-projekt, AI från tredje part och AI som används av angripare i onda syften.

Hur man bedömer interna AI-risker

Oavsett om man använder befintliga ramverk för risk- och kvalitetshantering eller upprättar ett internt ramverk för hur AI-modeller kan användas, måste företagen veta hur AI används internt.

Ramverk för risk- och kvalitetshantering

Ett företag som har utvärderat och kvantifierat sina AI-modellers prestanda under en längre tid är ABBYY, ett företag som arbetar med intelligent mjukvaruautomation. ABBYY har använt ramverk för riskhantering och kvalitetshantering i många år, inklusive ISO:s ramverk för riskhantering.

Dessutom har det amerikanska standardiseringsinstitutet NIST nyligen kommit ut med den första versionen av sitt ramverk för riskhantering specifikt för AI. Detta ramverk är för närvarande frivilligt, men i januari lades ett lagförslag fram i det amerikanska representanthuset – ett liknande lagförslag lades fram i senaten i november – för att göra det obligatoriskt för federala myndigheter och leverantörer. NIST håller nu också på att inrätta ett säkerhetsinstitut för artificiell intelligens i USA.

Dessa AI-ramverk är fortfarande mycket rudimentära, säger Andrew Pery, AI etikevangelist på ABBYY, till CSO.

”Det är fortfarande för tidigt”, vilket är anledningen till att ABBYY främst förlitar sig på äldre ramverk för riskhantering, som företaget nu tillämpar på sina generativa AI-projekt.

Företagets kärnprodukt extraherar data och innehåll från dokument och företaget har specifika noggrannhetsmål för sina traditionella AI-modeller.

– Det finns nyanser när det gäller riskhantering och kvalitetssäkring för generativ AI, säger han.

– Det inkluderar modellprestanda, datastyrning och bias.

För vissa användningsområden kanske generativ AI inte är lämpligt ännu.

– Inom finansiella tjänster är det till exempel oerhört viktigt att kunna tillhandahålla korrekt information om hur lånen disponeras, säger Andrew Pery.

– För dem är användningen av generativ AI-teknik spekulativ och riskfylld. Detsamma gäller för hantering av försäkringsärenden, hälso- och sjukvård, anställning och HR-applikationer.

ABBYY är inte ensamma om att experimentera med generativ AI och att noggrant utvärdera de risker som är förknippade med detta. Enligt Wiz undersökning av 150 000 offentliga molnkonton använder 70 procent av molnmiljöerna nu AI-tjänster som Azure AI – som inkluderar Open AI – samt Amazon Sagemaker och Google Clouds Vertex AI. Den mest populära AI-plattformen är Open AI, som finns i 53 procent av molnmiljöerna. Tätt följt av Hugging Face och flera andra open source-projekt.

Ta reda på hur AI används 

Dessa AI-modeller innebär flera risker för företagen, till att börja med efterlevnadsrisker – vissa branscher, inklusive hälso- och sjukvård och finans, har strikta riktlinjer för hur AI-modeller får användas.

Eftersom AI-modeller också kräver data, både för träning och för realtidsanalys och inbäddning, finns det också risker för integritet och dataförlust. Slutligen kan AI-modeller vara felaktiga, partiska, utsatta för hallucinationer eller förändras på oförutsägbara sätt över tid.

För att få ett grepp om allt detta bör man göra en omfattande undersökning av hur AI används. Det kräver både en top-down- och en bottom-up-strategi, säger Priya Iragavarapu, ansvarig för digitala tekniktjänster på managementkonsultföretaget AArete..

– Företagsledare måste granska processer som använder AI och komma till möten med AI-styrningsteamet och granska dem, säger hon.

Och när ledarna inte vet vilken AI som används är det dags att gå nerifrån och upp – att spåra alla slutpunkter i en organisation för att hitta de system och användare som har åtkomst till AI-applikationer.

– De flesta är molnbaserade applikationer, säger hon.

– Och när människor använder dem kan it-avdelningen spåra varje fråga till Chat GPT.

Det är inte en perfekt lösning, tillägger Priya Iragavarapu.

– Det finns fortfarande saker som vi missar och som faller mellan stolarna. Men det är där grundlig utbildning, vägledning och information kommer in i bilden, så att användare och anställda kan kontrollera sig själva innan de gör något dumt.

Sätt upp ett eget ramverk för AI-distribution

Företagen bör också skapa ett ramverk för hur AI-modeller kan användas, baserat på företagets compliance-miljö och risktolerans. Vissa användningsfall kan till exempel kräva en mänsklig granskning av alla AI-resultat.

Det finns flera dimensioner av risker som är relevanta för generativ AI säger Priya Iragavarapu.

– Hur många människor påverkas? Hur stor är påverkan?

AArete arbetar med företag för att hjälpa dem att mäta dessa risker, med några preliminära riktmärken för risker med generativ AI tillgängliga för vissa branscher. Det här är ett område som många konsultföretag nu fokuserar på. Ernst & Young håller till exempel på att utveckla ett AI-förtroendeindex.

– Vårt förtroendeindex bygger på fem kriterier – integritet och säkerhet, partiskhet och rättvisa, tillförlitlighet, transparens och förklarbarhet, och det sista är ansvarssutkrävande, säger Kapish Vanvaria, ansvarig för riskmarknader på EY i USA.

Detta är indexets ena axel. Den andra omfattar regler och etik.

– Sedan kan du ha en värmekarta över de olika processer du tittar på och de funktioner där de används, säger han.

– Man kan gå igenom var och en av dem och använda en viktad poängmetod.

När det gäller juridik och efterlevnad är dessa beräkningar relativt enkla enligt Kapish

Vanvaria.

– De flesta bestämmelser bygger på poängsättning och är anpassade till dessa saker.

På andra områden krävs mer diskretion. Ett företag kan till exempel utvärdera mognad baserat på faktorer som att ha en policy för acceptabel AI-användning.

– Du kan använda numeriska poäng för att mäta baslinjer, och när det blir ett rörligt mål kan du göra ändringar, säger Kapish Vanvaria.

Bedöma risken med AI från tredje part

Företag har länge haft problem med att säkra sina data när de använder tjänster från tredje part. Alla leverantörer – e-postleverantörer, marknadsföringsleverantörer, databehandlare – kan ha tillgång till känsliga företagsdata och till och med vidarebefordra denna tillgång till sina egna leverantörer. Företag har haft det tillräckligt svårt med riskhantering för tredje part innan generativ AI. Och nu, med generativ AI, måste säkerhetsteamen öka sin vaksamhet.

Verktyg som tidigare inte betraktades som säkerhetsrisker – fotoredigeringsprogram eller grammatikkontroller – kan nu ha generativ AI-funktionalitet och skicka text eller bilder till en AI för analys.

– Vi tar en mycket noggrann titt på de juridiska avtalsvillkoren, säger Greg Notch, ciso på secopsleverantören Expel.

– Vi drar gränsen vid att använda våra data för att träna din modell – du kan använda våra data för att generera resultat, men sedan måste du kasta bort dem.

Det är en utmaning att hålla sig uppdaterad eftersom leverantörerna kan lägga till nya AI-tjänster när som helst, säger Greg Notch.

Det kräver att man är noga med att hålla koll på alla avtal och förändringar i funktioner och användarvillkor. Men att ha ett bra riskhanteringsteam för tredje part på plats kan bidra till att minska dessa risker.

Om en befintlig leverantör beslutar sig för att lägga till AI-komponenter i sin plattform genom att använda tjänster från Open AI, till exempel, innebär det ytterligare en risknivå för en organisation.

– Det skiljer sig inte från den fjärdepartsrisk jag hade tidigare, där de använde något marknadsföringsföretag eller något analysföretag. Så jag måste utöka mitt riskhanteringsprogram för tredje part för att anpassa mig till det – eller välja bort det tills jag förstår risken, säger Greg Notch.

En av de positiva aspekterna med GDPR är att leverantörer är skyldiga att redovisa när de använder underleverantörer. Om en leverantör utvecklar ny AI-funktionalitet internt kan en indikation vara en ändring i deras integritetspolicy.

– Man måste ha koll på det. Jag har turen att arbeta på en plats som är mycket säkerhetsfrämjande och vi har ett utmärkt team för styrning, risk och efterlevnad som gör den här typen av arbete, säger Greg Notch.

Bedömning av externa AI-hot

Generativ AI används redan för att skapa phishingmejl och för BEC-attacker – business email compromise – och enligt Expels Notch har BEC-attackernas grad av sofistikering ökat avsevärt.

– Om du försvarar dig mot BEC – och det gör alla – blir signalerna om att det här inte är ett koshermejl mycket svårare att upptäcka, både för människor och maskiner. Du kan låta AI generera en perfekt e-postförfalskning och webbplatsförfalskning.

Att sätta en specifik siffra på denna risk är en utmaning.

– Det är den kanoniska frågan inom cybersäkerhet – riskkvantifieringen i dollar, säger Greg Notch.

– Det handlar om förlustens storlek, hur sannolikt det är att den inträffar och hur ofta den kommer att inträffa.

Men det finns ett annat tillvägagångssätt.

– Om jag tänker på det i termer av prioritering och riskreducering kan jag ge dig svar med högre tillförlitlighet, säger han.

Andrew Pery säger att ABBYY arbetar med cybersäkerhetsleverantörer som fokuserar på hot baserade på generativ AI

– Det finns helt nya angreppsvektorer med generativ AI-teknik som vi måste vara medvetna om.

Dessa risker är också svåra att kvantifiera, men det finns nya ramverk som kan vara till hjälp. År 2023 släppte till exempel cybersäkerhetsexperten Daniel Miessler The AI Attack Surface Map.

– En del bra arbete görs av en handfull thought leaders och framstående personer inom AI, säger Sasa Zdjelar, chief trust officer på Reversing Labs, som tillägger att han förväntar sig att organisationer som CISA, NIST, Cloud Security Alliance, Enisa och andra bildar särskilda arbetsgrupper och grupper för att specifikt ta itu med dessa nya hot.

Under tiden kan företagen redan nu bedöma hur väl de klarar av grunderna, om de inte redan gör det. Bland annat bör man kontrollera att alla slutpunkter är skyddade, om användarna har multifaktorautentisering aktiverad, hur väl medarbetarna kan upptäcka phishingmejl, hur stor eftersläpningen är när det gäller patchar och hur stor del av miljön som omfattas av zero trust.

Den här typen av grundläggande hygien är lätt att förbise när nya hot dyker upp, men många företag brister fortfarande i det grundläggande arbetet. Att täppa till dessa luckor kommer att bli viktigare än någonsin när angriparna trappar upp sina aktiviteter.

Det finns också några saker som företag kan göra för att bedöma nya och framväxande hot. Enligt Sean Loveland, coo på Resecurity, finns det hotmodeller som kan användas för att utvärdera de nya riskerna i samband med AI, inklusive offensiv cyberhotinformation och AI-specifik hotövervakning.

– Detta ger dig information om deras nya attackmetoder, upptäckter, sårbarheter och hur de tjänar pengar på sin verksamhet, säger Sean Loveland.

Han berättar att det till exempel finns en produkt som heter Fraud GPT som ständigt uppdateras och säljs på den mörka webben och Telegram. För att förbereda sig för angripare som använder AI föreslår Sean Loveland att företagen ser över och anpassar sina säkerhetsprotokoll och uppdaterar sina planer för incidenthantering.

Hackare använder AI för att förutsäga försvar

Hackare har kommit på hur man använder AI för att observera och förutsäga vad försvararna gör, säger Gregor Stewart, ansvarig för artificiell intelligens på Sentinel One, och hur man anpassar sig i farten.

– Och vi ser en ökning av adaptiv skadlig kod, polymorf skadlig kod och autonom spridning av skadlig kod, tillägger han.

Generativ AI kan också öka volymerna av attacker. Enligt en rapport från hotinformationsföretaget Slash Next har antalet skadliga phishingmejl ökat med 1 265 procent mellan slutet av 2022 och tredje kvartalet 2023.

”Några av de vanligaste användarna av chattbottar med stora språkmodeller är cyberbrottslingar som utnyttjar verktyget för att skriva komprometterande e-postattacker och systematiskt starta mycket riktade nätfiskeattacker”, står det i rapporten.

Enligt en PwC-undersökning med över 4 700 vd:ar som publicerades i januari säger 64 procent att generativ AI sannolikt kommer att öka cybersäkerhetsrisken för deras företag under de kommande 12 månaderna.

Dessutom kan generativ AI användas för att skapa falska nyheter. I januari släppte World Economic Forum sin Global Risks Report 2024, och den största risken för de kommande två åren? AI-driven felaktig information och desinformation. Inte bara politiker och regeringar är sårbara. En falsk nyhetsrapport kan lätt påverka aktiekursen – och generativ AI kan generera extremt övertygande nyhetsrapporter i stor skala.

I PwC:s undersökning uppgav 52 procent av vd:arna att felaktig information från generativ AI kommer att påverka deras företag under de kommande 12 månaderna.

Riskhantering för AI har en lång väg att gå

Enligt en undersökning som Riskonnect genomfört bland 300 experter på riskhantering och regelefterlevnad förutser 93 procent av företagen betydande hot i samband med generativ AI, men bara 17 procent av företagen har utbildat eller informerat hela företaget om risker med generativ AI – och bara 9 procent säger att de är beredda att hantera dessa risker.

En liknande undersökning från ISACA bland mer än 2 300 personer som arbetar med revision, risk, säkerhet, dataintegritet och it-styrning visade att endast 10 procent av företagen hade en heltäckande policy för generativ AI – och mer än en fjärdedel av de tillfrågade hade inga planer på att ta fram en sådan.

Det är ett misstag. Företagen måste fokusera på att ta fram en helhetsplan för att utvärdera läget för generativ AI i sina företag, säger Paul Silverglate, ansvarig för den amerikanska tekniksektorn på Deloitte.

De måste visa att det är viktigt för företaget att göra rätt, att vara beredd att reagera snabbt och åtgärda om något händer.

– Den allmänna opinionens domstol – dina kunders domstol – är mycket viktig, säger han.

– Och förtroende är den heliga graalen. När man förlorar förtroendet är det mycket svårt att återfå det. Det kan sluta med att man förlorar marknadsandelar och kunder som är mycket svåra att få tillbaka.

Varje del av varje organisation som han har arbetat med påverkas av generativ AI, tillägger han.

– Och inte bara litegrann, utan på ett betydande sätt. Det är genomgripande. Det är allestädes närvarande. Och ännu mer än så.