Is er een

copywrAIter

in de zaal?

Scriptorijconferentie over copy, communicatie en AI 

 

 

Kan een robot in de nabije toekomst een zinvolle tekst produceren? Dat was de insteek voor de Scriptorijconferentie AI AI HOERA?! op 21 november in Gent. Bij het copybureau Scriptorij lag de vraag al een tijdje op tafel. Gedreven door nieuwsgierigheid en met de ervaring van een vijftienjarig bestaan besloten we om enkele experts aan het woord te laten. En om zelf een experiment met een robot uit te voeren. Voor dat laatste klopten we aan bij Maarten Callaert en Anna Krogager, solution engineers bij ML6. Professor computerlinguïstiek (UA) Walter Daelemans gaf vanuit zijn expertise tekst en uitleg.  

Op dit moment zijn er heel wat AI-toepassingen op de markt die helpen bij het schrijven van een tekst. Denk aan tal van company name generators, Grammarly, Persado, EmailCopyDyno ... Een inte- ressante toepassing om bij stil te staan is AI-Writer. Die tool stelt puur op basis van een headline die je ingeeft, een artikel voor. Het resultaat is op het eerste gezicht vrij goed. Je twijfelt zelf bij aanvang even of er hier wel een robot in het verhaal is. Hoe dat komt? Omdat elke zin nog altijd door een mens geschreven is. De machine speurt het internet af naar artikels waar je onderwerp in voorkomt. 

 

De tekst die hij voorstelt, is dus een samenraapsel van artikels die ooit al eens geschreven zijn. Er is dus best nog wat werk aan de winkel, want de tekst slaat de plank compleet mis op het vlak van opbouw en doel. Wel brengt de tekst je in contact met links naar blogartikels die je anders nooit zou vinden. Maar out of the blue een 14 tekst schrijven, kan de machine dat ook? 

Petra Broeders & Bavo Van Landeghem

 

TALK TO TRANSFORMER 

Het systeem Talk to Transformer maakt die belofte waar. De toepas- sing specialiseert zich in het schrijven van nieuwe content. Het sys- teem is getraind om het volgende woord in een tekst te voorspellen. Hoe werkt het model precies en maakt het zijn belofte waar? We leg- gen de vraag in handen van ML6. Die Gentse start-up is gespeciali- seerd in onderzoek naar AI en zelflerende systemen. Daarnaast werkt het bedrijf heel wat toepassingen op maat van bedrijven uit. Anna Krogager, gespecialiseerd in Natural Language Processing, is een van de zestig machine learning & data engineering experts bij ML6 en zij zal ons bij het experiment begeleiden. 

 

Talk to Transformer is van OpenAI, een bedrijf dat gespecialiseerd is in artificiële intelligentie, dat in 2015 opgericht werd door onder meer Brockman, Elon Musk en Google Brain-wetenschapper Sutskever. Talk to Transformer draait op het GTP-2-model (Generative Pre-trained Transformer). Het bevat maar liefst 1,5 biljoen parameters en is getraind op een dataset (= woorden) van 800 miljoen websites. Bijzonder is dat dit wiskundige model – dus geen taalkundig model! – heeft ontdekt hoe taal gestructureerd is. Door in een enorme data- set van woorden en karakters patronen te herkennen, probeert het model het volgende woord in een zin te voorspellen. Vertaald naar ons taalkundige brein: een machine weet – na het verwerken van een massale set van data – dat een adjectief voor een substantief komt en gevolgd wordt door een werkwoord, dat op zijn beurt weer vervoegd wordt. Dat zijn patronen die het model herkent. 

THE PROOF OF THE PUDDING IS IN THE EATING 

Hoe werkt die techniek precies? Hoever staat die? Dat wilden wij weten. Als opwarming voor de conferentie deden we de test. We wilden de machine niet zomaar willekeurige tekst laten genereren. We kozen voor speeches. Een speech is een specifiek genre, met een aanspreking, een intro ..., kortom: een duidelijke structuur. Maar een speech heeft ook zekere tone of voice, een doelstelling. Boven- dien beschikken we bij Scriptorij na jaren speechschrijven voor het Agentschap voor Natuur en Bos over wel meer dan zestig speeches. Gefundenes Fressen voor die machine dus. 

 

Het experiment leggen we hieronder stap voor stap uit. 

- Voorbereiding 

Alle speeches, in totaal 51 104 woorden, hebben we in een document gebundeld. Ondertussen downloadde Anna Krogager het model GPT- 2-simple, een kleiner model, met iets minder data en parameters: maar 700 miljoen in plaats van die anderhalf biljoen. Het eigenlijke model is namelijk te zwaar voor een gewone computer. Anna paste de code nog wat aan, waarna het model vervolgens die 51 104 woor- den te verwerken kreeg. Daardoor werd het model verder getraind en verfijnd op basis van de input en de uiteindelijke opdracht. 

- Eerste poging 

Na de invoering en codering was de machine klaar voor de opdracht en die luidde schrijf een nieuwe speech. Het eerste resultaat sloeg echt nergens op. We halen er eentje uit, lees maar even mee: 

Beste genodigden, ik kijk uit naar wat je verfijnen. Een voor- beeld van een omgeving die deze kraadt de voorbode van een groens van de een battistaa. De battistaa een battistaaal, maar je goed bij. 

 

De voornaamste oorzaak van het schabouwelijke resultaat: de machine is getraind in het Engels en kreeg een te beperkte data- set om mee aan de slag te gaan. Als je het experiment correct wilt uitvoeren, heb je een dataset nodig van ongeveer een half miljoen woorden. Nu waren het er maar 51 000. Toch vonden we dat we de machine nog een tweede kans moesten geven. En dus deden we drie aanpassingen. 

1 De integrale dataset haalden we door de vertaalsoftware van Deepl (ook een AI-toepassing) van het Nederlands naar het Engels. 

2 We gaven de machine al iets meer context mee. Zo kreeg ze de eerste paragraaf cadeau die ze vervolgens zelf verder kon aanvullen. Hoe meer context je de machine geeft, hoe beter ze er – in principe – in kan slagen om een zinvol volgende woord te voorspellen. 

3 De context die ze kreeg, was een speech die ze nog niet verwerkt had in de oorspronkelijke dataset van speeches.

 De uitdaging? Brei een vervolg aan de intro. Zo geschiedde ... 

 

- Tweede poging 

De korte intro die de machine kreeg en waarop ze verder moest bouwen, ging over de aankondiging van een spreker, de werking van het brein, de amygdala en vooral: het belang van wandelen. Daar- na kwam de robot aan de beurt. Hij mocht een vervolg verzinnen. Benieuwd? Lees even mee:

Want onderzoek heeft ons laten zien dat de natuur ontspannend en inspirerend is. En ook: rijk aan neurochemische stof- fen. In ieder geval is het altijd een goed idee om een neuro- chemicus in het kabinet te hebben. 

De zinsopbouw is logisch. En grappig bovendien. Maar zelfs een dronken tooghanger kan een samenhangender verhaal vertellen.

 

 

 

 

 

 

 

Info nodig? Neem contact op en maak kennis met ons team!

VERTALEN

CONTACT

info@ibiscommunications.be

+32 (0)2 757 94 94

Leuvensesteenweg 337

3070 Kortenberg

 

BE 0437 065 865

  • White LinkedIn Icon