Management

Software-ontwikkeling
Toetsenbord.

Salesforce ontwikkelt algoritme dat tekst samenvat

Algoritme vat tekst samen op basis van neuraal netwerk.

Toetsenbord. © Pixabay Pixabay
15 mei 2017

Algoritme vat tekst samen op basis van neuraal netwerk.

Lange onleesbare rapporten doorkammen, stugge vergadernotities doorbladeren, ‘even’ door 300 e-mails heen gaan en dan ook de krant en Facebookupdates lezen. Hoeveel tekst moeten we per dag wel niet verwerken?

Als het aan Salesforce ligt, hoeven we straks lang niet zoveel tekst door te spitten, meldt The Verge. Het bedrijf heeft een algoritme ontwikkeld dat tekst op een samenhangende manier samenvat. Het Amerikaanse bedrijf wil de tool vooral aanbieden aan mensen die in de klantenservice of op een verkoopafdeling werken, zodat ze minder tijd kwijt zijn aan het lezen van e-mails en documenten. Die tijd zouden ze dan bij de klant door kunnen brengen, aldus Salesforce. 

Het onderzoek voor het algoritme werd gedaan door MetaMind, een deeplearning start-up die Salesforce vorig jaar heeft gekocht.

Extractie en abstractie

Het automatisch samenvatten van tekst kan op twee manieren: extractie of abstractie, vertellen de onderzoekers van MetaMind aan The Verge. Bij extractie leidt de computer een samenvatting af van de bestaande formulering. Dat systeem is niet erg flexibel. Bij abstractie mag de computer zelf woorden introduceren. Bij die techniek is het wel een vereiste dat het systeem het originele artikel volledig begrijpt.

Om samen te vatten maakt Salesforce gebruik van een neuraal netwerk dat zichzelf blijft verbeteren. Om de samenvatting te maken interpreteert en introduceert het algoritme van Salesforce woorden. Als het algoritme dan nog meer context nodig heeft om te zien of zijn vertaling klopt, kijkt het opnieuw naar zijn eigen tekst. Tenslotte legt het algoritme zijn tekst naast eerder gegenereerde teksten, om te zorgen dat het zichzelf niet herhaalt.

Deeplearning

Het algoritme is gebaseerd op het deeplearning-principe en verbetert zichzelf op twee manieren: via reinforcement learning en via teacher forcing.

Bij reinforcement learning genereert het algoritme een woordenstroom. Dat resultaat wordt beoordeeld door een evaluatiesysteem genaamd ROUGE. Door middel van scores updatet het algoritme zichzelf – hierdoor worden de samenvattingen in de loop van de tijd beter. Reinforcement learning werd ook gebruikt om DeepMind van Google te leren hoe hij videospelletjes moest spelen.

Als er gebruik wordt gemaakt van teacher forcing worden de woorden gecheckt aan de hand van een bestaande referentie. Hier komen ‘fatsoenlijke’ resultaten uit volgens de onderzoekers, maar deze methode is niet erg flexibel. Sommige vertalingen zijn goed, andere zijn minder.

Veelbelovende technieken, maar een professor van de Northwestern University verklaart tegenover MIT Technology Review dat er nog veel werk verricht moet worden voor de samenvattingen perfect zijn. Het tekstbegrip van de computer is namelijk nog lang niet zo goed als dat van de mens.

Lees meer over Management OP AG Intelligence
Reactie toevoegen
De inhoud van dit veld is privé en zal niet openbaar worden gemaakt.