Wayati FAQ
Wayati.com
Was ist der Zweck von Wayati.com?
Wayati.com ist ein WebService, mit dem man Spammer aus seiner Friendlist herausfiltern kann. Um herauszufinden, ob es sich bei einem Twitter-Account um einen Spammer bzw. Annoying User handelt, wurde ein spezieller Algorithmus entwickelt, der aufgrund der Struktur der Tweets erkennen kann, ob und wie lästig ein Twitter-User ist.
Darüber hinaus ist Wayati.com als Technikstudie gedacht, wobei es darum geht, eine sinnvolle Klassenbibliothek für PHP zu entwickeln, mit der man schnell und möglichst komfortabel komplexe Webanwendungen erstellen kann.
Wayati.com ist noch in der Entwicklung. Bisher ist es nur möglich, einzelne Benutzer von dem Dienst bewerten zu lassen.
Was bedeutet Wayati?
Wayati ist ein Kunstwort und ist die Abkürzung für "Waste ya (your) time". Twitter ist ein Zeitvertreib, dessen praktischer Nutzen für viele beschränkt ist, selbst wenn er für wenige durchaus vorhanden ist. Wayati.com hat das Ziel, diese potentielle Zeitverschwendung angenehmer zu machen, in dem die lästigen Nervensägen entfernt werden, um den Spaßfaktor zu erhöhen.
Wie funktioniert die Spam-Erkennung?
Der Algorithmus untersucht hauptsächlich die Struktur der Tweets. Der Inhalt wird nicht bewertet, daher funktioniert der Algorithmus sprachunabhängig. Zum Beispiel werden Tweets schlecht bewertet, wenn Aufzählungen von Usern, viele Hashtags oder Wörter, die nur aus Großbuchstaben bestehen. Auch Tweet-übergreifend erkennt der Spamchecker, wenn jemand komplette Tweets ständig wiederholt oder den gleichen Text an verschiedene User schickt.
Was bedeuten die einzelnen Werte und wie kommen sie zustande?
Eine detaillierte Beschreibung der einzelnen Werte befindet sich hier
Tweet-Analyse (Struktur)
Für die Untersuchung werden lediglich die letzten 20 Tweets herangezogen. Das reicht aus, um eine Bewertung abzugeben und ermöglicht es, Verhaltensänderungen schnell zu erkennen. Der Vorteil besteht auch darin, dass die letzen 20 Tweets mit einer einzigen Twitter-Abfrage ermittelt werden können und somit eine Analyse mit geringem Aufwand schnell möglich ist.
Um den Server (und auch Twitter) zu entlasten, werden die Ergebnisse zwischengespeichert und nur dann neu berechnet, wenn der zu untersuchende User neue Tweets gepostet hat. Diese Information kann man bereits der User-Information entnehmen, die daher bei jedem Aufruf neu abgefragt wird.
Folgende Tests werden durchgeführt:
Generelle Struktur
Die Tweets werden in Einzelteile zerlegt und es wird untersucht, ob User, Links, Hashtags und "Geschrei", also Wörter, die nur aus Großbuchstaben bestehen und länger als drei Buchstaben sind (Abkürzungen) vorkommen. Zusammenhängender Text wird als ein Element betrachtet.
Zum Beispiel "@userxy Bei uns regnet es heute. #wetter" besteht aus drei Elementen: User, Text, Hashtag (UTH) Die meisten bestehen nur aus Text (T) oder Text, Hashtag (TH), User, Text (UT) oder Text, Link (TL) oder Text, Link, Hashtag (TLH) und weisen somit eine recht übersichtliche Struktur auf.
Typische Spam-Tweets sehen so aus: "easy money making: http://tinyurl.com/ltjqvt @bbqmaven @Chodidees @TheAngryDude @hownottowrite". Die Elemente sind Text, Link, User, User, User, User (TLUUUU) Besonders nervig ist zum Beispiel folgendes: "RT @LouisLeBeau: #MM best @LavaLampLV @Oscar_LeChat @Dunkin_the_Cat @TPPCtv @zeepeters @Lorenzothecat @buschpetproduct @MyTuxedoCat @MaxTheD": RT, User, Hashtag, Text gefolgt von 9 Usern (RUHTUUUUUUUUU)
Der Struktur-Test bewertet die durchschnittliche Länge dieser Strukturbeschreibungen.
Gleiche Wörter
Wenn Wörter (auch Hashtags) - auch über mehrere Tweets hinweg - ständig vorkommen, dann besteht der Verdacht, dass sich entweder jemand ständig wiederholt oder für einen Dienst oder ein Produkt geworben wird. Je häufiger gleiche Wörter wiederholt werden, umso schlechter ist die Bewertung.
Gleiche Links
Ein noch deutlicheres Zeichen für Spam ist es, wenn ein Link ständig wiederholt wird.
User Refs
Zu den nervigsten Spammern gehören diejenigen, die Tweets mit langen Listen von Usern verschicken. Der Zweck ist mir nicht ganz klar. Jedenfalls bekommen alle diesen Tweet zu sehen, die in der Liste aufgeführt sind. Es gibt aber auch Spam-Account-Gruppen, die automatisch generierte Tweets erstellen und nur User dieser Gruppe in die Tweets integrieren.
Spam Refs
Wurde ein User bereits als Spammer identifiziert und taucht in Tweets eines anderen Users auf, wirkt sich das negativ auf denjenigen aus, der (vorgeblich) mit solchen Spam-Accounts kommuniziert. In der Regel tauchen solche Spammer nur bei anderen Spammern auf, um diese ebenfalls zu promoten, weil sie zum Beispiel vom gleichen Initiator stammen.
Eigener Nick
Auch wenn ein User seinen eigenen Namen ständig in Tweets einbaut, ist das ein Indiz für Spam. Das kommt ebenfalls häufig bei denjenigen vor, die lange Listen mit Nicks automatisiert verbreiten.
Hashtags
Hashtags sind sinnvoll, um Hinweise auf den Inhalt der Tweets zu geben und haben eine Meta-Funktion. Wer es allerdings damit übertreibt, macht sich verdächtig. Von Spammern werden Hashtags hauptsächlich dazu missbraucht, bei bestimmten Schlagwörtern möglichst gut gefunden zu werden.
"Geschrei"
Texte, die hauptsächlich aus Großbuchstaben bestehen, werden generell als laut und störend empfunden.
Tweet ohne Text
Wer einfach nur Links, User oder Hashtags postet, ohne weitere Erklärungen in Textform. Hierunter fallen ebenfalls die bereits erwähnten User-Listen.
Textmenge
Ein wichtiges Unterscheidungsmerkmal zwischen guten und schlechten Twitterern ist das Verhältnis zwischen Text und anderen Elementen wie Hashtags, User-Refs, Links usw. Je weniger Text die Updates enthalten, umso uninteressanter ist der User.
Tweet-Verhalten
Unter Tweet-Verhalten wird bewertet, wie viele Tweets ein User schreibt, ob er überhaupt welche geschrieben hat, wann der letzte geschrieben wurde (ist er noch aktiv?), ob er ständig die gleichen Tweets postet.
Tweets/Day
Es wird davon ausgegangen, dass ein "normaler" Mensch kaum hunderte Tweets pro Tag über einen längeren Zeitraum hinweg schreibt. Tatsächlich gibt es aber Accounts, über die pro Tag mehr als 1000 Tweets gepostet werden und das über einen Zeitraum von mehr als 200 Tagen. Das dürfte nur einem Bot gelingen und ich glaube nicht, dass jemand soviele Tweets von einem einzelnen User erhalten oder gar lesen möchte.
Tweetwiederholung
W#hrend bei der Struktur-Analyse geprüft wird, ob einzelne Elemente wiederholt auftreten, werden hier komplette Tweets verglichen und entsprechend schlecht bewertet, wenn es zu häufigen Mehrfachposts kommt.
Tweets gesamt
Ob ein User folgenswert ist oder nicht, kann man erst beurteilen, wenn er eine gewissen Menge an Tweets geschrieben hat. Wenn jemand überhaupt keine oder insgesamt weniger als 10 Tweets geschrieben hat, ist dieser Wert schlecht.
Letzter Tweet
Natürlich gibt es viele Leute, die das Interesse an Twitter verloren haben und lange nichts mehr geschrieben haben. Solchen Leuten zu folgen stört zwar nicht, aber man gewinnt dadurch auch nichts. Es sammeln sich lediglich viele "Leichen" in der Friendslist an. Je älter der letzte gepostete Tweet ist, umso schlechter ist der Wert hier, wobei man erst nach einer Inaktivität von 6 und mehr Wochen mit der schlechtesten Note in diesem Punkt bedacht wird.
Folgeverhalten
Beim Folgeverhalten geht es darum, herauszufinden, ob ein User zurück folgt oder extrem vielen Leuten folgt und auf diese Weise versucht, die Anzahl seiner Follower möglichst schnell in die Höhe zu treiben.
Folgerate
Hier wird das Verhältnis zwischen Friends und Follower berechnet. Liegt diese bei 80% und höher, ist die Chance sehr hoch, dass der User auch seinen Followern folgt.
Massfollow
Hier wird der Wert Friends/Tag ermittelt und bewertet. Allerdings wirkt sich dieser wert nur dann negativ aus, wenn er überdurchschnittlich hoch ist und nicht von den Followern/Tag übertroffen wird. Es kann durchaus vorkommen, dass zum Beispiel ein Promi täglich mehr als 100 Leuten folgt, aber selbst täglich mehr als 200 Follower hinzugewinnt.
Kommunikation
In dieser Rubrik wird geprüft, ob und wieviel ein User tatsächlich mit anderen Usern kommuniziert. Es gibt zahlreiche Bots, die immer nur Nachrichten senden, ohne auf andere User zu reagieren.
Sind beide Werte zusammen schlecht, dann kann man davon ausgehen, dass es sich um einen Bot handelt, da der übliche Twitteruser eher mit anderen Leuten kommuniziert - also antwortet, sie anspricht oder deren Tweets retweetet.
Antworten
Twitter hält fest, ob und auf welchen Tweet geantwortet wurde. Diese Information kann abgefragt und bewertet werden.
Ansprache
Hier wird ermittelt, ob die Tweets andere User enthalten unddiese damit direkt ansprechen. Fehlt dieses Merkmal, handelt es sich um jemanden, der gerne Monologe führt oder um einen Bot, der zum Beispiel nur News (Text + Link) postet.
User Informationen (Profil)
Für die Bewertung werden einige User-Informationen herangezogen, an denen man ebenfalls einige Anhaltspunkte erhalten kann, ob ein User folgenswert ist oder nicht.
Diese Informationen sind leicht zu manipulieren und haben daher nur einen schwachen Einfluss auf die Gesamtbewertung.
Nickname
Bisher wird nur überprüft, ob ein Nickname ausschließlich aus Großbuchstaben besteht. Weitere Tests wie etwa die Länge oder das Vorhandensein von Vokalen werden noch hinzukommen.
Verifiziert
Zur Zeit werden hauptsächlich Prominente von Twitter verifiziert, d.h. auf Echtheit überprüft. Zwar ist das nur ein schwaches Kriterium, wurde aber der Vollständigkeit halber erst einmal mit aufgenommen. Später, wenn sich auch reguläre User verifizieren lassen können, wird dieser Punkt wesentlich interessanter werden.
Favoriten
Das Anlegen von Favoriten ist in der Regel eine Aktion, die nicht von Bots durchgeführt wird. Wer also viele Favoriten angelegt hat, ist mit hoher Wahrscheinlichkeit kein Bot, sondern jemand, der sich auch inhaltlich mit den Tweets anderer auseinandersetzt.
Bild
Viele benutzen das Vorhandensein eines Profilbildes als Indikator dafür, ob jemand folgenswert ist oder nicht und daher wird dieses Kriterium mit berücksichtigt.
Tweetsprache
Rein informativ ist die Tweetsprache, die aufgrund der geposteten Tweets ermittelt wird. Die Sprache der Tweets fließt natürlich nicht in die Bewertung ein. Für die Erkennung der Sprache wird die http://langid.net-API verwendet. Wenn jemand in mehreren Sprachen twittert, kann es zu falschen Ergebnissen kommen.
Ein großes Problem besteht noch mit Tweets mit anderen Alphabet wie russisch, chinesisch usw. Das liegt aber nicht an langid.net, sondern an Wayati selbst. Bei nicht-lateinischen Zeichen gibt es Schwierigkeiten mit den Regular Expressions, die ich aber noch beheben werde.