Wayati FAQ
(Unterschied zwischen Versionen)
(→Generelle Struktur) |
|||
| Zeile 13: | Zeile 13: | ||
Der Algorithmus untersucht hauptsächlich die Struktur der Tweets. Der Inhalt wird nicht bewertet, daher funktioniert der Algorithmus sprachunabhängig. Zum Beispiel werden Tweets schlecht bewertet, wenn Aufzählungen von Usern, viele Hashtags oder Wörter, die nur aus Großbuchstaben bestehen. Auch Tweet-übergreifend erkennt der Spamchecker, wenn jemand komplette Tweets ständig wiederholt oder den gleichen Text an verschiedene User schickt. | Der Algorithmus untersucht hauptsächlich die Struktur der Tweets. Der Inhalt wird nicht bewertet, daher funktioniert der Algorithmus sprachunabhängig. Zum Beispiel werden Tweets schlecht bewertet, wenn Aufzählungen von Usern, viele Hashtags oder Wörter, die nur aus Großbuchstaben bestehen. Auch Tweet-übergreifend erkennt der Spamchecker, wenn jemand komplette Tweets ständig wiederholt oder den gleichen Text an verschiedene User schickt. | ||
| + | == Tweet-Analyse == | ||
Für die Untersuchung werden lediglich die letzten 20 Tweets herangezogen. Das reicht aus, um eine Bewertung abzugeben und ermöglicht es, Verhaltensänderungen schnell zu erkennen. Der Vorteil besteht auch darin, dass die letzen 20 Tweets mit einer einzigen Twitter-Abfrage ermittelt werden können und somit eine Analyse mit geringem Aufwand schnell möglich ist. | Für die Untersuchung werden lediglich die letzten 20 Tweets herangezogen. Das reicht aus, um eine Bewertung abzugeben und ermöglicht es, Verhaltensänderungen schnell zu erkennen. Der Vorteil besteht auch darin, dass die letzen 20 Tweets mit einer einzigen Twitter-Abfrage ermittelt werden können und somit eine Analyse mit geringem Aufwand schnell möglich ist. | ||
Folgende Tests werden durchgeführt: | Folgende Tests werden durchgeführt: | ||
| - | + | ||
=== Generelle Struktur === | === Generelle Struktur === | ||
Die Tweets werden in Einzelteile zerlegt und es wird untersucht, ob User, Links, Hashtags und "Geschrei", also Wörter, die nur aus Großbuchstaben bestehen und länger als drei Buchstaben sind (Abkürzungen) vorkommen. Zusammenhängender Text wird als ein Element betrachtet. | Die Tweets werden in Einzelteile zerlegt und es wird untersucht, ob User, Links, Hashtags und "Geschrei", also Wörter, die nur aus Großbuchstaben bestehen und länger als drei Buchstaben sind (Abkürzungen) vorkommen. Zusammenhängender Text wird als ein Element betrachtet. | ||
Version vom 09:55, 22. Sep. 2009
Inhaltsverzeichnis |
Wayati.com
Was ist der Zweck von Wayati.com?
Wayati.com ist ein WebService, mit dem man Spammer aus seiner Friendlist herausfiltern kann. Um herauszufinden, ob es sich bei einem Twitter-Account um einen Spammer bzw. Annoying User handelt, wurde ein spezieller Algorithmus entwickelt, der aufgrund der Struktur der Tweets erkennen kann, ob und wie lästig ein Twitter-User ist.
Darüber hinaus ist Wayati.com als Technikstudie gedacht, wobei es darum geht, eine sinnvolle Klassenbibliothek für PHP zu entwickeln, mit der man schnell und möglichst komfortabel komplexe Webanwendungen erstellen kann.
Wayati.com ist noch in der Entwicklung. Bisher ist es nur möglich, einzelne Benutzer von dem Dienst bewerten zu lassen.
Was bedeutet Wayati?
Wayati ist ein Kunstwort und ist die Abkürzung für "Waste ya (your) time". Twitter ist ein Zeitvertreib, dessen praktischer Nutzen für viele beschränkt ist, selbst wenn er für wenige durchaus vorhanden ist. Wayati.com hat das Ziel, diese potentielle Zeitverschwendung angenehmer zu machen, in dem die lästigen Nervensägen entfernt werden, um den Spaßfaktor zu erhöhen.
Wie funktioniert die Spam-Erkennung?
Der Algorithmus untersucht hauptsächlich die Struktur der Tweets. Der Inhalt wird nicht bewertet, daher funktioniert der Algorithmus sprachunabhängig. Zum Beispiel werden Tweets schlecht bewertet, wenn Aufzählungen von Usern, viele Hashtags oder Wörter, die nur aus Großbuchstaben bestehen. Auch Tweet-übergreifend erkennt der Spamchecker, wenn jemand komplette Tweets ständig wiederholt oder den gleichen Text an verschiedene User schickt.
Tweet-Analyse
Für die Untersuchung werden lediglich die letzten 20 Tweets herangezogen. Das reicht aus, um eine Bewertung abzugeben und ermöglicht es, Verhaltensänderungen schnell zu erkennen. Der Vorteil besteht auch darin, dass die letzen 20 Tweets mit einer einzigen Twitter-Abfrage ermittelt werden können und somit eine Analyse mit geringem Aufwand schnell möglich ist.
Folgende Tests werden durchgeführt:
Generelle Struktur
Die Tweets werden in Einzelteile zerlegt und es wird untersucht, ob User, Links, Hashtags und "Geschrei", also Wörter, die nur aus Großbuchstaben bestehen und länger als drei Buchstaben sind (Abkürzungen) vorkommen. Zusammenhängender Text wird als ein Element betrachtet.
Zum Beispiel "@userxy Bei uns regnet es heute. #wetter" besteht aus drei Elementen: User, Text, Hashtag (UTH) Die meisten bestehen nur aus Text (T) oder Text, Hashtag (TH), User, Text (UT) oder Text, Link (TL) oder Text, Link, Hashtag (TLH) und weisen somit eine recht übersichtliche Struktur auf.
Typische Spam-Tweets sehen so aus: "easy money making: http://tinyurl.com/ltjqvt @bbqmaven @Chodidees @TheAngryDude @hownottowrite". Die Elemente sind Text, Link, User, User, User, User (TLUUUU) Besonders nervig ist zum Beispiel folgendes: "RT @LouisLeBeau: #MM best @LavaLampLV @Oscar_LeChat @Dunkin_the_Cat @TPPCtv @zeepeters @Lorenzothecat @buschpetproduct @MyTuxedoCat @MaxTheD": RT, User, Hashtag, Text gefolgt von 9 Usern (RUHTUUUUUUUUU)
Der Struktur-Test bewertet die durchschnittliche Länge dieser Strukturbeschreibungen.
Gleiche Wörter
Wenn Wörter (auch Hashtags) - auch über mehrere Tweets hinweg - ständig vorkommen, dann besteht der Verdacht, dass sich entweder jemand ständig wiederholt oder für einen Dienst oder ein Produkt geworben wird. Je häufiger gleiche Wörter wiederholt werden, umso schlechter ist die Bewertung.
Gleiche Links
Ein noch deutlicheres Zeichen für Spam ist es, wenn ein Link ständig wiederholt wird.
User Refs
Zu den nervigsten Spammern gehören diejenigen, die Tweets mit langen Listen von Usern verschicken. Der Zweck ist mir nicht ganz klar. Jedenfalls bekommen alle diesen Tweet zu sehen, die in der Liste aufgeführt sind. Es gibt aber auch Spam-Account-Gruppen, die automatisch generierte Tweets erstellen und nur User dieser Gruppe in die Tweets integrieren.
Spam Refs
Wurde ein User bereits als Spammer identifiziert und taucht in Tweets eines anderen Users auf, wirkt sich das negativ auf denjenigen aus, der (vorgeblich) mit solchen Spam-Accounts kommuniziert. In der Regel tauchen solche Spammer nur bei anderen Spammern auf, um diese ebenfalls zu promoten, weil sie zum Beispiel vom gleichen Initiator stammen.
Eigener Nick
Auch wenn ein User seinen eigenen Namen ständig in Tweets einbaut, ist das ein Indiz für Spam. Das kommt ebenfalls häufig bei denjenigen vor, die lange Listen mit Nicks automatisiert verbreiten.
Hashtags
Hashtags sind sinnvoll, um Hinweise auf den Inhalt der Tweets zu geben und haben eine Meta-Funktion. Wer es allerdings damit übertreibt, macht sich verdächtig. Von Spammern werden Hashtags hauptsächlich dazu missbraucht, bei bestimmten Schlagwörtern möglichst gut gefunden zu werden.
"Geschrei"
Texte, die hauptsächlich aus Großbuchstaben bestehen, werden generell als laut und störend empfunden.
Tweet ohne Text
Wer einfach nur Links, User oder Hashtags postet, ohne weitere Erklärungen in Textform. Hierunter fallen ebenfalls die bereits erwähnten User-Listen.
Textmenge
Ein wichtiges Unterscheidungsmerkmal zwischen guten und schlechten Twitterern ist das Verhältnis zwischen Text und anderen Elementen wie Hashtags, User-Refs, Links usw. Je weniger Text die Updates enthalten, umso uninteressanter ist der User.