まず最初の質問、スパムとは何でしょうか？単純に「自動化された活動」と答えるのは間違いです。見つけたスパムの75%以上は、実際には電話やウォレット、xアカウントを持っている本物の人間によるものです。最も適切な定義は「不誠実な活動」です。誰かがフォローしたり、いいねを押したり、返信したりするのが、自分の利益のためであって、あなたに興味があるわけではないと気づいた時に感じるその感覚のことです。
スパムは、エアドロップ（無料で何かをもらえるイベント）を狙って行動する人たちによって引き起こされます。例えば、Twitterで偽のアカウントを作成しても、多くのお金を稼ぐことはできませんし、直接的に測定できる金額でもありません。しかし、Farcasterで同じことを行えば、10ドルや100ドルのエアドロップを得ることができるかもしれません。Farcasterのスパマーは非常にモチベーションが高いです。私たちは、Xのような大規模なネットワークで一般的になる前に、LLM（大規模言語モデル）のスパムパターンを確認しています。
スパムも非常に迅速に分類される必要があります。そうしないと、スパマーがサインアップ後に多くのユーザーと交流し、彼らを不満にさせます。判断に必要な情報が少ない場合もあり、間違った判断をすると、人々は非常に不満を抱きます。スパムラベルが付けられていないスパマーは既存のユーザーを不満にさせ、誤ってラベルが付けられた新しいユーザーはフラストレーションを感じて二度と戻ってこなくなります。
私たちのスパムモデルはアカウントを次の4つのカテゴリに分類します：
レベル0：判断に必要な情報が不足している
レベル1：他のユーザーが好む本物のユーザー
レベル2：一部のユーザーが好まないやや偽りのユーザー
レベル3：ほとんどの人が嫌う非常に偽りのユーザー
誰かがスパムであると確信した場合、そのアカウントはレベル3に分類され、その活動は通常「もっと見る」オプションの下に隠されます。ほとんどの場合、それは明確ではありません。アカウントがしばらくは良い状態で、突然新しいエアドロップが始まるとスパム状態になることもあります。この場合、レベル2が適用され、例えばブーストから除外されるなどの軽微な対策が取られますが、返信は表示されます。アカウントは新しい情報を使用してより正確な判断をするために非常に頻繁に再評価されます。私たちは約4〜5アカウントを毎分再評価しています。
スパム検出モデルを構築するには3つの部分があります：
各アカウントに計算される信号を定義します。理想的にはスパム行動と相関関係があります（例えば投稿の頻度）。
手動レビュー、ユーザーレポート、またはヒューリスティックを通じてデータにラベルを付けます。データセットはパターンに有意性があるほど大きくなければなりません。
モデルを訓練し、ラベル付きデータを処理して信号の組み合わせが最も良い予測因子であることを見つけます。
@akshaanは決定木のコレクションであるランダムフォレストと呼ばれるモデルタイプを選択しました。ランダムフォレストはデータの非常に微妙なパターンを識別できます。例えば、ある国のスパムリングがすべてのボットを同時に起動することがありました。私たちは国と投稿の時間を信号としてフィードしたため、その国で午後10時に頻繁に投稿するアカウントがスパムであることをすぐに学びました。しかし、興味深いことに、国を予測因子としては無視していました。同じ国から投稿しても、より人間らしいパターンで1日中投稿している場合はスパマーとして評価しませんでした。フォレストは非常に洗練されており、数十の信号を重ねてそのようなパターンを見つけることができます。スパマーが行動を変えるにつれて定期的に再訓練されることができます。
最良の信号が何であるかは直感的ではないこともあります。例えば、私はCoinbaseで不正行為に取り組んでいたとき、最も良い信号の1つは画面解像度でした。詐欺師は非常に奇妙な画面解像度を持つ仮想マシンを使用していたことが判明しました。Farcasterデータでも同じことが確認されました。実際の信号が何であるかについては控えめにします。なぜなら、それを明かすとスパマーが行動を変え、検出が難しくなるからです。
一般に提案される信号（例えばオンチェーンデータ）はあまりうまく機能しません。ブロックチェーン活動がほとんどない多くのユーザーが非常に興味深いことがわかります。そして逆もまた同様で、ENSや他のオンチェーン活動を持つ人々が攻撃的なスパマーやエアドロップファーマーであることが多いです。最近、オンチェーン信号をテストしましたが、予測力の改善はほとんどありませんでした。将来、より多くの活動がオンチェーンに移行するにつれて変わるかもしれませんが、今日のところあまり役に立ちません。
非常に良好な信号は次の3つのカテゴリのいずれかに該当します：
グラフベース - スパマーはしばしば似たような活動パターンを共有しており、それを利用して検出できます
行動 - 彼らは特定の方法で行動する傾向があり、その行動が繰り返し行われるためです（例えば、固定間隔での投稿）
テキスト - 彼らの投稿内容はその品質を非常に予測しやすいです
