Pulpie：20倍安価なHTMLコンテンツ抽出ツール、SOTAに匹敵

Feyn Labsは、HTMLページからメインコンテンツを抽出するためのパレート最適なモデル群、Pulpieをリリースした。最小モデルpulpie-orange-small（210Mパラメータ）は、WebMainBenchで0.862のROUGE-5 F1スコアを記録——Dripperの0.864とほぼ同じ——だが、実行コストは20分の1。NVIDIA L4 GPU上で、毎秒13.7ページを処理するのに対し、Dripperは0.68ページ。10億ページのクリーニングにかかるコストは、Pulpieで7,900ドル、Dripperで159,000ドルだ。

主要なアーキテクチャ上の洞察：Pulpieはエンコーダを使用し、すべてのHTMLブロックを1回のフォワードパスでコンテンツかボイラープレートかにラベル付けする。一方、Dripperはデコーダであり、ラベルを1トークンずつ出力するため、速度がメモリ帯域幅に制約される。これにより、Pulpieは品質を維持しながら、より小型で高速、かつ低コストを実現している。

Pulpieのパイプラインは4段階で動作する：HTMLの簡略化（スクリプト、スタイルを削除）、ブロックを8,192トークンのセグメントに分割、フォワードパスで各ブロックを分類、保持されたブロックをHTMLまたはMarkdownとして返す。約80%のページは1チャンクに収まる。

トレーニングには、ラベル付きデータセットをゼロから構築する必要があった。チームはCommon Crawlから16,670ページの英語ページをサンプリングし、DeepSeek V3.2でブロックにラベル付けした後、Dripper 0.6Bとクロスチェックし、ラベラー間の一致率が70%以上の14,959ページを保持した。教師モデル（EuroBERT-2.1B）をこのデータでファインチューニングし、0.873のROUGE-5 F1スコアを達成。その教師を、KLダイバージェンス損失（重み0.7）とハードラベルのクロスエントロピー（重み0.3）を用いて、2つの小型エンコーダ——Pulpie Orange Base（610M）とPulpie Orange Small（210M）——に蒸留した。

蒸留されたモデルは、教師の品質をほぼ完全に保持している。210Mモデルは2.1B教師と比較してF1で1.1ポイント以内に収まり、サイズが3分の1でありながらDripperと同等の性能を発揮する。また、Dripperはベンチマーク内の135ページで失敗する（主にコンテキストウィンドウのオーバーフローが原因）が、Pulpieはチャンク分割により任意の長さのページを処理できる。

データ品質は重要だ。記事では、Common Crawlからのよりクリーンな抽出により、ベンチマーク精度が1.08パーセンテージポイント向上し、FineWebやRefinedWebのような厳重にフィルタリングされたコーパスを凌駕したというAICCの研究を引用している。推論時には、1つの無関係なパッセージがモデルの回答を狂わせる可能性があるため、クリーンなコンテキストはトレーニングと本番の両方で重要である。

Pulpieはオープンソースであり、Hugging Faceで利用可能。大規模なWeb抽出を行うすべての人——プリトレーニングデータパイプラインやRAGコンテキスト管理のため——にとって、これはコストとスループットの面で大きな前進である。