Pythonライブラリ MainContentExtractor で、HTMLからメイン部分を取り出す（マークダウン変換もサポート！）

はじめに

こんなに寒いのにもう8月か〜、nikkieです。

Today（※最近） I learned な小ネタです。

目次

• はじめに
• 目次
• MainContentExtractorでHTMLからメインの部分を取り出す
• 知ったきっかけ
• MainContentExtractorのドキュメントより
• 似たツール
• 終わりに

MainContentExtractorでHTMLからメインの部分を取り出す

https://pypi.org/project/MainContentExtractor/

inline script metadataで動かします。

% uv run script.py https://nikkie-ftnext.hatenablog.com/entry/happy-birthday-emily-chang-2024 contents.md

渡したのはエミリーちゃんのお誕生日をお祝いする記事。
マークダウンで取得できています！

### はじめに

[実は毎日「エミリーちゃんかわいい」しか考えてません](https://twitter.com/ftnext/status/1744258523196989579)、nikkieです。

(略)

• uv 0.5.17 (Homebrew 2025-01-10)
• Python 3.11.8
• MainContentExtractor 0.0.4
• HTTPX 0.28.1

知ったきっかけ

話題のbrowser-useが依存していて知りました。
https://github.com/browser-use/browser-use/blob/0.1.23/pyproject.toml#L16
MainContentExtractorは0.0.4というバージョンなので、攻めた採用に映ります¹。

MainContentExtractorのドキュメントより

日本語のREADMEがありました。
上記スクリプトはREADMEのHowToUseをベースにしています²

trafilaturaは非常に優れたメインコンテンツ抽出ライブラリですが、必要なデータが欠落したり、HTMLを出力できないといった問題があります。
これらの問題に対処するために、本ライブラリがあります。

trafilaturaは名前だけ聞いたことがありました³。

MainContentExtractor.extract()のoutput_format引数は、マークダウン以外も指定できます⁴。

HTML形式の他にText形式、Markdown形式での出力もサポートしています。

マークダウンへの変換を担うのは、html2text！

https://pypi.org/project/html2text/

似たツール

過去に記事にしたFireCrawlが浮かびます

• MainContentExtractor：HTMLの取得は提供されない（HTTPXのような別ライブラリ）。マークダウン出力できる
• FireCrawl：クロール（HTML取得）も、マークダウン出力も

私がまだ触っていないだけで、似たツールは他にもあるように思います

終わりに

Pythonライブラリ MainContentExtractor で、HTMLからメインの部分を取り出せます。

• HTMLの取得は提供されない（別のライブラリを使う）
• 出力はマークダウン、HTML、プレーンテキストをサポート

リポジトリは放置気味、PyPIのバージョンよりもリポジトリが最新という状況ですが、browser-useが使っているという実績があります。

browser-useの依存で知ったMainContentExtractor。
ベータやアルファって感じありますが、ユーザはBeautifulSoupで書くのと同じ量の記載で、HTMLのmainだけとれてそうhttps://t.co/dxzk5FQ1zH
日本語READMEもありました

— nikkie(にっきー) / にっP (@ftnext) 2025年1月13日