Show HN: Anakin – AIエージェントが最も困難なウェブサイトにアクセスするためのAPI
Anakinは、AIエージェントが困難なウェブサイトをスクレイピングするための新しいAPIです。反ボット対策や動的コンテンツを処理し、単一のエンドポイントでデータを抽出できます。6年間の開発を経て、1000ページあたり1ドルから利用可能です。
Anakinは、AIエージェントがアクセス困難なウェブサイトからデータを取得するために開発された新しいAPIです。創業者は、自身がウェブアクセスを必要とするプロジェクトを頻繁に開発する中で、常に動作するソリューションが見つからないという不満を抱えていました。そこでチームと共に、セルフヒーリング機能を備えたこのAPIを6年かけて構築しました。
使い方は簡単で、URLをPOSTするだけで、Markdown、JSON、HTML、スクリーンショット、またはそれらすべてを取得できます。このAPIは、CloudflareやAkamaiのような強固な保護を備えたサイトでも動作し、反ボット対策、プロキシローテーション、JavaScriptレンダリング、認証済みセッション、スキーマベースの抽出を自動的に処理します。他のツールが失敗するようなサイトでも、Anakinならデータを取得できます。
また、ページの読み込み待ちやクリック操作にも対応しており、動的コンテンツの取得に優れています。当初は大企業のみを対象としていましたが、現在は1000ページあたり1ドルで誰でも利用可能です。
Anakinの強みは、最も困難なウェブサイトに特化してきたことです。100カ国以上の複雑なサイトを調査し、その知見をすべてAPIに組み込みました。市場には多くのスクレイピングAPIがありますが、ほとんどのものはウェブサイトが反撃してくると機能しなくなります。Anakinはその点で異なります。
これはシリーズの最初の製品であり、今後のアップデートではさらに低コストで大規模なデータ抽出が可能になる予定です。無料枠では最初の300ページをカバーし、20の実URLを使用したベンチマークも公開されています。デモ動画や詳細な比較はGitHubで確認できます。Anakinは、AIエージェントがこれまでアクセスできなかったウェブデータの扉を開く、開発者にとって価値あるツールです。