apify/crawlee
Apache-2.0 · 商用可
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Works with Puppeteer, Playwright, Cheerio, JSDOM, and raw HTTP. Both headful and headless mode. With proxy rotation.
記録している数値
開発の様子
10.2 年
公開してからの期間。2016-08-27 が最初のコミットです
137 回
リリースの回数です
147 人
開発に参加した人数です
2 日前
最後のコミットです
155 件
未解決の Issue とプルリクエストの合計です（GitHub はこの2つを同じ数に含めます）
ほかの候補
scrapy/scrapyScrapy, a fast high-level web crawling & scraping framework for Python.
NaiboWang/EasySpider A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/网页爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。
apache/airflow Apache Airflow - A platform to programmatically author, schedule, and monitor workflows