Mit welcher Technologie sind Ihre Crawler gebaut?

Alle unsere Crawler sind mit Scrapy gebaut, dem Open-Source-Web-Scraping-Framework, das unsere Gründer erstellt haben. Zusätzlich verwenden wir zahlreiche andere Open-Source-Frameworks, die wir entwickelt haben, um sicherzustellen, dass Sie nicht an proprietäre Technologie gebunden sind. Wir verwenden Crawlera als unsere Proxy-Lösung und Splash als headless Browser, falls einer benötigt wird.