So verwenden Sie ein Data-Scraping-Tool zum Extrahieren von Daten aus Webseiten

Wenn Sie Dinge von Webseiten kopieren und einfügen und sie manuell in Tabellenkalkulationen einfügen, wissen Sie entweder nicht, was Daten-Scraping (oder Web-Scraping) ist, oder Sie wissen, was es ist, sind aber nicht wirklich begeistert von der Idee Lernen Sie, wie man codiert, nur um sich ein paar Stunden Klicken zu sparen.

In jedem Fall gibt es viele No-Code-Data-Scraping-Tools, die Ihnen helfen können, und die Chrome-Erweiterung von Data Miner ist eine der intuitiveren Optionen. Wenn Sie Glück haben, ist die Aufgabe, die Sie ausführen möchten, bereits im Rezeptbuch des Tools enthalten, und Sie müssen nicht einmal die Point-and-Click-Schritte ausführen, die zum Erstellen Ihrer eigenen erforderlich sind.

Wie funktioniert Data Miner?

Data Miner hilft Ihnen, Daten von Webseiten in schön formatierte Excel-/CSV-Dateien zu übertragen, indem Sie den Text der geladenen Seiten durchsuchen. Das bedeutet, dass Sie mit HTML zumindest vertraut genug sein müssen, um ein paar Muster zu erkennen, aber nichts zu umfangreiches. Fortgeschrittene HTML- und/oder JavaScript-Kenntnisse werden bei einigen Aufgaben sicherlich hilfreich sein, sind aber für die meisten Dinge nicht erforderlich. Sie sollten auch über grundlegende Kenntnisse in Tabellenkalkulationen verfügen, damit Sie sicher sein können, dass Ihre Ausgabe sauber und organisiert ist.

1. Data Miner einrichten

Verwenden Sie Chrome oder einen anderen Chromium-Browser, Installieren Sie die Erweiterung. Das Spitzhacke-Symbol der Erweiterung wird in Ihrer Symbolleiste angezeigt. Wenn Sie darauf klicken, gelangen Sie zu einer Seite, auf der Sie ein Konto einrichten können. Die kostenlose Version gibt Ihnen 500 Scrapes pro Monat, was wahrscheinlich für Sie ausreicht, es sei denn, Sie tun dies jeden Tag.

2. Laden Sie die Daten

Navigieren Sie zunächst zu der Seite, von der Sie Daten extrahieren möchten. Wenn Sie mehrere Seiten mit Daten haben oder einige davon hinter Schaltflächen versteckt sind, ist das in Ordnung – es gibt Möglichkeiten, damit umzugehen. Im Moment benötigen Sie nur ein repräsentatives Beispiel, damit das Programm weiß, wonach es suchen muss.

3. Suchen Sie nach einem Rezept

Öffnen Sie als Nächstes Data Miner und überprüfen Sie die Registerkarte „Öffentlich“ auf vorhandene Rezepte. Wenn Sie sich auf einer beliebten Website befinden, hat möglicherweise bereits jemand anderes einen Prozess erstellt, um die gesuchten Daten zu erhalten, was Ihnen viel Zeit sparen würde. Auf Websites wie Google, Amazon und Twitter stehen beispielsweise viele Rezepte zur Verfügung, mit denen Sie Links, Preise, Texte und andere Daten sofort herunterladen können. Sie können die Rezepte testen, indem Sie auf die Schaltfläche „Ausführen“ klicken, um eine Vorschau der von Data Miner erstellten Tabelle anzuzeigen. Sie können auch vorhandene Rezepte an Ihre Bedürfnisse anpassen, indem Sie auf die Schaltfläche „Bearbeiten“ klicken.

4. Seitentyp

Okay, keine vorgefertigten Rezepte haben für Sie funktioniert. Das ist in Ordnung, Sie können Ihre eigenen machen. Klicken Sie einfach auf die Schaltfläche „Neues Rezept“, um zu beginnen.

Ihre erste Wahl ist „Listenseite“ oder „Detailseite“.

Wählen Sie „Seite auflisten“, wenn Sie versuchen, mehrere Datenzeilen von einer einzigen Seite abzurufen. Sie können beispielsweise den Link und den Seitentitel jedes Suchergebnisses herunterladen oder das Datum und den Inhalt von Beiträgen in einem Feed abrufen. Dies ist wahrscheinlich der gebräuchlichste Typ und wird hier als Demo verwendet. (Die Schritte für eine Detailseite sind im Wesentlichen gleich.)

Wählen Sie „Detailseite“, wenn Sie viele verschiedene Informationen zu einer Sache auf einer einzigen Seite haben – eine Produktseite zum Beispiel, auf der Sie den Preis, die Beschreibung, den Link und die Bewertung erfassen und alles in einer einzigen Zeile zusammenfassen müssen.

Schritt 5: Machen Sie Ihre Reihen

Klicken Sie auf die Schaltfläche „Suchen“ und bewegen Sie die Maus, bis das gelbe Auswahlfeld alle Daten abdeckt, die Sie für einen einzigen Eintrag in Ihre endgültige Tabelle benötigen. Wenn Sie beispielsweise Suchergebnisse herunterladen, müssen Sie einen ausreichend großen Bereich markieren, um den Titel, die URL und die Beschreibung aufzunehmen, die Sie im nächsten Schritt jeweils in separate Spalten einfügen können. Um Ihre Auswahl zu treffen, klicken Sie auf Schicht Schlüssel. Machen Sie sich keine Sorgen, wenn Sie versehentlich klicken. Data Miner speichert Ihren gesamten Rezeptfortschritt, auch wenn Sie die Seite verlassen.

Sie sollten dann mindestens eines der Kontrollkästchen im Abschnitt „Elementklassen“ oder „HTML-Elementtyp“ aktivieren. Im Idealfall wird die Auswahl repliziert, um jedes Element auf der Seite abzudecken, das sich in derselben Kategorie wie die von Ihnen ausgewählte befindet.

Wenn Sie feststellen, dass der Selektor nicht alles abdeckt, was Sie benötigen, wählen Sie nur eines der Elemente aus und drücken Sie auf „Übergeordnetes Element auswählen“. Dadurch wird die Box größer und nimmt wahrscheinlich alles auf, was Sie brauchen. Wenn nicht, müssen Sie möglicherweise ein wenig in den HTML-Code eintauchen und die Klassen und Typen der benötigten Elemente identifizieren. Klicken Sie im Zweifelsfall auf „Übergeordnetes Element auswählen“, bis das Feld so groß wie möglich ist, ohne mehr als einen Listeneintrag abzudecken, da Sie so mehr Flexibilität bei der Auswahl von Spalten haben.

Data Miner bietet Ihnen unten die Option „HTML des Elements anzeigen“ und lässt Sie auch benutzerdefinierte Selektoren eingeben. Wenn Sie sagen möchten, nehmen Sie alle Links auf einer Seite mit der Klasse „Produkt“ auf, Sie können einfach eingeben a.product. Hier sind einige grundlegende HTML/CSS-Kenntnisse wirklich praktisch.

Sobald Sie wieder im Hauptzeilenmenü sind, sollten Sie eine „Zeilenzahl“ mit der Anzahl der Einträge sehen, die Ihr Rezept in einer Tabelle erstellen wird. Wenn nicht alles erfasst wird, müssen Sie Ihre Zeilenauswahl noch einmal überprüfen.

6. Teilen Sie Ihre Daten in Spalten auf

Sobald Sie alle Daten für Ihre Zeilen ausgewählt haben, ist es an der Zeit, alles schön aussehen zu lassen, indem Sie es in verschiedene Spaltenkategorien unterteilen. Jede Auswahl, die Sie hier treffen, sollte ein Unterabschnitt des Felds sein, das Sie für Ihre Zeilen ausgewählt haben.

Um eine Spalte zu erstellen, geben Sie einfach einen Namen dafür ein und verwenden Sie die Schaltfläche Suchen, um auszuwählen, was Sie extrahieren möchten, genau wie bei den Zeilen. Die gebräuchlichsten Daten sind wahrscheinlich Text, URL oder Bild-URL. Das Abrufen von URLs durch Bewegen der Maus über Textlinks kann etwas schwierig sein. Möglicherweise müssen Sie „Eltern auswählen“ drücken, bis Sie eine Ebene erreichen, in der der Elementtyp ist <a>, das ist das HTML-Tag für Links.

Um sicherzustellen, dass Sie die richtige Art von Daten in Ihrer Spalte haben, drücken Sie einfach auf das Augensymbol rechts neben dem Namen jeder Spalte, neben der Zahl, die Ihnen anzeigt, wie viele Spalten ausgewählt wurden. Dies zeigt Ihnen eine Vorschau jedes Zeileneintrags für diese Spalte. Wenn etwas nicht stimmt, gehen Sie zurück und optimieren Sie die Tags und Typen, die Sie ausgewählt haben, um die Zeilen zu identifizieren. Scheuen Sie sich nicht, den HTML-Viewer zu öffnen und nach Mustern zu suchen, die mit den Daten verknüpft sind, die Sie abrufen möchten.

7. Sagen Sie Data Miner, wie Sie zur nächsten Seite gelangen

Wenn Sie mehrere Seiten mit Daten extrahieren müssen, möchten Sie wahrscheinlich nicht jede einzelne durchklicken und Ihr Rezept immer wieder ausführen. Um dies zu umgehen, teilen Sie Data Miner einfach mit, wo die Navigationsschaltfläche zu finden ist, auf die Sie klicken müssen, um zur nächsten Seite zu gelangen. Passen Sie auf, dass Sie nicht auf etwas wie „Seite 2“ klicken, da es dann einfach zu Seite 2 geht. Stellen Sie erneut sicher, dass Sie eine . auswählen <a> -Element und verwenden Sie die Schaltfläche Navigation testen, um sicherzustellen, dass es funktioniert.

8. Sagen Sie Data Miner, wo er klicken oder scrollen soll, um Daten zu laden

Einige Seiten laden keine Daten, bis Sie auf etwas klicken oder nach unten scrollen. Glücklicherweise kann Data Miner diese Dinge auch tun! Verwenden Sie das „Suchen“-Tool oben (das sollten Sie inzwischen ziemlich gut können), um das Element auszuwählen, das Sie bearbeiten möchten, setzen Sie dann den Selektor in das entsprechende Feld und testen Sie ihn, um sicherzustellen, dass er funktioniert.

Es kann schwierig sein, herauszufinden, welcher Selektor das Element oder die unendliche Bildlaufleiste aktiviert, aber grundlegende HTML-Kenntnisse und einige Versuche werden Sie hier ziemlich weit bringen. Die meisten Dinge, die Sie hier bearbeiten müssen, basieren auf JavaScript, aber Data Miner muss nur den CSS-Selektor kennen, der mit der Aktion verknüpft ist, um sie zu aktivieren, sodass Sie in den meisten Fällen nicht mit Code herumspielen müssen.

Im nächsten Schritt können Sie auch benutzerdefiniertes JS hinzufügen, um so ziemlich alles zu tun, was Sie möchten, aber das ist ziemlich fortgeschritten und geht über das hinaus, was wir für das grundlegende Scraping benötigen.

9. Speichern Sie das Rezept und führen Sie es aus

Herzliche Glückwünsche! Jetzt ist es an der Zeit zu sehen, ob alles zusammengekommen ist. Führen Sie das Rezept auf der Seite aus, auf der Sie sich befinden, und überprüfen Sie die Vorschau, um zu sehen, ob Ihre Zeilen und Spalten das tun, was sie sollen. Wenn nicht, können Sie zurückgehen und das Rezept bearbeiten.

Wenn sich alles wie gewünscht verhält, können Sie dem Scraper über die Schaltfläche „Nächste Seite“ mitteilen, wie viele Seiten er crawlen und wie schnell er gehen soll.

Sobald Sie alle benötigten Daten haben, können Sie auswählen, welches Dateiformat Sie zum Herunterladen verwenden möchten.

Ich habe Probleme; gibt es einen einfacheren weg?

Wenn das Data Miner-Programm nicht für Sie funktioniert, gibt es viele andere Tools zum Daten-Scraping: ParseHub, Scraper, Octoparse, Import.io, VisualScraper usw. Einige von ihnen haben möglicherweise intuitivere Benutzeroberflächen und mehr Automatisierung. Sie müssen jedoch zumindest ein wenig über HTML und die Organisation des Webs Bescheid wissen. Was Data Miner für Anfänger besonders schön macht, ist seine Crowdsourcing-Rezeptbibliothek, die Ihnen möglicherweise helfen kann, selbst die kleinste Begegnung mit Code zu vermeiden. Dies, in Kombination mit seinem ziemlich großzügigen kostenlosen monatlichen Scrapes-Paket, macht es zu einem sehr anständigen Werkzeug für die meisten Bedürfnisse.