Webscraping mit Raspberry Pi – Teil 1 – Raspbian, Python und pip installieren
Als erstes wird ein Notebook bzw. ein Raspberry Pi mit Python und einigen Python packages benötigt. Es existieren zwei Python-Versionen. Python 2 und Python 3. Die Python-Gemeinschaft ist scheinbar sehr gespalten, welche Python-Version die „richtige“ ist. Für Python 2 gibt es eine breite Auswahl an Zusatzmodulen, die mit Python 3 nicht immer kompatibel sind. Python 3 hingegen gilt als die aktuellere Version mit höherer Zukunftssicherheit, die jedoch viele Lösungen, die für Python 2 schon existieren, nicht bieten kann. Doch wie sagte Barney Stinson in How I Met Your Mother? „New is always better„. Also habe ich mich für Python 3 entschieden. Natürlich nicht, ohne vorher zu überprüfen, ob ich mein Projekt damit durchführen kann.
Python mit pip auf Windows7 installieren
Den Python-Code für mein Raspberry-Pi Projekt, habe ich nicht auf dem Raspberry-Pi, sondern auf meinem Notebook mit Windows 7 getippt. Um auf Windows 7 die entsprechende Umgebung aufzusetzen, sind folgende Schritte nötig. Die Anleitung stammt von hier: How to install python or pip on windows.
Als erstes installieren wir Python 3.4. Es kann hier runtergeladen werden Python 3.4
Um die verschiedenen Python-packages zu installieren, wird Package-manager gebraucht. Ich nutze pip. Leider ist die Installation etwas umständlich. Aber mit folgender Anleitung ist die Sache in 3 Minuten erledigt:
- Öffnen: Startmenü „Alle Programme“ > „Zubehör“ > „Windows PowerShell“ > „Windows PowerShell ISE“
- Unten in die Konsole eingeben: [code]Set-ExecutionPolicy Unrestricted[/code]
- Pfad der Python-Skripte eingeben: [code]setx PATH „%PATH%;E:\Python3\Scripts“[/code]
- Folgendes Skript eingeben:
- Abschließend „PIP“ in die Powershell eingeben.
[code]mkdir c:\envscd c:\envs
(new-object System.Net.WebClient).DownloadFile(‚http://python-distribute.org/distribute_setup.py‘, ‚c:\envs\distribute_setup.py‘)
(new-objectSystem.Net.WebClient).DownloadFile(‚http://bit.ly/1fOKkbw‘,
‚c:\envs\get-pip.py‘) pythonc:\envs\distribute_setup.pypython c:\envs\get-pip.py [/code]
Nun ist pip installiert und wir können in die normale Windows-Eingabeaufforderung gehen und Python-Libraries installieren:
- c:\Python3\Scripts\pip install beautifulsoup4
- c:\Python3\Scripts\pip install requests
- c:\Python3\Scripts\pip install datetime
Raspberry Pi
Als Hardware benötigt man:
- Raspberry Pi + Stromversorgung
- SD Karte
- Netzwerkkabel mit Zugang zu Router (oder einen WLAN Stick wie diesen)
- Mouse, Keyboard, HDMI Bildschirm
Anschließend wird das Betriebssystem aufgespielt. Hierzu braucht man ein Notebook mit SD-Kartenleser.
- Wheezy Raspian downloaden
- SD-Karte formatieren (z.B. mit SD-Formatterv4)
- Mit einem USB-Image Tool das Raspian Image auf die SD Karte aufspielen
- SD-Karte in Raspberry Pi einsetzen und booten. Dann das Netzwerkkabel anschließen oder WLAN einrichten.
Python 2 und 3 sind auf dem Raspberry Pi schon installiert. Schließlich kommt das „PI“ von „Python Interpreter“. Bevor wir loslegen können, fehlen aber noch pip und einige Packages.
- Im Terminal eingeben: sudo apt-get update
- Pip installieren: sudo apt-get install python3-pip
- Module installieren
- Sudo pip-3.2 install requests
- Sudo pip-3.2 install time
- Sudo pip-3.2 install datetime
- Sudo pip-3.2 install BeautifulSoup4
Eventuell möchte man den Raspberry Pi über sein Notebook steuern. Hierfür muss erst der SSH-Server auf dem Raspberry Pi eingeschaltet werden: sudo raspi-config. Hier sollte man start destop on boot aktivieren, damit der reomote-zugriff bei jedem Neustart erlaubt ist. Die IP-Adresse findet man unter ipconfig. Unter Windows schafft man dann z.B. mittels Putty eine Verbindung zum Raspberry Pi.