• about me
  • statistics
    • example data
  • twitter-mining (german)
  • raspberry pi (german)
  • links
  • Datenschutz
ahoi data

analysis, visualisation and playing around with data

Webscraping mit Raspberry Pi – Teil 1 – Raspbian, Python und pip installieren

2015-01-06 by Niels

Als erstes wird ein Notebook bzw. ein Raspberry Pi mit Python und einigen Python packages benötigt. Es existieren zwei Python-Versionen. Python 2 und Python 3. Die Python-Gemeinschaft ist scheinbar sehr gespalten, welche Python-Version die „richtige“ ist. Für Python 2 gibt es eine breite Auswahl an Zusatzmodulen, die mit Python 3 nicht immer kompatibel sind. Python 3 hingegen gilt als die aktuellere Version mit höherer Zukunftssicherheit, die jedoch viele Lösungen, die für Python 2 schon existieren, nicht bieten kann. Doch wie sagte Barney Stinson in How I Met Your Mother? „New is always better„. Also habe ich mich für Python 3 entschieden. Natürlich nicht, ohne vorher zu überprüfen, ob ich mein Projekt damit durchführen kann.

Python mit pip auf Windows7 installieren

Den Python-Code für mein Raspberry-Pi Projekt, habe ich nicht auf dem Raspberry-Pi, sondern auf meinem Notebook mit Windows 7 getippt. Um auf Windows 7 die entsprechende Umgebung aufzusetzen, sind folgende Schritte nötig. Die Anleitung stammt von hier: How to install python or pip on windows.

Als erstes installieren wir Python 3.4. Es kann hier runtergeladen werden Python 3.4

Um die verschiedenen Python-packages zu installieren, wird Package-manager gebraucht. Ich nutze pip. Leider ist die Installation etwas umständlich. Aber mit folgender Anleitung ist die Sache in 3 Minuten erledigt:

  • Öffnen: Startmenü „Alle Programme“ > „Zubehör“ > „Windows PowerShell“ > „Windows PowerShell ISE“
  • Unten in die Konsole eingeben: [code]Set-ExecutionPolicy Unrestricted[/code]
  • Pfad der Python-Skripte eingeben: [code]setx PATH „%PATH%;E:\Python3\Scripts“[/code]
  • Folgendes Skript eingeben:
  • [code]mkdir c:\envscd c:\envs
    (new-object System.Net.WebClient).DownloadFile(‚http://python-distribute.org/distribute_setup.py‘, ‚c:\envs\distribute_setup.py‘)
    (new-objectSystem.Net.WebClient).DownloadFile(‚http://bit.ly/1fOKkbw‘,
    ‚c:\envs\get-pip.py‘) pythonc:\envs\distribute_setup.pypython c:\envs\get-pip.py [/code]

  • Abschließend „PIP“ in die Powershell eingeben.

Nun ist pip installiert und wir können in die normale Windows-Eingabeaufforderung gehen und Python-Libraries installieren:

  • c:\Python3\Scripts\pip install beautifulsoup4
  • c:\Python3\Scripts\pip install requests
  • c:\Python3\Scripts\pip install datetime

Raspberry Pi

Als Hardware benötigt man:

  • Raspberry Pi + Stromversorgung
  • SD Karte
  • Netzwerkkabel mit Zugang zu Router (oder einen WLAN Stick wie diesen)
  • Mouse, Keyboard, HDMI Bildschirm

Anschließend wird das Betriebssystem aufgespielt. Hierzu braucht man ein Notebook mit SD-Kartenleser.

  1. Wheezy Raspian downloaden
  2. SD-Karte formatieren (z.B. mit SD-Formatterv4)
  3. Mit einem USB-Image Tool das Raspian Image auf die SD Karte aufspielen
  4. SD-Karte in Raspberry Pi einsetzen und booten. Dann das Netzwerkkabel anschließen oder WLAN einrichten.

Python 2 und 3 sind auf dem Raspberry Pi schon installiert. Schließlich kommt das „PI“ von „Python Interpreter“. Bevor wir loslegen können, fehlen aber noch pip und einige Packages.

  1. Im Terminal eingeben: sudo apt-get update
  2. Pip installieren: sudo apt-get install python3-pip
  3. Module installieren
    • Sudo pip-3.2 install requests
    • Sudo pip-3.2 install time
    • Sudo pip-3.2 install datetime
    • Sudo pip-3.2 install BeautifulSoup4

Eventuell möchte man den Raspberry Pi über sein Notebook steuern. Hierfür muss erst der SSH-Server auf dem Raspberry Pi eingeschaltet werden: sudo raspi-config. Hier sollte man start destop on boot aktivieren, damit der reomote-zugriff bei jedem Neustart erlaubt ist. Die IP-Adresse findet man unter ipconfig. Unter Windows schafft man dann z.B. mittels Putty eine Verbindung zum Raspberry Pi.

 

Posted in: Uncategorized Tagged: pip, Python, Raspberry Pi
← Twitter-mining mit R – Teil 6 – Tweets im Zeitverlauf visualisieren – in Überarbeitung
Webscraping mit Raspberry Pi – Teil 2 – Beautifulsoup →

Neueste Beiträge

  • Multiple Imputation in R. How to impute data with MICE for lavaan.
  • Whereabouts of observations between multiple latent class models. Supplementary plot for LCA with poLCA.
  • Example for a latent class analysis with the poLCA-package in R
  • How to plot correlations of rating items with R
  • Plot with background in ggplot2: Visualising line-ups from Hurricane-festival 1997 – 2015

Neueste Kommentare

    Schlagwörter

    AMOS DiagrammeR graphviz latent class analysis lavaan lavaan.survey LISREL Mining MPLUS Onyx OpenMX path diagrams pip poLCA Python R Raspberry Pi Rest API rstats SEM semPlot sentiment analysis SPSS STATA Streaming API streamR structural equation modeling survey weights textmining TikZ Twitter twitter-API twitter-mining visualisation Visualisierung wordcloud

    Meta

    • Anmelden
    • Feed der Einträge
    • Kommentare-Feed
    • WordPress.org

    Copyright © 2023 ahoi data.

    Omega WordPress Theme by ThemeHall