Data Science mit Python - Das Handbuch für den Einsatz von IPython, Jupyter, NumPy, Pandas, Matplotlib und Scikit-Learn

Cover

Titel

Impressum

Inhaltsverzeichnis

Einleitung

Über den Autor

Kapitel 1: Mehr als normales Python: IPython

1.1 Shell oder Notebook?

1.1.1 Die IPython-Shell starten

1.1.2 Das Jupyter-Notebook starten

1.2 Hilfe und Dokumentation in IPython

1.2.1 Mit ? auf die Dokumentation zugreifen

1.2.2 Mit ?? auf den Quellcode zugreifen

1.2.3 Module mit der Tab-Vervollständigung erkunden

1.3 Tastaturkürzel in der IPython-Shell

1.3.1 Tastaturkürzel zum Navigieren

1.3.2 Tastaturkürzel bei der Texteingabe

1.3.3 Tastaturkürzel für den Befehlsverlauf

1.3.4 Sonstige Tastaturkürzel

1.4 Magische Befehle in IPython

1.4.1 Einfügen von Codeblöcken mit %paste und %cpaste

1.4.2 Externen Code ausführen mit %run

1.4.3 Messung der Ausführungszeit von Code mit %timeit

1.4.4 Hilfe für die magischen Funktionen anzeigen mit ?, %magic und %lsmagic

1.5 Verlauf der Ein- und Ausgabe

1.5.1 Die IPython-Objekte In und Out

1.5.2 Der Unterstrich als Abkürzung und vorhergehende Ausgaben

1.5.3 Ausgaben unterdrücken

1.5.4 Weitere ähnliche magische Befehle

1.6 IPython und Shell-Befehle

1.6.1 Kurz vorgestellt: die Shell

1.6.2 Shell-Befehle in IPython

1.6.3 Werte mit der Shell austauschen

1.7 Magische Befehle für die Shell

1.8 Fehler und Debugging

1.8.1 Exceptions handhaben: %xmode

1.8.2 Debugging: Wenn das Lesen von Tracebacks nicht ausreicht

1.9 Profiling und Timing von Code

1.9.1 Timing von Codeschnipseln: %timeit und %time

1.9.2 Profiling kompletter Skripte: %prun

1.9.3 Zeilenweises Profiling mit %lprun

1.9.4 Profiling des Speicherbedarfs: %memit und %mprun

1.10 Weitere IPython-Ressourcen

1.10.1 Quellen im Internet

1.10.2 Bücher

Kapitel 2: Einführung in NumPy

2.1 Die Datentypen in Python

2.1.1 Python-Integers sind mehr als nur ganzzahlige Werte

2.1.2 Python-Listen sind mehr als nur einfache Listen

2.1.3 Arrays feststehenden Typs in Python

2.1.4 Arrays anhand von Listen erzeugen

2.1.5 Neue Arrays erzeugen

2.1.6 NumPys Standarddatentypen

2.2 Grundlagen von NumPy-Arrays

2.2.1 Attribute von NumPy-Arrays

2.2.2 Indizierung von Arrays: Zugriff auf einzelne Elemente

2.2.3 Slicing: Teilmengen eines Arrays auswählen

2.2.4 Arrays umformen

2.2.5 Arrays verketten und aufteilen

2.3 Berechnungen mit NumPy-Arrays: universelle Funktionen

2.3.1 Langsame Schleifen

2.3.2 Kurz vorgestellt: UFuncs

2.3.3 NumPys UFuncs im Detail

2.3.4 UFunc-Features für Fortgeschrittene

2.3.5 UFuncs: mehr erfahren

2.4 Aggregationen: Minimum, Maximum und alles dazwischen

2.4.1 Summieren der Werte eines Arrays

2.4.2 Minimum und Maximum

2.4.3 Beispiel: Durchschnittliche Größe der US-Präsidenten

2.5 Berechnungen mit Arrays: Broadcasting

2.5.1 Kurz vorgestellt: Broadcasting

2.5.2 Für das Broadcasting geltende Regeln

2.5.3 Broadcasting in der Praxis

2.6 Vergleiche, Maskierungen und boolesche Logik

2.6.1 Beispiel: Regentage zählen

2.6.2 Vergleichsoperatoren als UFuncs

2.6.3 Boolesche Arrays verwenden

2.6.4 Boolesche Arrays als Maskierungen

2.7 Fancy Indexing

2.7.1 Fancy Indexing im Detail

2.7.2 Kombinierte Indizierung

2.7.3 Beispiel: Auswahl zufälliger Punkte

2.7.4 Werte per Fancy Indexing modifizieren

2.7.5 Beispiel: Daten gruppieren

2.8 Arrays sortieren

2.8.1 Schnelle Sortierung in NumPy: np.sort und np.argsort

2.8.2 Teilsortierungen: Partitionierung

2.8.3 Beispiel: k nächste Nachbarn

2.9 Strukturierte Daten: NumPys strukturierte Arrays

2.9.1 Strukturierte Arrays erzeugen

2.9.2 Erweiterte zusammengesetzte Typen

2.9.3 Record-Arrays: strukturierte Arrays mit Pfiff

2.9.4 Weiter mit Pandas

Kapitel 3: Datenbearbeitung mit Pandas

3.1 Pandas installieren und verwenden

3.2 Kurz vorgestellt: Pandas-Objekte

3.2.1 Das Pandas-Series-Objekt

3.2.2 Das Pandas-DataFrame-Objekt

3.2.3 Das Pandas-Index-Objekt

3.3 Daten indizieren und auswählen

3.3.1 Series-Daten auswählen

3.3.2 DataFrame-Daten auswählen

3.4 Mit Pandas-Daten arbeiten

3.4.1 UFuncs: Indexerhaltung

3.4.2 UFuncs: Indexanpassung

3.4.3 UFuncs: Operationen mit DataFrame und Series

3.5 Handhabung fehlender Daten

3.5.1 Überlegungen zu fehlenden Daten

3.5.2 Fehlende Daten in Pandas

3.5.3 Mit null-Werten arbeiten

3.6 Hierarchische Indizierung

3.6.1 Mehrfach indizierte Series

3.6.2 Methoden zum Erzeugen eines MultiIndex

3.6.3 Indizierung und Slicing eines MultiIndex

3.6.4 Multi-Indizes umordnen

3.6.5 Datenaggregationen mit Multi-Indizes

3.7 Datenmengen kombinieren: concat und append

3.7.1 Verkettung von NumPy-Arrays

3.7.2 Einfache Verkettungen mit pd.concat

3.8 Datenmengen kombinieren: Merge und Join

3.8.1 Relationale Algebra

3.8.2 Join-Kategorien

3.8.3 Angabe der zu verknüpfenden Spalten

3.8.4 Mengenarithmetik bei Joins

3.8.5 Konflikte bei Spaltennamen: das Schlüsselwort suffixes

3.8.6 Beispiel: Daten von US-Bundesstaaten

3.9 Aggregation und Gruppierung

3.9.1 Planetendaten

3.9.2 Einfache Aggregationen in Pandas

3.9.3 GroupBy: Aufteilen, Anwenden und Kombinieren

3.10 Pivot-Tabellen

3.10.1 Gründe für Pivot-Tabellen

3.10.2 Pivot-Tabellen von Hand erstellen

3.10.3 Die Syntax von Pivot-Tabellen

3.10.4 Beispiel: Geburtenraten

3.11 Vektorisierte String-Operationen

3.11.1 Kurz vorgestellt: String-Operationen in Pandas

3.11.2 Liste der Pandas-Stringmethoden

3.11.3 Beispiel: Rezeptdatenbank

3.12 Zeitreihen verwenden

3.12.1 Kalenderdaten und Zeiten in Python

3.12.2 Zeitreihen in Pandas: Indizierung durch Zeitangaben

3.12.3 Datenstrukturen für Zeitreihen in Pandas

3.12.4 Häufigkeiten und Abstände

3.12.5 Resampling, zeitliches Verschieben und geglättete Statistik

3.12.6 Mehr erfahren

3.12.7 Beispiel: Visualisierung von Fahrradzählungen in Seattle

3.13 Leistungsstarkes Pandas: eval() und query()

3.13.1 Der Zweck von query() und eval(): zusammengesetzte Ausdrücke

3.13.2 Effiziente Operationen mit pandas.eval()

3.13.3 DataFrame.eval() für spaltenweise Operationen

3.13.4 Die DataFrame.query()-Methode

3.13.5 Performance: Verwendung von eval() und query()

3.14 Weitere Ressourcen

Kapitel 4: Visualisierung mit Matplotlib

4.1 Allgemeine Tipps zu Matplotlib

4.1.1 Matplotlib importieren

4.1.2 Stil einstellen

4.1.3 show() oder kein show()? – Anzeige von Diagrammen

4.1.4 Grafiken als Datei speichern

4.2 Zwei Seiten derselben Medaille

4.3 Einfache Liniendiagramme

4.3.1 Anpassen des Diagramms: Linienfarben und -stile

4.3.2 Anpassen des Diagramms: Begrenzungen

4.3.3 Diagramme beschriften

4.4 Einfache Streudiagramme

4.4.1 Streudiagramme mit plt.plot() erstellen

4.4.2 Streudiagramme mit plt.scatter() erstellen

4.4.3 plot kontra scatter: eine Anmerkung zur Effizienz

4.5 Visualisierung von Fehlern

4.5.1 Einfache Fehlerbalken

4.5.2 Stetige Fehler

4.6 Dichtediagramme und Konturdiagramme

4.6.1 Visualisierung einer dreidimensionalen Funktion

4.7 Histogramme, Binnings und Dichte

4.7.1 Zweidimensionale Histogramme und Binnings

4.8 Anpassen der Legende

4.8.1 Legendenelemente festlegen

4.8.2 Legenden mit Punktgrößen

4.8.3 Mehrere Legenden

4.9 Anpassen von Farbskalen

4.9.1 Farbskala anpassen

4.9.2 Beispiel: Handgeschriebene Ziffern

4.10 Untergeordnete Diagramme

4.10.1 plt.axes: Untergeordnete Diagramme von Hand erstellen

4.10.2 plt.subplot: Untergeordnete Diagramme in einem Raster anordnen

4.10.3 plt.subplots: Das gesamte Raster gleichzeitig ändern

4.10.4 plt.GridSpec: Kompliziertere Anordnungen

4.11 Text und Beschriftungen

4.11.1 Beispiel: Auswirkungen von Feiertagen auf die Geburtenzahlen in den USA

4.11.2 Transformationen und Textposition

4.11.3 Pfeile und Beschriftungen

4.12 Achsenmarkierungen anpassen

4.12.1 Vorrangige und nachrangige Achsenmarkierungen

4.12.2 Markierungen oder Beschriftungen verbergen

4.12.3 Anzahl der Achsenmarkierungen verringern oder erhöhen

4.12.4 Formatierung der Achsenmarkierungen

4.12.5 Zusammenfassung der Formatter- und Locator-Klassen

4.13 Matplotlib anpassen: Konfigurationen und Stylesheets

4.13.1 Diagramme von Hand anpassen

4.13.2 Voreinstellungen ändern: rcParams

4.13.3 Stylesheets

4.14 Dreidimensionale Diagramme in Matplotlib

4.14.1 Dreidimensionale Punkte und Linien

4.14.2 Dreidimensionale Konturdiagramme

4.14.3 Drahtgitter- und Oberflächendiagramme

4.14.4 Triangulation von Oberflächen

4.15 Basemap: geografische Daten verwenden

4.15.1 Kartenprojektionen

4.15.2 Zeichnen eines Kartenhintergrunds

4.15.3 Daten auf einer Karte anzeigen

4.15.4 Beispiel: Kalifornische Städte

4.15.5 Beispiel: Oberflächentemperaturen

4.16 Visualisierung mit Seaborn

4.16.1 Seaborn kontra Matplotlib

4.16.2 Seaborn-Diagramme

4.17 Weitere Ressourcen

4.17.1 Matplotlib

4.17.2 Weitere Grafikbibliotheken für Python

Kapitel 5: Machine Learning

5.1 Was ist Machine Learning?

5.1.1 Kategorien des Machine Learnings

5.1.2 Qualitative Beispiele für Machine-Learning-Anwendungen

5.1.3 Zusammenfassung

5.2 Kurz vorgestellt: Scikit-Learn

5.2.1 Datenrepräsentierung in Scikit-Learn

5.2.2 Scikit-Learns Schätzer-API

5.2.3 Anwendung: Handgeschriebene Ziffern untersuchen

5.2.4 Zusammenfassung

5.3 Hyperparameter und Modellvalidierung

5.3.1 Überlegungen zum Thema Modellvalidierung

5.3.2 Auswahl des besten Modells

5.3.3 Lernkurven

5.3.4 Validierung in der Praxis: Rastersuche

5.3.5 Zusammenfasssung

5.4 Merkmalserstellung

5.4.1 Kategoriale Merkmale

5.4.2 Texte als Merkmale

5.4.3 Bilder als Merkmale

5.4.4 Abgeleitete Merkmale

5.4.5 Vervollständigung fehlender Daten

5.4.6 Pipelines mit Merkmalen

5.5 Ausführlich: Naive Bayes-Klassifikation

5.5.1 Bayes-Klassifikation

5.5.2 Gauß’sche naive Bayes-Klassifikation

5.5.3 Multinomiale naive Bayes-Klassifikation

5.5.4 Einsatzgebiete für naive Bayes-Klassifikation

5.6 Ausführlich: Lineare Regression

5.6.1 Einfache lineare Regression

5.6.2 Regression der Basisfunktion

5.6.3 Regularisierung

5.6.4 Beispiel: Vorhersage des Fahrradverkehrs

5.7 Ausführlich: Support Vector Machines

5.7.1 Gründe für Support Vector Machines

5.7.2 Support Vector Machines: Maximierung des Randbereichs

5.7.3 Beispiel: Gesichtserkennung

5.7.4 Zusammenfassung Support Vector Machines

5.8 Ausführlich: Entscheidungsbäume und Random Forests

5.8.1 Gründe für Random Forests

5.8.2 Schätzerensembles: Random Forests

5.8.3 Random-Forest-Regression

5.8.4 Beispiel: Random Forest zur Klassifikation handgeschriebener Ziffern

5.8.5 Zusammenfassung Random Forests

5.9 Ausführlich: Hauptkomponentenanalyse

5.9.1 Kurz vorgestellt: Hauptkomponentenanalyse

5.9.2 Hauptkomponentenanalyse als Rauschfilter

5.9.3 Beispiel: Eigengesichter

5.9.4 Zusammenfassung Hauptkomponentenanalyse

5.10 Ausführlich: Manifold Learning

5.10.1 Manifold Learning: »HELLO«

5.10.2 Multidimensionale Skalierung (MDS)

5.10.3 MDS als Manifold Learning

5.10.4 Nichtlineare Einbettungen: Wenn MDS nicht funktioniert

5.10.5 Nichtlineare Mannigfaltigkeiten: lokal lineare Einbettung

5.10.6 Überlegungen zum Thema Manifold-Methoden

5.10.7 Beispiel: Isomap und Gesichter

5.10.8 Beispiel: Visualisierung der Strukturen in Zifferndaten

5.11 Ausführlich: k-Means-Clustering

5.11.1 Kurz vorgestellt: der k-Means-Algorithmus

5.11.2 k-Means-Algorithmus: Expectation-Maximization

5.11.3 Beispiele

5.12 Ausführlich: Gauß’sche Mixture-Modelle

5.12.1 Gründe für GMM: Schwächen von k-Means

5.12.2 EM-Verallgemeinerung: Gauß’sche Mixture-Modelle

5.12.3 GMM als Dichteschätzung

5.12.4 Beispiel: GMM zum Erzeugen neuer Daten verwenden

5.13 Ausführlich: Kerndichteschätzung

5.13.1 Gründe für Kerndichteschätzung: Histogramme

5.13.2 Kerndichteschätzung in der Praxis

5.13.3 Beispiel: Kerndichteschätzung auf Kugeloberflächen

5.13.4 Beispiel: Nicht ganz so naive Bayes-Klassifikation

5.14 Anwendung: Eine Gesichtserkennungs-Pipeline

5.14.1 HOG-Merkmale

5.14.2 HOG in Aktion: eine einfache Gesichtserkennung

5.14.3 Vorbehalte und Verbesserungen

5.15 Weitere Machine-Learning-Ressourcen

5.15.1 Machine Learning in Python

5.15.2 Machine Learning im Allgemeinen

Stichwortverzeichnis