Python ist wohl eine der beliebtesten Programmiersprachen. Sie wird sowohl von Data Scientists als auch Softwareentwicklern gleichermaßen für die Lösung von Data Science Problemen verwendet. Auch immer mehr Unternehmen setzen auf Python. So ist es kaum verwunderlich, dass es mittlerweile auch Java abgelöst zu haben scheint — aber das wäre ein Artikel für sich… wer weiß, vielleicht schreib ich ja bald mal darüber.
Python kann verwendet werden, um Ergebnisse vorherzusagen, Aufgaben zu automatisieren, Prozesse zu rationalisieren und vieles mehr. Doch welche Tools sind nun für welche Tasks geeignet? Es gibt in Python ja eine ganze Reihe an Bibiliotheken. Sie erleichtern dir die Arbeit mit allen möglichen Arten von Daten definitiv. Bestimmt hast du — wenn du dich für den Inhalt dieses Artikels interessierst — sowieso schon von einigen gehört. Aber vielleicht gibt es eine hilfreiche Bibliothek, die dir noch fehlt?
Hier habe ich mir eine Reihe der wichtigsten Python-Bibliotheken für Data Science im Bereich Datenmodellierung und Visualisierung angeschaut. Die Datenverarbeitung habe ich dieses Mal außen vor gelassen — einfach zuviel für einen Artikel.
Manchmal scheinen die ganzen Python-Module etwas durcheinander. Oder ihre Funktionen ähneln sich stark, überschneiden sich sogar. Sie bergen aber ein großes Potenzial. Das Potenzial von perfekt automatisierbaren, zu großen Anwendungen skalierbaren und leicht auszubringenden Anwendungen. So kann auch der nächste Entwickler, der sich daran zu schaffen macht noch nachvollziehen was gemacht wurde.
NumPy (Numerical Python) ist ein perfektes Werkzeug für wissenschaftliches Arbeiten und die Durchführung sowohl grundlegender und als auch erweiterter Array-Operationen.
Diese Library bietet viele praktische Features, die Operationen auf n-Arrays und Matrizen in Python ausführen. Numpy hilft dabei, Arrays zu verarbeiten, die Werte desselben Datentyps speichern, und erleichtert die Durchführung von mathematischen Operationen auf Arrays, sowie deren Vektorisierung. Es ist tatsächlich auch so, dass die Vektorisierung mathematischer Operationen am NumPy-Array-Typ die Leistung erhöht und die Ausführungszeit erheblich verkürzt.
Die zweite nützliche Bibliothek — SciPy — setzt auf NumPy auf und erweitert es um einige Möglichkeiten zum Scientific Computing. Es enthält Module für lineare Algebra, Integration, Optimierung und Statistik. SciPy eignet sich eigentlich für alle Arten von wissenschaftlichen Programmierprojekten, sowohl in der reinen Wissenschaft, als auch in der Mathematik und im Ingenieurwesen und der Wirtschaft. Es bietet effiziente numerische Routinen wie die numerische Optimierung, Integration und andere in weiteren Submodulen. Die umfangreiche Dokumentation macht die Arbeit mit dieser Bibliothek außerdem sehr einfach.
Kommen wir zu Pandas. Pandas baut, genau wie SciPy auch, auf NumPy auf und verbessert die Userfreundlichkeit für die Datentransformation und Analyse. Pandas ist eine Bibliothek, die entwickelt wurde, um Programmierern zu helfen, intuitiv mit “gelabelten” und “relationalen” Daten zu arbeiten.
Pandas-Objekte erleichtern die Datenanalyse, weil sie über Methoden zur deskriptiven Statistik und zur Visualisierung verfügen — die Standards für eine explorative Datenanalyse. Pandas basiert auf zwei Hauptdatenstrukturen: “Series” (eindimensional, wie eine Liste von Elementen) und “Data Frames” (zweidimensional, wie eine Tabelle mit mehreren Spalten). Pandas ermöglicht das Konvertieren von Datenstrukturen in DataFrame-Objekte, das Hinzufügen/Löschen von Spalten aus DataFrames, das Berechnen fehlender Variablen, Aggregieren und Verknüpfen von Dataframes und das Plotten von Daten in Histogramme und andere Darstellungsarten.
Es ist ein Must-Have für Datenbereinigung, -bearbeitung und deren Visualisierung. Wenn du mehr über Pandas erfahren möchtest, dann geht’s hier zu unserem Udemy-Kurs.
Unseren kostenlosen 8-teiligen Pandas Crashkurs findest du auch auf YouTube:
Keras ist eine großartige Open Source Deep-Learning-Bibliothek zum Aufbau neuronaler Netzwerke für das Deep Learning, deren Modellierung und Trainings. Es ist mit ein wenig Übung relativ einfach zu bedienen und bietet Entwicklern eine einheitliche Schnittstelle für verschiedene Backends, darunter TensorFlow, Microsoft Cognitive Toolkit und Theano. Auch wenn sich das in Zukuft ändern soll. Mit der neuen Version 2.3 soll dies gleichzeitig auch das letzte Release sein, das mehrere Backends unterstützt. In zukünftigen Releases soll Keras nur noch auf Tensorflow ausgerichtet sein.
Es ist eine tolle Wahl, wenn um schnell mit kompakten Systemen zu experimentieren — der minimalistische Designansatz zahlt sich hier wirklich aus!
TensorFlow ist ein beliebtes Python-Framework sowohl für Machine Learning als auch für Deep Learning. Es ist das beste Werkzeug für die Themenfelder der Objektidentifikation und Spracherkennung. Es hilft bei der Arbeit mit künstlichen neuronalen Netzwerken, die mehrere Datensätze verarbeiten müssen. Die Bibliothek umfasst verschiedene Hilfestellungen für Layer (tflearn, tf-slim, skflow), die sie noch funktionaler machen. TensorFlow wird mit seinen neuen Versionen ständig erweitert — einschließlich Korrekturen in potenziellen Sicherheitslücken oder Verbesserungen bei der Integration von TensorFlow und GPU.
Der Name scikit entstand aus den beiden Wörtern SciPy und Toolkit. Es wurde auf Grundlage von SciPy entwickelt und ergänzt dieses, da SciPy selbst nicht über entsprechende Methoden verfügt.
SciKit ist fast schon ein Standard für Data Science-Projekte in Python und gilt als die zentrale Machine-Learning Bibliothek in Python. Scikits besteht aus einer Gruppe von Paketen im SciPy Stack, die für bestimmte Funktionalitäten erstellt wurden — zum Beispiel die Bildverarbeitung. SciKit-Learn verwendet die mathematischen Operationen von SciPy, um eine präzise Schnittstelle für die gängigsten Machine Learning-Algorithmen verfügbar zu machen.
Data Scientists verwenden SciKit-Learn für die Handhabung von standardmäßigen Machine Learning und Data Mining-Aufgaben wie Clustering, Regression, Modellauswahl, Dimensionsreduktion und Klassifizierung.
Ein weiterer Vorteil? Es gibt eine super ausführliche Dokumentation dazu.
So richtig gute Visualisierungen kann man wohl am besten mit Matplotlib erstellen. Diese Bibliothek ermöglicht es, mit ein wenig Übung, jede sich vorstellbare Visualisierung von Daten vorzunehmen. Matplotlib erstellt Grafen in Publikationsqualität in einer Vielzahl von Formaten und interaktiven Umgebungen. Man kann dabei jedes Objekt bis ins Detail individuell anpassen — kann aber auch als Einsteiger schon tolle Schaubilder erstellen, die sich sehen lassen können.
Es basiert auf Matplotlib und dient als nützliches Python Machine-Learning-Tool zur Visualisierung statistischer Modelle — Heatmaps und andere Arten von Visualisierungen, die Daten zusammenfassen und so univariate und bivariate Verteilungsdiagramme, Regressionsdiagramme und eine Reihe anderer Methoden wunderbar abbilden. Wenn du diese Bibliothek verwenden möchtest, profitierst du von einem umfangreichen Angebot an möglichen komplexen Visualisierungen.
Das Erstellen von Schaubildern in Seaborn ist genauso einfach wie das Aufrufen der entsprechenden Grafikfunktion selbst. Hier geht’s zum Cheat Sheet >>> API Referenz
Dieses webbasierte Tool zur Datenvisualisierung bietet viele nützliche Grafiken. Das Coole an Plotly ist seine Interaktivität, beispielsweise macht diese sich gut in Webanwendungen, in denen Heat Maps, Boxplots oder auch 3D-Charts möglich sind. Es kann in Charts hineingezoomt werden und einzelne Graphen können vom Anwender ein- /ausgeblendet werden. Die Macher von Plotly sind außerdem ständig daran, die Bibliothek mit neuen Grafiken und Funktionen zu erweitern, um weitere verknüpfte Ansichten, Animationen und Crosstalk-Integration zu unterstützen. Mehr dazu gibts hier.
Du kannst auch gerne auf unserer Website vorbei schauen, da haben wir einiges, was den ganzen Überblick wieder entwirren und mit tiefgehenden Informationen unterfüttern. Besonders zu empfehlen ist dieser Kurs mit einem tollen Überblick:
Natürlich ist diese Übersicht nicht vollständig. Kann sie bei der Fülle der Bibs für Python auch nicht sein, möchte sie auch nicht 🙂 Spontan würden mit allein zur Datenvisualisierung bereits jetzt weitere Tools einfallen, wie TensorBoard, Bokeh, Vispy oder MoviePy.
Es kommen ja fast täglich neue Funktionen, Tools und auch zu meisternde Aufgaben hinzu — kann also auch gut passieren, dass du das hier liest und es noch keine zwei Tage alt ist und trotzdem denkst du dir: Schnee von Gestern.
Aber wenn du auch nur einen klitzekleinen Überblick und/oder Durchblick gewinnen konntest, dann lass es mich wissen!
