Benutzer-Werkzeuge

Webseiten-Werkzeuge


allgemein:jupyterhub

JupyterHub

Der JupyterHub (auch „JupyterLab“ genannt) unter https://jupyterhub.informatik.haw-hamburg.de ist einer der Dienste, die innerhalb der ICC betrieben werden. Dabei handelt es sich um eine Browser-basierte Experimentier- und Ausführungsumgebung für Programmcode (in erster Linie Python). Bei dem Jupyter-Projekt (nähere Infos unter https://jupyter.org) werden Programmcode, deren Ausführung/Ausgaben und Dokumentation in einer Datei kombiniert, sogenannten Notebooks.

Die Bündelung von Programmcode, Ergebnissen und Kommentaren eignet sich gut für die forschungsgetriebene Lehre und wird vor allem im Kontext des maschinellen Lernens (Bilderkennung, neuronale Netze etc.) stark verwendet.

Der Login erfolgt mit der HAW-Kennung, anschließend stehen diverse Server zur Auswahl. Diese Server (bzw. „Kernel“ im JupyterHub/Python-Sprachgebrauch) stellen eine vorkonfigurierte Auswahl von Sprachkomponenten und Bibliotheken dar, die aufeinander abgestimmt sind, und werden dediziert pro Nutzer in Form von Kubernetes-Pods in der ICC gestartet. (Jede/r hat also seinen bzw. ihren eigenen Server zur Laufzeit.) Da die zugrundeliegenden Containerabbilder unveränderlich und flüchtig sind, wird die Speicherung der Benutzerdaten in Form von Cloud-Volumes realisiert. Jeder Benutzer bekommt bei dem initialen Login ein frisches 20GB-Volumes bereitgestellt; sollte dieser Speicher nicht ausreichen, ist eine Vergrößerung problemlos möglich. Dazu einfach per MS-Teams beim Informatik-Support anfragen (Teamcode qwlqb91), Unterkanal JupyterHub.

Außerdem lässt sich bei der Serverauswahl festlegen, ob man seinen Code mit Grafikkartenunterstützung starten möchten („GPU“ im Namen der Images) oder ohne. Die GPU-Ausführung ist insbesondere für das Trainieren mit ML-Framworks (Tensorflow, Keras, Pytorch) interessant, dort lassen sich große Geschwindigkeitsvorteile im Vergleich zur reinen CPU-Ausführung erzielen. Hierfür stehen 12 Nvidia Tesla V100 Karten im Cluster zur Verfügung. Man beachte allerdings, dass die Nutzung dieser Karten einen exklusiven Zugriff darstellt, d.h. sie nur von einem Nutzer zur Zeit verwendet werden können. Insofern sollte mit diesen Ressourcen mit Bedacht umgegangen werden und man sollte sie nur bei Bedarf allokieren (nicht etwa für Vorbereitung und erste Tests) und nach der Nutzung auch wieder freigeben (Control Panel → Shutdown Server).

Diese Website verwendet Cookies. Durch die Nutzung der Website stimmen Sie dem Speichern von Cookies auf Ihrem Computer zu. Außerdem bestätigen Sie, dass Sie unsere Datenschutzbestimmungen gelesen und verstanden haben. Wenn Sie nicht einverstanden sind, verlassen Sie die Website.Weitere Information
allgemein/jupyterhub.txt · Zuletzt geändert: 2023/03/28 13:08 von Ilona Blanck

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki