LayerNorm vs. RMSNorm: Warum RMSNorm reicht
LayerNorm zentriert und skaliert, RMSNorm nur skaliert. Warum die Zentrierung verzichtbar ist, ohne Modellqualität zu verlieren, zeigt eine geometrische Erklärung.
15.02.2026·Blog
~/notes
Notizen aus dem Studium und Gedanken zwischendurch.
PyTorch: Warum view() nach transpose() fehlschlägt
transpose() macht Tensoren non-contiguous (logische ≠ physische Reihenfolge). view() funktioniert nur mit contiguous Tensoren → RuntimeError. Lösung: reshape() statt view().
31.10.2025·Blog
SwabianGPT: Wie ich ein LLM für Dialekt-Übersetzung feingetuned habe
Wie ich ein LLAMA 3.1 Modell auf Schwäbisch fine-tune — Datenaufbereitung, QLoRA-Training und Evaluation aus der Praxis.
01.02.2025·Blog
Ein neuronales Netz von Grund auf mit Python & NumPy bauen
Ein einsteigerfreundlicher Guide zu neuronalen Netzen: vom einzelnen Neuron bis zum kompletten Python-Modell, das mit NumPy Hauspreise vorhersagt.
27.08.2024·Blog
Lineare Regression im Machine Learning: Ein Einstieg für Anfänger
Eine Einführung in die lineare Regression: Modelldefinition, Kostenfunktion und Gradientenabstieg, erklärt am einfachen Beispiel von Schülern und ihren Lernstunden.
25.01.2024·Blog