Andrea Margiovanni .it

Die Hände und die Maschine: das Vertrauen in die Software

Software trägt die Welt und bleibt unsichtbar. Zwischen KI, Open Source und EU-Regeln entsteht Vertrauen durch Sorgfalt, Entscheidungen und Verantwortung.

Die Hände und die Maschine

Mein Großvater war (UNTER ANDEREM) Schreiner. Wenn man ihn fragte, wie er erkannte, ob ein Stück Holz gut sei, holte er keine Theorien hervor. Er hielt inne, drehte es in den Händen, roch daran und sagte dann: „du fühlst es“.

Jedes Mal, wenn ich an diese Szene denke, lächle ich kurz und werde dann seltsam wehmütig. Denn ich mache seit zwanzig Jahren Software, und wenn ein Kunde mich fragt, wie ich erkenne, ob ein System gut ist, würde ich gern dasselbe antworten. Ich würde gern sagen „du fühlst es“ und es dabei belassen.

Nur ist die Wahrheit komplizierter, und vielleicht ist genau das der Punkt.

Software fasst man nicht an. Man riecht nicht an ihr. Man hält sie nicht gegen das Licht, um nach Maserung zu suchen. Und doch ist sie überall. Sie ist das Mächtigste und Unsichtbarste, das wir gebaut haben.

Und wenn etwas so unsichtbar ist, wird Vertrauen alles.

Die Welt läuft auf Dingen, die ihr nicht seht

Heute Morgen habt ihr gefrühstückt. Die Milch, die ihr gekauft habt, kam in den Supermarkt durch eine Logistikkette, die von Software gesteuert wird. Die Kassenzahlung lief durch mehr Systeme, als wir ahnen, oft ohne dass es jemand bemerkt.

Die Ampel, die ihr beim Verlassen der Wohnung gekreuzt habt, führt einen Algorithmus aus. Der Aufzug hat eine Firmware. Euer Gehalt ist eine Zahl in einer Datenbank.

Ich sage das nicht der Wirkung wegen. So ist die Welt heute.

Und hier kommt das Paradox, das mich beunruhigt. Fast niemand unter denen, die darüber entscheiden, wie die Gesellschaft funktioniert, versteht diese Systeme tief. Nicht aus Dummheit oder Faulheit. Eher wegen eines strukturellen Mangels in unserer Kultur: jahrelang haben wir Technologie als Sache der Techniker behandelt, eine Abteilung, eine Ecke der Karte.

Inzwischen ist sie zum Bindegewebe von allem geworden.

Wenn ein Vorstand ein KI-System zur Vorfilterung von Bewerbungen genehmigt, trifft er eine technologische Entscheidung? Ja. Aber er trifft auch eine ethische, juristische, soziale Entscheidung. Er entscheidet, welche Vorurteile akzeptabel sind, welche Fehlerquote tolerierbar ist, wie viel Undurchsichtigkeit in einem Prozess zulässig ist, der Menschenleben verändert.

Und oft weiß er es nicht.

Was passiert, wenn niemand die Maschine versteht

Es gibt eine Geschichte, die wir in unserer Branche gut kennen, die wir aber selten außerhalb unserer Räume erzählen.

In fast jedem System, das ihr nutzt — von der Bankseite bis zur Essensliefer-App —, stecken kleine Codestücke, die von Menschen geschrieben wurden, denen ihr nie begegnen werdet. Es sind Open-Source-Bibliotheken: kostenlose, geteilte Komponenten, oft von Einzelpersonen in der Freizeit gepflegt.

Vor einiger Zeit hat jemand versucht, eine Hintertür in eine dieser Bibliotheken einzubauen — eine Komponente, die von Millionen Servern weltweit benutzt wird. Der Versuch wurde fast zufällig entdeckt: einem Ingenieur fiel auf, dass das System eine halbe Sekunde länger zum Starten brauchte. Eine halbe Sekunde.

Aus dieser halben Sekunde rekonstruierte man eine ausgefeilte Operation, vermutlich staatlich gestützt, die kritische Infrastrukturen in globalem Maßstab hätte kompromittieren können.

Was den Schlaf rauben sollte, ist nicht, dass es jemand versucht hat. Es ist, dass die gesamte Sicherheitskette an einer einzigen Person hing — einem Freiwilligen, der diesen Code in seiner Freizeit pflegte, während er gegen Burnout kämpfte.

Das ist keine Einzelanekdote. Es ist ein Muster. Und ich frage mich oft, wie lange es so trägt.

KI ist nicht intelligent (und das ist gut so)

Hier muss man klar sein, denn das Marketing hat einen unglaublichen Job darin gemacht, das Wasser zu trüben.

Die Systeme, die wir „künstliche Intelligenz“ nennen, denken nicht. Verstehen nicht. Haben weder Absichten noch Wünsche noch eigene Ziele. Sie sind statistische Maschinen beispielloser Mächtigkeit, fähig, Muster in Datenmengen zu finden, die kein Mensch verarbeiten könnte, und Ergebnisse zu erzeugen, die intelligent erscheinen.

Diese Unterscheidung ist nicht akademisch. Sie ist praktisch. Eines der Dinge, die deine Entscheidungsweise verändern.

Wenn ihr glaubt, KI verstehe, werdet ihr sie wie eine Expertin behandeln. Ihrem Urteil vertrauen. Ihr Entscheidungen delegieren. Und wenn sie sich irrt — sie irrt sich, mitunter subtil — werdet ihr nicht die Werkzeuge haben, es zu bemerken.

Wenn ihr sie hingegen als das seht, was sie ist — ein sehr mächtiges Werkzeug —, kehrt alles in eine gesündere Perspektive zurück. Ein Werkzeug muss geführt, geprüft, abgesichert werden. Ein Skalpell ist außergewöhnlich in der Hand einer Chirurgin und gefährlich in jeder anderen. Der Unterschied liegt nicht im Skalpell.

Für die, die Software schreiben, verändert dieses Bewusstsein die Arbeit. Vielleicht schreiben wir nicht mehr jede einzelne Zeile selbst, jedenfalls nicht so wie früher. Aber wir müssen jede einzelne Zeile verstehen, weil wir es sind, die für das, was das System tut, einstehen.

Die Maschine generiert. Der Mensch bürgt.

Und diese Bürgschaft hat ein Gewicht, das kein statistisches Modell auf sich nehmen kann.

Europa wagt etwas Mutiges (und kaum jemand merkt es)

Während die amerikanischen und chinesischen Big Techs rennen, tut Europa etwas anderes. Es schreibt Regeln.

Ich weiß, der instinktive Reflex ist Gähnen. Regeln, Bürokratie, Langsamkeit, die x-te Bremse für Innovation.

Haltet einen Moment inne. Vielleicht — und ich sage vielleicht — ist das einer der wenigen wirklich politischen Züge, die wir gerade sehen.

Europa sagt, dass die Technologie nicht über dem Gesetz steht. Dass, wenn du Software produzierst, die Entscheidungen über Menschen trifft, du erklären können musst, wie sie funktioniert. Dass, wenn dein digitales Produkt eine Schwachstelle hat, du dafür verantwortlich bist — wie ein Autohersteller für einen Bremsendefekt.

AI Act, Cyber Resilience Act, Product Liability Directive, European Accessibility Act. Trockene Namen, ja. Dahinter steckt aber eine sehr konkrete Intuition: im 21. Jahrhundert heißt Technologie regulieren, Gesellschaft regulieren.

Für Unternehmen heißt das Kosten und Komplexität, das wäre naiv zu leugnen. Aber es heißt auch etwas, das mir unterschätzt scheint: ein potenziell enormer Wettbewerbsvorteil.

Wenn der globale Markt aufwacht und sichere, transparente, barrierefreie digitale Produkte verlangt, ist vorn, wer diese Eigenschaften bereits in seine Arbeitsweise eingebaut hat.

Compliance kann eine Last sein, sicher. Sie kann aber auch eine Investition sein, wenn man sie in den Prozess integriert, statt sie als Blatt zu behandeln, das am Ende unterzeichnet wird.

Ein aus Pflicht erstelltes SBOM ist eine Datei in einem Ordner. Ein bewusst erstelltes SBOM ist eine Karte deines Produkts, ein Steuerungsinstrument, fast eine Reifeerklärung.

Open Source: das größte und zerbrechlichste Geschenk des digitalen Zeitalters

Es liegt etwas zutiefst Schönes im Open Source. Jemand schreibt ein Stück Code, veröffentlicht es und sagt der Welt: nimm es, nutze es, verbessere es.

Das ist Großzügigkeit, aber nicht im romantischen Sinn. Es ist der Aufbau eines Gemeinguts.

Und auf diesem Gemeingut ruht die globale digitale Wirtschaft. Das ist keine Übertreibung. Müsste diese Software bei null neu geschrieben werden, läge der geschätzte Wert in der Größenordnung von Billionen. Aber wer sie pflegt, erhält nur einen winzigen Bruchteil dieses Werts.

Das Problem ist systemisch. Große Plattformen bauen Milliardendienste auf Bibliotheken, die von erschöpften Freiwilligen gepflegt werden. Regierungen nutzen Open Source in kritischen Infrastrukturen, ohne wirklich zur Pflege beizutragen. Unternehmen integrieren offene Komponenten in proprietäre Produkte, ohne zu wissen, was darin steckt — bis eine Schwachstelle sie zwingt, es im schlimmsten Moment herauszufinden.

Cory Doctorow spricht von Enshittification, jenem Zyklus, in dem Plattformen Wert extrahieren, bis das Ökosystem verkommt. Open Source ist aber keine Plattform. Es gleicht eher einem Garten.

Und ein Garten stirbt, wenn alle ernten und niemand gießt.

Die gute Nachricht: etwas bewegt sich. Europa beginnt mit dem CRA zu unterscheiden zwischen denen, die aus Leidenschaft Code pflegen, und denen, die ihn vermarkten. Manche Unternehmen schaffen eigene Fonds. Aber die wirksamste Antwort bleibt die einfachste — und auch die unbequemste.

Wenn du Open Source in deinem Produkt nutzt, trag etwas bei. Mit Code, mit Geld, mit Anerkennung. Nicht weil du musst. Weil es klug ist und weil es richtig ist.

Barrierefreiheit: der ultimative Test unserer Absichten

Es gibt einen fast unfehlbaren Weg zu erkennen, ob ein Unternehmen seine Werte ernst nimmt. Schaut nicht auf die „Über uns“-Seite. Schaut, ob die Website mit einem Screenreader funktioniert.

Barrierefreiheit ist der Punkt, an dem Rhetorik die Realität trifft. Du kannst von Inklusion und Vielfalt reden, so viel du willst — wenn dein digitales Produkt für Menschen mit visueller, motorischer oder kognitiver Einschränkung nicht nutzbar ist, werden diese Worte hohl.

Und sagen wir es klar: wir reden nicht von einer Nische.

In Europa leben Dutzende Millionen Menschen mit irgendeiner Form von Behinderung. Hinzu kommen Ältere, Menschen mit temporären Einschränkungen, alle, die sich in einem ungünstigen Kontext befinden: Sonne auf dem Bildschirm, langsame Verbindung, altes Gerät.

Barrierefreiheit ist kein Gefallen. Sie ist ein Maß für die Qualität unserer Arbeit. Eine barrierefreie Software ist fast immer eine bessere Software: sauberer im Code, klarer in der Oberfläche, robuster.

Der European Accessibility Act macht ab 2025 viele Dinge verpflichtend. Wer aber auf das Gesetz wartet, um das Richtige zu tun, hat meiner Meinung nach den Punkt schon verpasst.

An die Entwickler: ihr seid nicht in Gefahr, ihr seid in Wandlung

Hier spreche ich zu denen, die meinen Beruf ausüben. Zu denen, die zwischen Commits und Deploys leben, zwischen Bugs und Refactorings.

Ich weiß, da ist Angst. Ich sehe sie in Gesprächen, in Nachrichten, manchmal in Witzen. Die Frage ist immer dieselbe, auch wenn sie nicht ausgesprochen wird: „werde ich in fünf Jahren noch gebraucht?“

Ich atme.

Wir sind von Tabellenkalkulationen zu relationalen Datenbanken übergegangen. Von statischen Seiten zu Frameworks. Vom manuellen Deploy zu CI/CD. Und jetzt vom handgeschriebenen Code zum KI-unterstützten. Jedes Mal hat der Boden gebebt. Jedes Mal hat, wer sich anpassen konnte, festgestellt, dass der neue Boden fruchtbarer war als der alte.

Der Wert lag nie im Tippen. Er lag im Verstehen. In der Fähigkeit, ein Problem anzusehen und die Struktur unter der Oberfläche zu erkennen. Mit einer Nutzerin zu sprechen und Frustrationen in ein funktionierendes System zu übersetzen. Zu wählen, wann man baut und wann man wiederverwendet. Zu wissen, dass ein Test keine Bürokratie ist, sondern Liebe zur Zukunft.

Diese Kompetenzen sind nicht automatisierbar. Sie sind verstärkbar.

Die Maschine, die Code schreibt, ist ein Verstärker deiner Fähigkeiten — aber nur, wenn du welche zu verstärken hast. Eine IDE mit KI in der Hand dessen, der versteht, was er tut, ist ein außergewöhnliches Werkzeug. In der Hand dessen, der nicht versteht, ein Hochgeschwindigkeitsgenerator für technische Schulden.

Lernt, ja, aber nicht nur die neuen Werkzeuge, denn die ändern sich. Lernt die Grundlagen: Architektur, Systemdesign, Sicherheitsprinzipien, Barrierefreiheit. Lernt die Menschen: wie sie kommunizieren, was sie fürchten, was sie hoffen. Und lernt auch den regulatorischen Kontext, nicht weil er Spaß macht, sondern weil er das Spielfeld definiert.

Und vor allem: hört nicht auf, neugierig zu sein. Neugier ist eine seltsame Sache, nicht immer „produktiv“ im Firmensinn. Aber sie ist einer der wenigen Wettbewerbsvorteile, die eine Maschine nicht wirklich replizieren kann.

Eine Frage des Vertrauens

Am Ende dreht sich dieses ganze Gespräch — über KI, Open Source, Regulierung, Barrierefreiheit — um ein einziges Wort: Vertrauen.

Vertrauen wir Systemen, die wir nicht sehen? Sollten wir? Unter welchen Bedingungen?

Vertrauen entsteht nicht durch Absichtserklärungen. Es entsteht durch konkrete, wiederholte, überprüfbare Entscheidungen. Es entsteht, indem wir Abhängigkeiten dokumentieren, Code testen, das Produkt barrierefrei machen, die Entscheidungen des Algorithmus erklären, für Fehler einstehen.

Für Entscheider ist Technologie keine Abteilung. Sie ist die Sprache, in der die Organisation geschrieben ist. Ihr müsst keine Programmierer werden, um Himmels willen. Aber ihr müsst genug verstehen, um Anbietern unbequeme Fragen zu stellen, ein echtes Risiko von einer hohlen Beruhigung zu unterscheiden, zu erfassen, was in der Software steckt, die die Prozesse steuert.

Für uns Entwickler war die Arbeit nie nur technisch. Jede Architekturentscheidung ist eine Werteentscheidung. Jede Datei, die wir nicht erheben, ist ein Recht, das wir respektieren. Jede Oberfläche, die wir barrierefrei machen, ist eine Tür, die wir öffnen.

Code ist Macht, und Macht trägt Verantwortung.

Also: das Holz und der Code

Mein Großvater hätte meinen Beruf nicht verstanden. Wahrscheinlich hätte er bei manchen Wörtern den Kopf geschüttelt und das Thema gewechselt.

Aber das Prinzip, glaube ich, hätte er verstanden.

Er wusste, dass man ein gut gemachtes Möbel an den Verbindungen erkennt, die man nicht sieht. An der Stabilität, die im Lauf der Zeit hält. An der Sorgfalt in den Details, die der Kunde nie bemerken wird, die aber den Unterschied machen zwischen einem Stück, das zwanzig Jahre hält, und einem, das nach sechs Monaten knarzt.

Gute Software ist genauso. Sie erkennt sich an dem, was man nicht sieht: an der Sicherheit, die nicht gebrochen wird, an der Barrierefreiheit, die niemanden ausschließt, an der Privatheit, die nicht verraten wird, an der Dokumentation, die jenen, die danach kommen, erlaubt zu verstehen, was du gemacht hast und warum.

Es ist kein Beruf, den uns die KI nehmen wird. Es ist ein Beruf, den die KI uns in gewisser Weise in seiner reinsten Form zurückgibt: nicht als mechanische Übersetzung, sondern als menschliche Sorgfalt.

Und Sorgfalt, wie mein Großvater beim Anblick des Holzes wusste, fühlt man.

Dieser Beitrag ist für jene, die Code schreiben, und für jene, die davon abhängen, ohne es zu wissen. Für jene, die entscheiden, ohne zu verstehen, und für jene, die verstehen, ohne entscheiden zu dürfen. Vielleicht für uns alle, denn die Antwort ist am Ende immer dieselbe: sie hängt von uns ab.

Was du mitnimmst

  • Die Welt läuft auf Systemen, die fast niemand unter den Entscheidern wirklich versteht: Technologie als Abteilung zu behandeln ist ein Zivilisationsfehler.

  • KI ist nicht intelligent: sie ist eine sehr mächtige statistische Maschine. Die Maschine generiert, der Mensch bürgt.

  • Die EU-Regeln bremsen Innovation nicht, sie bauen die Vertrauensinfrastruktur, ohne die der Rest nicht trägt.

  • Open Source ist ein Garten: wenn alle ernten und niemand gießt, stirbt er.

  • Jede Architekturentscheidung ist eine Werteentscheidung; jede nicht erhobene Datei ist ein gewahrtes Recht.

Fragen & Antworten

Warum ist Vertrauen in Software anders als Vertrauen in einen materiellen Gegenstand?

Weil Software unsichtbar ist. Der Schreiner kann ein Stück Holz in den Händen drehen, daran riechen, gegen das Licht halten. Wer ein Softwaresystem ausliefert, hat keines dieser sinnlichen Werkzeuge: der Kunde sieht eine Oberfläche, nicht den Aufbau dessen, wie es wirklich funktioniert. Wenn etwas so undurchsichtig ist, ruht Vertrauen nicht mehr auf direkter Wahrnehmung und muss durch Ersatzmechanismen aufgebaut werden: Dokumentation, Audit, Garantien, Haftung.

Was bedeutet, Vertrauen mit Sorgfalt zu bauen, wenn man Software macht?

Anzunehmen, dass Vertrauen nicht erklärt, sondern durch überprüfbare Entscheidungen aufgebaut wird: Codequalität, Nachvollziehbarkeit der Abhängigkeiten, Transparenz über getroffene Entscheidungen, Eingeständnis von Fehlern, verantwortungsvolles Vorfallmanagement. Das ist alles unsichtbar für den Kunden, wenn es funktioniert. Genau das kauft der Kunde wirklich, auch wenn im Vertrag nur ‚Plattformentwicklung’ steht.

Wie verändert sich Vertrauen mit KI und Open Source im Bild?

In zwei entgegengesetzte Richtungen. KI vergrößert die Lücke der Undurchsichtigkeit: man weiß nicht mehr genau, was das System tut, selbst wenn man hineinschaut. Open Source bietet umgekehrt ein neuartiges Prüfwerkzeug — jeder kann den Code lesen — verlangt aber Kompetenz im Gebrauch. Vertrauen verschiebt sich von ‚der Hersteller sagt’ zu ‚die Community kann prüfen’.

Warum sprechen die EU-Regeln von Vertrauen, nicht nur von Sicherheit?

Weil Sicherheit eine messbare technische Eigenschaft ist, Vertrauen eine soziale. CRA, AI Act und PLD verlangen nicht nur Sicherheitsmaßnahmen: sie verlangen Nachvollziehbarkeit, zugängliche Dokumentation, Herstellerverantwortung — also die Infrastruktur, auf der Vertrauen rekonstruiert werden kann, wenn das Produkt für den Kunden unsichtbar ist. Sichere Software zu machen reicht nicht, man muss sie nachweisen können.

Der Autor

Andrea Margiovanni

Andrea Margiovanni

Ich arbeite mit Teams, die Systeme unter AI Act, CRA, NIS2, DSGVO bauen. Die Regel ist keine Checkliste: sie ist eine architektonische Einschränkung, die schon beim Entwurf an Bord muss, nicht danach.

Zum Weg
© 2026 Andrea Margiovanni Mit Sorgfalt, von Hand gemacht