Auswirkungsanalyse technischer Änderungen mit GenAIEine Evaluation der Potenziale großer Sprachmodelle
Lesedauer: 9 Minuten
|
Moderne Produkte sind durch eine zunehmende Komplexität, Individualisierung sowie die Integration von Mechanik, Elektronik und Software gekennzeichnet. Damit geht eine zunehmende Vielfalt interner und von Kunden angeforderter technischer Änderungen einher. Ob große Sprachmodelle die Folgen technischer Änderungen zuverlässig erfassen und für Produktentwickler verständlich aufbereiten können, ist bisher kaum untersucht worden. Eine empirische Studie gibt Aufschluss über die Informationsqualität und Usability der Auswirkungsanalysen großer Sprachmodelle in Textform.
Der Änderungsprozess ist ein zentraler Bestandteil des Lebenszyklus technischer Produkte. Insbesondere erfolgreiche Produkte werden im Laufe ihrer Nutzung mehrfach angepasst, etwa aufgrund neuer Kundenanforderungen, gesetzlicher Vorgaben oder zur Optimierung von Produktions- und Entwicklungsprozessen [1, 2]. Gerade bei mechatronischen Produkten, die mechanische, elektronische und softwarebasierte Komponenten integrieren, sind solche Änderungen jedoch mit erheblichem organisatorischem und technischem Aufwand verbunden [3].
LLMs in Auswirkungsanalysen bisher wenig beachtet
Mit generativer Künstlicher Intelligenz (GenAI) und großen Sprachmodellen (Large Language Models, LLMs) stehen inzwischen leistungsfähige Technologien zur Verfügung, die das Potenzial haben, wissensintensive und dokumentationsgetriebene Aufgaben zu unterstützen oder teilweise zu automatisieren [4]. Anwendungen wie ChatGPT verdeutlichen bereits heute die Möglichkeiten dieser Systeme in den Bereichen Textgenerierung und Informationsverarbeitung [5]. Entsprechend gewinnen solche Technologien auch im klassischen Engineering an Bedeutung.
So wurden in vergangenen Studien die Fähigkeiten von LLMs in Bereichen wie dem Requirements Engineering [6], der Softwareentwicklung [7] sowie der Automatisierung von CAD-Workflows [8] eingesetzt. Bislang gibt es jedoch kaum Studien, die das Potenzial von LLMs zur Unterstützung technischer Auswirkungsanalysen über die reine Anforderungsanalyse hinaus untersuchen oder entsprechende Prototypen entwickeln und evaluieren, die in industrienahe PLM-Systeme integriert sind.
Technische Umsetzung des LLM-gestützten KI-Tools
Die technische Umsetzung eines LLM-gestützten KI-Tools zur Unterstützung der technischen Auswirkungsanalyse wurde mit Hilfe eines Miniaturautos als Beispielprodukt erprobt.
Das Miniaturauto besteht aus einem 3D-gedruckten Kunststoffgehäuse, einer auf dem Heck des Fahrzeugs montierten Platine zur Steuerung eines LED-Lichts sowie einer mobilen App zur Steuerung der Lichtfarbe.
Durch die Integration von Mechanik, Elektronik und Software stellt das Miniaturauto eine für die Erprobung des LLM-gestützten KI-Tools ausreichende Approximation der Komplexität moderner Produkte dar. Das Miniaturauto ist in Bild 1 dargestellt. Ein entsprechender Datensatz mit Bauteilen und Anforderungen ist für das Miniaturauto im PLM-System Siemens Teamcenter der Technischen Hochschule Ostwestfalen-Lippe hinterlegt.
Die Erweiterung des PLM-Systems Teamcenter um ein LLM-gestütztes KI-Tool zur technischen Auswirkungsanalyse wurde mithilfe einer serviceorientierten Architektur realisiert (Bild 2). Hierbei wurde auf im Internet frei zugängliche und lokal ausführbare LLMs zurückgegriffen [9]. Produktentwickelnde interagieren über ein Chatfenster in Teamcenter mit dem LLM-Service.
Dieser nutzt das LLM gpt-oss:120b von OpenAI, um aus der Änderungsanfrage einen strukturierten Funktionsaufruf (Tool Calls nach dem Model Context Protocol (MCP) [10]) zu generieren und so gezielt weitere Services ansteuern zu können. Anfragen zur Durchführung einer Auswirkungsanalyse werden beispielsweise an den Impact Analysis-Service weitergeleitet. Dieser bedient sich der relevanten Produktdaten aus dem PLM-System, indem eine Anfrage zur Datenextraktion an den PLM System AI Integration-Service gesendet wird.
Technische Umsetzung der Auswirkungsanalyse
Auf dieser Grundlage führt der Impact Analysis-Service eine detaillierte Auswirkungsanalyse durch. Ausgehend vom zu ändernden Artefakt umfasst die Auswirkungsanalyse die Klassifikation aller weiteren Artefakte in „betroffen“ und „nicht betroffen“, einschließlich der Generierung einer entsprechenden Begründung durch das LLM gpt-oss:120b. Die für eine Auswirkungsanalyse im Impact Analysis-Service erforderlichen Daten bestehen aus einem Änderungsausbreitungsbaum, der das zu ändernde Artefakt als Wurzel und die jeweils potenziell betroffenen Artefakte als Blätter enthält.
Die Berechnung des Ausbreitungsbaums wird in Clarkson et al. vorgestellt [11]. Weiterhin umfassen die PLM-Daten die im Änderungsausbreitungsbaum enthaltenen Artefakte und Artefaktbeziehungen, die Artefaktidentifikationsnummer (z. B. DES-000021), den Artefakttyp (z. B. Bauteil) sowie den Beziehungstyp (z. B. „BOM“).
Die Ergebnisse der Auswirkungsanalysen werden anschließend an den LLM-Service übermittelt, dort von einem LLM zusammengefasst und den Produktentwickelnden im PLM-System als konsolidierte Antwort dargestellt. Bild 3 zeigt, wie die Antwort des LLM-gestützten KI-Tools in Teamcenter im Chatfenster als Tabelle dargestellt wird. Die serviceorientierte Architektur ist modular erweiterbar und sieht zudem weitere MCP-basierte Services wie einen Document Generation-Service, einen EC Process Management-Service oder einen Teamcenter Execution-Service vor, die im Projekt jedoch nur teilweise oder gar nicht umgesetzt wurden.
Empirische Evaluation des KI-Tools in einer Laborstudie
Zur Identifikation der Einsatzpotenziale des LLM-gestützten KI-Tools für die technische Auswirkungsanalyse als Erweiterung des PLM-Systems Teamcenter wurde eine empirische Evaluation als Laborstudie durchgeführt. Hierzu wurden acht Masterstudierende im Modul Advanced Product Lifecycle Management (APLM) des Studiengangs Produktion und Management der Technischen Hochschule Ostwestfalen-Lippe als Stichprobe ausgewählt.
Der Grund für diese Auswahl ist, dass die Studienteilnehmenden über Grundkenntnisse in der Nutzung und Funktionsweise von Teamcenter verfügen müssen, um die Erweiterung des LLM-gestützten KI-Tools zu nutzen. Die Vermittlung der Grundkenntnisse zur Nutzung und Funktionsweise von Teamcenter ist ein zentraler Bestandteil des Moduls APLM.
In der Laborstudie war die Aufgabe der Studienteilnehmenden, zwei technische Auswirkungsanalysen in Teamcenter einmal ohne und einmal mit Hilfe des KI-Tools für das oben vorgestellte Beispielprodukt des Miniaturautos durchzuführen. Die erste Aufgabe umfasste die Analyse der Auswirkungen einer Verringerung der Höhe und der Breite der Windschutzscheibe. Die zweite Aufgabe beinhaltete die Analyse der Auswirkungen einer Vergrößerung der Länge und des Durchmessers der beiden Fahrzeugachsen.
In der Studie haben alle Studierenden beide Aufgaben durchgeführt. Es durfte jedoch eine Hälfte der Studierenden das KI-Tool nur für die erste Aufgabenstellung und die andere Hälfte nur für die zweite Aufgabenstellung nutzen. Durch einen zwei Wochen zuvor durchgeführten Pretest, der aus einem kurzen Fragebogen über das Vorwissen und die generellen Einstellungen der Studierenden zu Teamcenter, KI und LLMs bestand, wurde für eine homogene Aufteilung der Studierenden in zwei Gruppen gesorgt.
Mit und ohne KI – der direkte Vergleich
Ziel der empirischen Evaluation war die Messung mehrerer Variablen des Benutzererlebnisses hinsichtlich der von den Studierenden
- benötigten Bearbeitungszeit zur Durchführung der Auswirkungsanalyse,
- wahrgenommenen Usability des LLM-gestützten KI-Tools, gemessen durch einen Usability-Fragebogen [12],
- erlebten (mentalen) Beanspruchung, gemessen durch einen entsprechenden Fragebogen aus der Psychologie [13], und
- wahrgenommenen Qualität der technischen Auswirkungsanalyse und der im PLM-System angezeigten Informationen, gemessen durch einen eigens entwickelten Fragebogen.
Weiterhin wurde untersucht, wie gut die Einschätzungen des LLMs mit denen eines Menschen übereinstimmen. Dabei ging es darum, ob beide ein Artefakt als „betroffen“ oder „nicht betroffen“ einstufen. Zusätzlich wurde verglichen, wie stark die menschlichen Bewertungen mit einer zuvor definierten Musterlösung übereinstimmen. Diese Musterlösung dient dabei als eine Art Referenz oder „richtige Antwort“.
Hierzu wurde der prozentuale Anteil der Fälle bestimmt, in denen Mensch und LLM beziehungsweise Mensch und Musterlösung zur gleichen Klassifikation der Artefakte in betroffen und nicht betroffen gelangten. Unter der Musterlösung ist hierbei eine vom Erstautor dieses Beitrags erstellte Musterlösung zu verstehen, die die tatsächlichen Auswirkungen abbildet.
Bild 4 zeigt die über die acht Studienteilnehmenden hinweg gemessene Verteilung der verschiedenen Variablen. Hinsichtlich der Bearbeitungszeit ergaben sich kaum Veränderungen. Der Median blieb nahezu konstant, während sich die Streuung der Bearbeitungszeiten verringerte. Das deutet darauf hin, dass das KI-Tool zwar nicht zu einer schnelleren Bearbeitung beiträgt, die Bearbeitungszeit der Studienteilnehmenden jedoch angleicht.
Bessere Usability der PLM-Anwendung dank großer Sprachmodelle
Deutlicher fielen die Ergebnisse bei der wahrgenommenen Qualität aus, gemessen durch den eigens entwickelten Fragebogen. Sowohl die Qualität der im PLM-System angezeigten Informationen als auch die Qualität der finalen Auswirkungsanalyse wurden mit KI-Unterstützung deutlich besser bewertet. Die Streuung der Bewertungen blieb dabei ähnlich, verschob sich jedoch insgesamt auf ein höheres Niveau. Dies spricht dafür, dass die Studienteilnehmenden die bereitgestellten Informationen und ihre eigenen Analyseergebnisse mit Unterstützung des KI-Tools als hilfreicher und qualitativ hochwertiger wahrnahmen.
Auch die Usability der PLM-Anwendung wurde durch das KI-Tool spürbar verbessert. Die Bewertungen im SUS-Fragebogen stiegen deutlich an, was darauf hindeutet, dass die Anwendung mit KI-Unterstützung als intuitiver, einfacher und insgesamt benutzerfreundlicher wahrgenommen wurde. Gleichzeitig zeigte sich eine etwas größere Streuung der Bewertungen, was darauf hindeutet, dass die Studienteilnehmenden unterschiedlich stark von der Unterstützung profitierten.
Bei der wahrgenommenen Beanspruchung zeigte sich ebenfalls ein tendenziell positiver Effekt. Die Werte des NASA-TLX sanken bei Nutzung des KI-Tools, während sich die Streuung der Bewertungen verringerte. Insgesamt spricht dies dafür, dass die Durchführung der Auswirkungsanalyse mit KI-Unterstützung tendenziell als weniger belastend wahrgenommen wurde.
KI-Tool schafft Orientierung
Ein differenzierteres Bild ergibt sich hinsichtlich der prozentualen Übereinstimmung binärer Klassifikationen von Artefakten als betroffen oder nicht betroffen. Betrachtet man die Übereinstimmung zwischen Mensch und LLM, so steigt der Median der Übereinstimmung beim Einsatz des KI-Tools von 0,76 auf 0,85. Dies deutet darauf hin, dass sich die Studienteilnehmenden stärker an den vom KI-Tool bereitgestellten Informationen orientieren und dessen Klassifikationen häufiger übernehmen.
Im Vergleich dazu zeigt sich gegenüber der Musterlösung ohne KI-Tool kein entsprechender Zugewinn. Die Übereinstimmung mit der Musterlösung bleibt weitgehend stabil (Median 0,63 ohne KI-Tool vs. 0,61 mit KI-Tool), und es zeigt sich kein statistisch belastbarer Unterschied. Zwar verringert sich die Streuung der Werte geringfügig, insgesamt lässt sich jedoch keine Verbesserung der Klassifikationsqualität gegenüber der Musterlösung feststellen. Es ist allerdings darauf hinzuweisen, dass die vom KI-Tool bereitgestellte Auswirkungsanalyse Fehler enthält. Demnach überrascht es nicht, dass sich die Übereinstimmung mit der Musterlösung nicht verbessert.
Ein Blick in die Zukunft
Die empirische Laborstudie mit acht Masterstudierenden zeigte, dass das LLM-gestützte KI-Tool die wahrgenommene Qualität der technischen Auswirkungsanalyse sowie im PLM-System bereitgestellter Informationen verbesserte und zugleich die Usability der Anwendung erhöhte. Gleichzeitig verringerte sich die subjektiv empfundene Beanspruchung der Studienteilnehmenden. Die Bearbeitungszeit blieb hingegen nahezu unverändert.
Im Hinblick auf die Klassifikationsleistung zeigte sich ein differenziertes Bild: Die prozentuale Übereinstimmung zwischen Studienteilnehmenden und dem KI-Tool nahm zu, während die Übereinstimmung mit der Musterlösung weitgehend konstant blieb. Eine mögliche Erklärung hierfür ist, dass die vom KI-Tool erzeugten Auswirkungsanalysen teilweise fehlerbehaftet sind und von den Studierenden übernommen wurden, ohne sie in jedem Fall kritisch zu hinterfragen.
Aufgrund der geringen Stichprobengröße von acht Teilnehmenden sind die Ergebnisse der Studie nicht statistisch abgesichert. Die Studie ist demnach als Vorstudie zu verstehen, die erste Hinweise und Orientierungspunkte für zukünftige Forschung sowie für die Entwicklung und Integration von KI-Tools in PLM-Systeme liefert. Darüber hinaus können die Ergebnisse als Grundlage für die Hypothesenbildung in weiterführenden Studien mit größeren Stichproben dienen.
Das hier vorgestellte LLM-gestützte KI-Tool birgt ein erhebliches Potenzial zur Unterstützung von Produktentwicklern bei der Durchführung technischer Auswirkungsanalysen. Die verbesserte wahrgenommene Usability, die reduzierte Beanspruchung sowie die gesteigerte wahrgenommene Qualität bieten insbesondere in komplexen Produktentwicklungsprojekten mit Hunderten bis Tausenden von Artefakten einen relevanten Mehrwert.
Wie es weiter geht: Dem LLM die richtigen Informationen liefern
Gleichzeitig bleibt eine zentrale Forschungsfrage offen: Welche spezifischen Informationen aus PLM-Systemen und welche LLM-Anpassungen sind erforderlich, damit ein LLM-gestütztes Tool belastbare und möglichst korrekte Auswirkungsanalysen erzeugen kann? Die Ergebnisse der Studie deuten darauf hin, dass die vom LLM generierten Analysen selbst noch fehlerbehaftet sind, sodass hier weiterer Forschungsbedarf besteht. Es wurde allerdings auf frei zugängliche und auf allgemeine Datensätze trainierte LLMs zurückgegriffen.
Eine Anpassung der Modelle durch Finetuning erfolgte demnach nicht. Daher sollten zukünftige Studien entsprechende modellseitige Anpassungen sowie tiefergehende technische Analysen von LLMs berücksichtigen, die erhebliches Potenzial zur Verbesserung der Richtigkeit von Auswirkungsanalysen durch das LLM bieten.
Literatur
[1] Stark, J. (2026). Product lifecycle management (PLM). In Product Lifecycle Management (volume 1) 21st Century Paradigm for Product Realisation (pp. 1-33). Cham: Springer Nature Switzerland. DOI: https://doi.org/10.1007/978-3-032-15225-1_1[2] Jarratt, T. A. W., Eckert, C. M., Caldwell, N. H., & Clarkson, P. J. (2011). Engineering change: an overview and perspective on the literature. Research in engineering design, 22(2), 103-124. DOI: https://doi.org/10.1007/s00163-010-0097-y
[3] Herrmann, J. P., Imort, S., Trojanowski, C., & Deuter, A. (2021). Requirements Elicitation for an Assistance System for Complexity Management in Product Development of SMEs during COVID-19: A Case Study. Computers, 10(11), 149. DOI: https://doi.org/10.3390/computers10110149
[4] Haase, J., Kremser, W., Leopold, H., Mendling, J., Onnasch, L., & Plattfaut, R. (2024). Interdisciplinary directions for researching the effects of robotic process automation and large language models on business processes. Communications of the Association for Information Systems, 54(1), 579-604. DOI: https://doi.org/10.17705/1CAIS.05421
[5] Liang, P., Bommasani, R., Lee, T., Tsipras, D., Soylu, D., Yasunaga, M., … & Koreeda, Y. (2022). Holistic evaluation of language models. arXiv preprint arXiv:2211.09110. DOI: https://doi.org/10.48550/arXiv.2211.09110
[6] Zadenoori, M. A., Dąbrowski, J., Alhoshan, W., Zhao, L., & Ferrari, A. (2025). Large language models (llms) for requirements engineering (re): A systematic literature review. arXiv preprint arXiv:2509.11446. DOI: https://doi.org/10.48550/arXiv.2509.11446
[7] Hou, X., Zhao, Y., Liu, Y., Yang, Z., Wang, K., Li, L., … & Wang, H. (2024). Large language models for software engineering: A systematic literature review. ACM Transactions on Software Engineering and Methodology, 33(8), 1-79. DOI: https://doi.org/10.1145/3695988
[8] Zeman, Z., Mikkola, A., Orzechowski, G., Suder, J., & Mihola, M. (2026). Large language models in mechanical design of mechatronic systems: A review. Advanced Engineering Informatics, 75, 104807. DOI: https://doi.org/10.1016/j.aei.2026.104807
[9] Ollama. URL: https://ollama.com/, Abrufdatum 15.06.2026.
[10] Model Context Protocol. URL: https://modelcontextprotocol.io/docs/getting-started/intro, Abrufdatum 28.05.2026.
[11] Clarkson, P. J., Simons, C., & Eckert, C. (2004). Predicting change propagation in complex design. Journal of Mechanical Design, 126(5), 788-797. DOI: https://doi.org/10.1115/1.1765117
[12] Brooke, J. (1996). SUS-A quick and dirty usability scale. Usability evaluation in industry, 189(194), 4-7.
[13] Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research. Advances in Psychology, 52, 139-183. DOI: https://doi.org/10.1016/S0166-4115(08)62386-9
Das könnte Sie auch interessieren
