Research publications

Introduction

The flat knitting process is characterized by a high degree of design flexibility; however, it is prone to errors due to the complex interaction of many knitting elements. Defects in the needles, such as bent needle heads, broken needle tongues or heads, as well as increasing contamination from fiber dust lead to missed stitches, dropped stitches, and ultimately to scrap. Since defects can be reliably identified during a subsequent fabric inspection, but only after a delay, defective fabric is produced until the damage is discovered. Early, operator-independent detection directly at the knitting spot therefore offers significant economic potential.

Inline quality assurance systems have become established in industrial manufacturing as an effective means of reducing scrap and optimizing processes. In the textile industry, camera-based approaches (1) for automated defect detection are predominant, and their performance has been significantly improved in recent years through the use of deep learning methods (2–5). Convolutional neural networks (CNN) (6), in particular, have proven to be effective for detecting surface defects in textiles. Nevertheless, such optical systems involve high acquisition costs and require significant computing power, which hinders their widespread adoption, particularly in small and medium-sized enterprises (SME). Across all industries, the use of artificial intelligence is regarded as a key technology for the digitalization of value chains (7, 8), although the operational implementation of AI projects often fails in practice due to issues related to robustness, data availability, and integrability. In quality assurance, data-driven methods are increasingly tapping into non-optical sensor modalities. However, the potential of acoustic and vibroacoustic sensors (9–11) for monitoring textile processes has not yet been systematically investigated to a sufficient extent, even though these modalities in particular could represent a cost-effective and retrofittable alternative to image processing.

This is where the OptiStrick project comes in. The goal was to develop an AI-based inline quality assurance system that detects quality-related issues during the knitting process while meeting the requirements of small and medium-sized enterprises (SME) in terms of cost-effectiveness, retrofitability, and transferability (12). The focus was deliberately placed not on downstream product inspection but on the knitting spot itself, since this is where the vast majority of defects occur. In addition to pure defect detection, and in deviation from the original proposal and at the request of the participating industry partners, emphasis was placed on the detection of wear and failure conditions in the context of predictive maintenance.

Methods

The development of the OptiStrick system followed an iterative, hypothesis-driven approach based on the principles of engineering-based systems development and was carried out in close coordination with a project advisory committee (PA) composed of industry partners. The methodological process can be divided into five sequential phases: requirements analysis, experimental design, measurement system development, data collection, and algorithm development and system integration.

Requirements analysis and Experimental Design

The starting point was a structured requirements analysis conducted through a survey of the technical staff at the participating companies. The goal was to identify practical defect patterns, quality characteristics, and process parameters. A Stoll ADF flat knitting machine (KARL MAYER Holding SE & Co. KG, Germany) with a needle gauge of E7 was selected as the subject of the study (Figure 1); polyester was primarily used as the test material due to its widespread industrial use and low tendency to pill. To keep the complexity manageable, the sample product was limited to a uniform, rectangular continuous knit with a consistent stitch pattern. The stitch depth (needle drop position) and knitting speed were identified as the key parameters that vary during the ongoing process.

Based on this, two complementary experimental designs were derived according to the rules of statistical experimental design: Experimental Design A (parameter study) varied the two process parameters across three levels each, while Experimental Design B (defect simulation) involved the targeted non-ejection of individual needles and pairs of needles at three defined positions within the needle bed (left, middle, and right section) to simulate needle errors. In addition, in cooperation with the industry partner Groz-Beckert KG, experimental designs were created to investigate real-world needle damage, such as bent needle heads, broken needle shanks, and broken needle heads. This experimental design approach ensured a reproducible, clearly structured, and statistically analyzable data set.

Development of Measurement Systems

At the same time, four sensor modalities were designed and experimentally tested. A key methodological principle was synchronous, multimodal data acquisition: All sensor signals were recorded in a time-synchronized manner via a central data acquisition system (Sirius®, DeweSOFT Deutschland GmbH) to enable consistent temporal alignment and subsequent sensor fusion. To support data annotation, a trigger system consisting of two short-range photoelectric sensors was implemented; this system clearly distinguished the interaction of the knitting carriage with the needles from the return stroke and, at the same time, allowed the direction of travel to be determined.

A key feature of the development process was the iterative refinement to focus on the components that made the most economic and technical sense. Approaches that were not conducive to achieving the goal were identified early on and discarded in consultation with the PA:

• Acoustic/Vibroacoustic Sensors

Several microphones (MMS212, Microtech Gefell GmbH, Germany; M30, Earthworks Inc., USA) and a directional microphone (SE8, sE Electronics International Inc., USA) were mounted on the flat-knitting machine, and the piezo/structure-borne sound sensors already installed in the machine were also examined.

• Strain gauge measurement technology

For strain gauge measurement technology, two positions (movable on the thread guide, stationary below the feeder) and two systems were evaluated: a dedicated 3-roller thread tension sensor (FZK) (M120/SA310, Tensometric Messtechnik GmbH, Germany) and a manufacturer-modified feeder (EFS 920, Memminger-IRO GmbH, Germany).

• Optical Metrology

A high-speed camera (DS-CAM 1100m, DEWESoft Deutschland GmbH), including high-performance LED lighting, was mounted on the knitting carriage. Based on the Nyquist-Shannon sampling theorem and a needle pass rate of 276 needles/s, a required frame rate of at least 552 fps was calculated.

Data Collection

The data set was collected during three measurement campaigns: two under controlled laboratory conditions (R1, R2) and one in a production-like environment at our partner Groz-Beckert KG (R3), where actual damage events involving needles could also be recorded. More than 8 hours of recording material were collected across all measurement campaigns (Table 1), with each recording lasting 60 seconds. The continuous signals were divided into segments based on individual carriage movements, delimited by the photoelectric sensor signals, and labeled according to the process parameters.

Signal Processing, Modeling, and Validation

The acoustic and vibroacoustic signals were resampled to a uniform sampling rate of 32 kHz and then converted into Mel spectrograms (128 frequency bands, 64-ms frame, 32-ms step size). 2D CNNs were used for the spectrogram-based modalities, while the thread tensile force data was analyzed using time-series-based models. During the iterative algorithm development process, various methods (DNN, CNN, SVM, XGBoost) were trained and evaluated for various classification tasks based on sensitivity, specificity, and AUC.

A key methodological aspect was realistic validation. To prevent statistical dependence among segments of the same image from skewing the results, image-based cross-validation (GroupKFold) was primarily used, in which all segments of an image remain together within the same evaluation group. In addition, domain shift between measurement campaigns was specifically investigated by training models on one campaign and testing them on another. Based on this, various strategies for multimodal data fusion were investigated to increase robustness against changing acquisition conditions. Both, decision-based late fusion and feature-based fusion, were evaluated.

Results

Selection of the Measurement System

An analysis of the acoustic/vibroacoustic measurement system showed that the directional SE8 consistently delivered good signals even in the presence of strong background noise (ventilation, neighboring textile machines). In contrast, additional microphones installed inside the machine did not provide any further benefit. Since the integrated piezo shock sensors demonstrated high sensitivity to process-relevant events and additional microphones did not provide any significant additional information, the measurement system was reduced to a directional microphone and the existing shock sensors.

Among the strain gauge sensors tested, the dedicated system proved superior to the modified feeder. It provided higher signal resolution, allowing individual stitch drops and simulated needle errors to be immediately detected. Nevertheless, broader trends were also discernible in the feeder’s measurements, meaning that the data can be effectively supplemented when a CAN interface is available. Ultimately, the static position on the frame above the knitting area was evaluated as the most suitable location. A potential mounting on the yarn guide proved to be complex and not cost-effective.

The optical system was ultimately not integrated into the overall system. During testing, it proved inadequate due to shading caused by moving parts, insufficient illumination, and a maximum achievable frame rate of only 400 fps. The need to remove the needle brush imposed extreme limitations on product design and was therefore not practical. The high computational effort required for recording and analyzing the image data was also viewed negatively, particularly in terms of cost-effectiveness.

The final setup optimized the number of sensors and used sensor technologies for the best performance at the lowest possible cost. The required components are listed in Table 2.

Classification of Process Parameters

During a measurement campaign, the acoustic and vibroacoustic sensors, in particular, achieved very high classification performance (Table 3). The thread-pulling signal (FZK) provided relevant information but lagged significantly behind in terms of discrimination.

Analysis of the confusion matrices showed that misclassifications occurred predominantly within the same speed class and primarily involved subtle differences in the stitch depth. The process speed has a significantly stronger influence on the signal. It is particularly noteworthy that the model architecture could be applied to production-related data (R3) without structural adjustments and achieved a level of performance comparable to that of the laboratory.

Classification of Needle Defects

In a standardized 3-class test scenario, the acoustic and vibroacoustic sensors consistently achieved high levels of accuracy across all campaigns (Table 4). The strain gauge sensor also achieved very high values in the laboratory campaigns (Figure 2), but dropped to the random error level in the production-simulated campaign R3.

The drop in performance of the FZK sensor in R3 was attributed to the change in sensor mounting: While the sensor was positioned centrally above the machine in the laboratory, it was mounted on the side in the production environment, which attenuated the characteristic pulse-like signal waveforms.

Domain Shifting and Sensor Fusion

When applied across campaigns, classification performance declined significantly. The extracted features formed campaign-specific clusters. For parameter classification, however, the acoustic sensors remained above the random level, while the FZK sensor failed almost entirely. Needle defect detection revealed a more nuanced picture: Here, the strain gauge sensor sometimes achieved the best results during transfer, as it detects characteristic impulse-like defect patterns that remain stable even under changing conditions.

Sensor fusion proved particularly advantageous under non-stationary conditions. While the added benefit remained limited under stable laboratory conditions, the combination of complementary modalities in R3 noticeably improved robustness (late fusion and feature fusion achieved over 99 % here).

Bent needles, wear and tear, and demonstrator

When detecting bent needles (non-pulse-type fault pattern), the acoustic sensors and the feeder achieved accuracies of over 95 %, while the FZK sensor, at 52.9 %, was only slightly above the random error level. Gradual wear (such as that caused by contamination), on the other hand, could not be reliably detected: Even with the machine cleaning system virtually turned off, no measurable contamination occurred during the test period, a result also influenced by the polyester yarn’s low tendency to pill and the comparatively short duration of the measurement campaigns. The final failure states (breaks in individual knitted elements), on the other hand, were clearly detectable.

The integrated demonstrator combined data acquisition, feature extraction, and classification into a single end-to-end pipeline and was validated at the ITM under real-world conditions. After retraining for the specific operational environment, it achieved an average classification accuracy of approximately 80 %, thereby demonstrating its fundamental ability to operate inline. A graphical user interface (Figure 3) allowed users to select sensor models and visualize the results.

Discussion

The results demonstrate that acoustic and vibroacoustic sensors represent a robust and cost-effective alternative to camera-based systems. Across all measurement campaigns, including those conducted in a production-like environment, these modalities consistently delivered high accuracy in both parameter determination and needle defect classification. Particularly noteworthy is the transferability of the model architecture from the laboratory to real-world production conditions without any structural adjustments.

A more nuanced picture emerges for strain gauge sensors: Under controlled conditions, they are excellent for detecting impulsive single-needle defects, but their performance depends heavily on the specific sensor mounting and the associated force application. If the positioning changes or if the defects are not impulsive in nature (e.g., bent needles), its performance drops significantly. Consequently, sensor modalities must be selected based on the specific task: No single sensor technology is equally suitable for all applications.

The key remaining challenge is domain shift. The significant performance drops observed during cross-campaign transfer demonstrate that reliable generalization across different environments is only possible to a limited extent without domain adaptation, retraining, or additional representative training data. Sensor fusion can partially increase this robustness under varying conditions; however, its usefulness depends largely on an application-specific weighting of the modalities. Another significant limitation is the limited number of independent recording sessions, which restricts the statistical significance regarding robustness.

With regard to the detection of gradual wear, it became apparent that, unlike acute defects, this cannot be simulated in the short term but requires specific long-term tests with continuous data collection and defined reference conditions.

Key Takeaway: Acoustic sensors, combined with AI-powered data analysis, offer great potential for the digital transformation of quality assurance in the flat knitting process. The main hurdle to industrial implementation is not so much the basic detection performance as it is the system’s robustness against domain shifts.

From an economic perspective, the assessment shows that a functional basic configuration of the OptiStrick system, as outlined in The final setup optimized the number of sensors and used sensor technologies for the best performance at the lowest possible cost. The required components are listed in Table 2.

Table 2: Overview of the sensors ultimately used for the inline monitoring system., using commercially available sensors and data acquisition technology, can already be implemented for approximately 6,160 € per flat knitting machine with two needle beds and three monitored yarns. Thus, the current prototype version is still above the originally targeted range of 1,500 €, but it constitutes a technically robust baseline configuration for further industrial development. Additionally, for a reliable industrial application, further development efforts on the order of one additional project year (personnel costs of approximately 90,000 €) must be factored in. Given a scrap rate of up to 10 % for complex technical knits, a return on investment is therefore not expected until the medium term. In the long run, however, costs can be significantly reduced, for example by using a microcomputer (approx. 350 €) after AI training is complete or by employing purely acoustic setups with low-cost structure-borne sound sensors (approx. 15 € each).

Conclusion and Outlook

The OptiStrick project has taken an important step toward the digitization and automation of quality assurance in the knitting industry by developing an AI-based inline quality assurance system for the flat knitting process. By combining existing sensors, such as Fournisseur and factory-installed shock sensors, with an additional directional microphone, it is possible to implement a powerful monitoring system with relatively little effort—one that detects needle defects and the resulting changes in the knit fabric early on and independently of the operator. The scientific validation of the multimodal integration of strain gauge, vibroacoustic, and acoustic sensors, the development of suitable AI models, and the reliable classification of process parameters and specific needle defects have been successfully demonstrated.

Three key areas of focus emerge for future work. First, the data set should be significantly expanded under various real-world operating conditions to statistically validate the generalizability of the results. Second, specific methods for improving robustness, such as domain adaptation, tailored preprocessing, and optimized fusion strategies, should be investigated to compensate for domain shifts. Third, the detection of slowly progressing wear mechanisms requires dedicated long-term tests with continuous data acquisition; for the instrumented measurement of needle stress, miniaturized strain gauges attached directly to the needle also appear to be a promising approach.

In the long term, this operating principle can be applied to other textile processes, such as weaving, embroidery, or sewing. As operating time increases and the database grows, AI models continuously improve, and foreseeable advances in AI software and hardware will make the implementation of such systems increasingly economically attractive, particularly as retrofittable, cost-effective solutions for existing production facilities in SME.

Acknowledgement

IGF project 01IF22931N of the research association Forschungskuratorium Textil e.V., Wallstr. 58/59, 10179 Berlin Berlin, was funded by the Federal Ministry for Economic Affairs and Energy through the German Aerospace Center (DLR) as part of the program to promote industrial collaborative research and development (IGF), pursuant to a resolution of the German Bundestag.

The authors would like to thank the institutions listed for providing the funding. The research report and additional information are available at the Institute for Textile Machinery and High-Performance Textile Materials Technology at TU Dresden, as well as at the Fraunhofer Institute for Digital Media Technology.

Literature

1.         Kahraman, Y. und A. Durmuşoğlu. Deep learning-based fabric defect detection: A review [online]. Textile Research Journal, 2023, 93(5-6), 1485-1503. ISSN 0040-5175. Verfügbar unter: doi:10.1177/00405175221130773

2.         Metin, A. und T.T. Bilgin. Automated machine learning for fabric quality prediction: a comparative analysis [online]. PeerJ. Computer science, 2024, 10, e2188. Verfügbar unter: doi:10.7717/peerj-cs.2188

3.         Wuest, T., D. Weimer, C. Irgens und K.-D. Thoben. Machine learning in manufacturing: advantages, challenges, and applications [online]. Production & Manufacturing Research, 2016, 4(1), 23-45. Verfügbar unter: doi:10.1080/21693277.2016.1192517

4.         Khusheef, A.S., M. Shahbazi und R. Hashemi. Deep Learning-Based Multi-Sensor Fusion for Process Monitoring: Application to Fused Deposition Modeling [online]. Arabian Journal for Science and Engineering, 2024, 49(8), 10501-10522. ISSN 2193-567X. Verfügbar unter: doi:10.1007/s13369-023-08340-4

5.         Sun, A., S. Che, J. Fu und K. Wang. Multi-sensor information fusion technologies and applications: a review [online]. The International Journal of Advanced Manufacturing Technology, 2026, 144(1-2), 177-192. ISSN 0268-3768. Verfügbar unter: doi:10.1007/s00170-026-17965-2

6.         Wei, B., K. Hao, X. Tang und Y. Ding. A new method using the convolutional neural network with compressive sensing for fabric defect classification based on small sample sizes [online]. Textile Research Journal, 2019, 89(17), 3539-3555. ISSN 0040-5175. Verfügbar unter: doi:10.1177/0040517518813656

7.         Heyen, C. Applying AI for Future Business Models in the Textile and Fashion Value Chain [online]. International Journal for Research in Applied Science and Engineering Technology, 2025, 13(3), 378-386. Verfügbar unter: doi:10.22214/ijraset.2025.67255

8.         Yildirim, P., D. Birant und T. Alpyildiz. Data mining and machine learning in textile industry [online]. WIREs Data Mining and Knowledge Discovery, 2018, 8(1). ISSN 1942-4787. Verfügbar unter: doi:10.1002/widm.1228

9.         Kothuru, A., S.P. Nooka und R. Liu. Application of audible sound signals for tool wear monitoring using machine learning techniques in end milling [online]. The International Journal of Advanced Manufacturing Technology, 2018, 95(9-12), 3797-3808. ISSN 0268-3768. Verfügbar unter: doi:10.1007/s00170-017-1460-1

10.       Fatoba, O.S. und T.-C. Jen. Acoustic-Based In-Situ Monitoring of Additive Manufacturing Fabrication: A Review. In: 2023 14th International Conference on Mechanical and Intelligent Manufacturing Technologies (ICMIMT): IEEE, 2023, S. 250-256. ISBN 979-8-3503-1309-3.

11.       Ciaburro, G. und G. Iannace. Machine-Learning-Based Methods for Acoustic Emission Testing: A Review [online]. Applied Sciences, 2022, 12(20), 10476. Verfügbar unter: doi:10.3390/app122010476

12.       Westenberger, J., K. Schuler und D. Schlegel. Failure of AI projects: understanding the critical factors [online]. Procedia Computer Science, 2022, 196, 69-76. ISSN 18770509. Verfügbar unter: doi:10.1016/j.procs.2021.11.074

 

Einleitung

Der Flachstrickprozess zeichnet sich durch eine hohe gestalterische Flexibilität aus, ist jedoch aufgrund der komplexen Interaktion einer Vielzahl von Wirkelementen fehleranfällig. Defekte an Nadeln, etwa verbogene Nadelköpfe, abgebrochene Nadelzungen oder -köpfe, sowie zunehmende Verschmutzung durch Faserstaub führen zu Fehlmaschen, Fallmaschen und letztlich zu Ausschuss. Da sich Fehlerbilder in der nachträglichen Warenschau zwar zuverlässig, aber erst zeitversetzt identifizieren lassen, entsteht bis zur Entdeckung eines Defekts fehlerhafte Ware. Eine frühzeitige, bedienerunabhängige Erkennung direkt an der Strickstelle bietet daher erhebliches wirtschaftliches Potenzial.

Inline-Qualitätssicherungssysteme haben sich in der industriellen Fertigung als wirksames Mittel zur Reduktion von Ausschuss und zur Prozessoptimierung etabliert. In der Textilindustrie dominieren dabei kamerabasierte Ansätze (1) zur automatisierten Fehlererkennung, deren Leistungsfähigkeit in den vergangenen Jahren durch den Einsatz von Deep-Learning-Methoden (2–5) erheblich gesteigert werden konnte. Insbesondere convolutional neural networks (CNN) (6) haben sich für die Detektion textiler Flächenfehler als leistungsfähig erwiesen. Gleichwohl sind solche optischen Systeme mit hohen Anschaffungskosten und einem erheblichen Bedarf an Rechenleistung verbunden, was ihre Verbreitung insbesondere in kleinen und mittleren Unternehmen (KMU) hemmt. Einsatz Künstlicher Intelligenz gilt branchenübergreifend als Schlüsseltechnologie zur Digitalisierung von Wertschöpfungsketten (7, 8), wobei die betriebliche Umsetzung von KI-Projekten in der Praxis häufig an Fragen der Robustheit, der Datenverfügbarkeit und der Integrierbarkeit scheitert. Für die Qualitätssicherung erschließen datengetriebene Verfahren zunehmend auch nicht-optische Sensormodalitäten. Das Potenzial akustischer und vibroakustischer Sensorik (9–11) zur Überwachung textiler Prozesse wurde bislang jedoch nur unzureichend systematisch untersucht, obwohl gerade diese Modalitäten eine kostengünstige und nachrüstbare Alternative zur Bildverarbeitung darstellen könnten.

An dieser Stelle setzt das Vorhaben OptiStrick an. Ziel war die Entwicklung eines KI-gestützten Inline-Qualitätssicherungssystems, das qualitätsrelevante Zustände im laufenden Strickprozess erkennt und dabei den Anforderungen von KMU an Wirtschaftlichkeit, Nachrüstbarkeit und Übertragbarkeit gerecht wird (12). Der Fokus lag dabei bewusst nicht auf der nachgelagerten Warenschau, sondern auf der Strickstelle selbst, da hier der überwiegende Teil der Fehler entsteht. Neben der reinen Fehlerdetektion wurde, abweichend vom ursprünglichen Antrag und auf Wunsch der beteiligten Industriepartner, ein Schwerpunkt auf die Erkennung von Verschleiß- und Versagenszuständen im Sinne einer vorausschauenden Wartung gelegt.

Methoden

Die Entwicklung des OptiStrick-Systems folgte einem iterativen, hypothesengeleiteten Vorgehen, das sich an den Prinzipien der ingenieur-wissenschaftlichen Systementwicklung orientierte und in enger Abstimmung mit einem projektbegleitenden Ausschuss (PA) aus Industriepartnern durchgeführt wurde. Der methodische Ablauf lässt sich in fünf aufeinander aufbauende Phasen gliedern: Anforderungsanalyse, Versuchsplanung, Messsystementwicklung, Datenerhebung sowie Algorithmenentwicklung und Systemintegration.

Anforderungsanalyse und Versuchsplanung

Ausgangspunkt bildete eine strukturierte Anforderungserhebung mittels einer Befragung des technischen Personals der beteiligten Unternehmen. Ziel war die Identifikation praxisrelevanter Fehlerbilder, Qualitätsmerkmale und Prozessparameter. Als Untersuchungsgegenstand wurde eine Flachstrick-maschine des Typs Stoll ADF (Abbildung 1) (KARL MAYER Holding SE & Co. KG, Deutschland) mit einer Nadelfeinheit von E7 festgelegt; als Prüfmaterial diente vorrangig Polyester aufgrund seiner weiten industriellen Verbreitung und geringen Flusenneigung. Um die Komplexität beherrschbar zu halten, wurde das Musterprodukt auf ein uniformes, rechteckiges Endlosgestrick mit einheitlicher Bindung beschränkt. Als zentrale, im laufenden Prozess veränderliche Parameter wurden die Kuliertiefe (Nadelsenkerposition) und die Strickgeschwindigkeit bestimmt.

Auf dieser Grundlage wurden nach den Regeln der statistischen Versuchsplanung zwei komplementäre Versuchspläne abgeleitet: Versuchsplan A (Parameter-studie) variierte die beiden Prozessparameter in jeweils drei Stufen, während Versuchsplan B (Fehlersimulation) das gezielte Nicht-Austreiben einzelner und paarweiser Nadeln an drei definierten Positionen innerhalb des Nadelbetts (linker, mittlerer und rechter Bereich) zur Simulation von Nadelfehlern vorsah. Ergänzend wurden in Kooperation mit dem Industriepartner Groz-Beckert KG Versuchspläne zur Untersuchung realer Nadelschäden, wie verbogene Nadelköpfe, abgebrochene Nadelzungen und ‑köpfe, erstellt. Dieses versuchsplanerische Vorgehen gewährleistete eine reproduzierbare, klar strukturierte und statistisch auswertbare Datengrundlage.

Entwicklung der Messsysteme

Parallel wurden vier Sensormodalitäten konzipiert und experimentell erprobt. Ein zentrales methodisches Prinzip war dabei die synchrone, multimodale Datenerfassung: Sämtliche Sensorsignale wurden über ein zentrales Datenerfassungssystem (Sirius®, DeweSOFT Deutschland GmbH) zeitsynchron aufgezeichnet, um eine konsistente zeitliche Zuordnung und spätere Sensorfusion zu ermöglichen. Zur Unterstützung der Datenannotation wurde ein Triggersystem aus zwei Kurzdistanz-Lichtschranken implementiert, dass die Interaktion des Strickschlittens mit den Nadeln von der Umkehrfahrt eindeutig abgrenzte und zugleich die Bestimmung der Fahrtrichtung erlaubte.

Charakteristisch für den Entwicklungsprozess war die iterative Reduktion auf die wirtschaftlich und technisch sinnvollsten Komponenten. Nicht zielführende Ansätze wurden frühzeitig identifiziert und in Abstimmung mit dem PA verworfen:

• Akustische/vibroakustische Sensorik

Es wurden mehrere Mikrofone (MMS212, Microtech Gefell GmbH, Deutschland; M30, Earthworks Inc., USA) sowie ein Richtmikrofon (SE8, sE Electronics International Inc., USA) an der Flachstrickmaschine montiert und zudem die bereits in der Maschine verbauten Piezo-/Körperschall-sensoren betrachtet.

• Tensometrische Messtechnik

Für die tensometrische Messtechnik wurden zwei Positionen (beweglich am Fadenführer, stationär unterhalb des Fournisseurs) sowie zwei Systeme evaluiert: ein dedizierter 3-Rollen-Fadenzugkraftsensor (M120/SA310, Tensometric Messtechnik GmbH, Deutschland) und ein herstellerseitig modifizierter Fournisseur (EFS 920, Memminger-IRO GmbH, Deutschland).

• Optische Messtechnik

Es wurde eine Hochgeschwindigkeitskamera (DS-CAM 1100m, DEWESoft Deutschland GmbH) inklusiver einer LED-Hochleistungsbeleuchtung auf dem Strickschlitten montiert. Auf Basis des Nyquist-Shannon-Abtasttheorems und einer Nadelpassrate von 276 Nadeln/s wurde eine erforderliche Bildrate von mindestens 552 fps errechnet.

Datenerhebung

Die Datenbasis wurde in drei Messkampagnen erhoben: zwei unter kontrollierten Laborbedingungen (R1, R2) und eine im produktionsnahen Umfeld beim Partner Groz-Beckert KG (R3), in der auch reale Schadensereignisse an Nadeln aufgezeichnet werden konnten. Insgesamt wurden über alle Messkampagnen hinweg mehr als 8 Stunden Aufnahmematerial erfasst (Tabelle 1), wobei die einzelnen Aufnahmen 60 s umfassten. Die kontinuierlichen Signale wurden auf Basis einzelner Schlittenbewegungen, abgegrenzt durch die Lichtschrankensignale, in Segmente unterteilt und anhand der Prozessparameter mit Labels versehen.

Signalverarbeitung, Modellbildung und Validierung

Die akustischen und vibroakustischen Signale wurden auf eine einheitliche Abtastrate von 32 kHz resampelt und anschließend in Mel-Spektrogramme überführt (128 Frequenzbänder, 64-ms-Fenster, 32-ms-Schrittweite). Für die spektrogrammbasierten Modalitäten kamen 2D CNNs zum Einsatz, während die Fadenzugkraftdaten mittels zeitreihen-basierter Modelle ausgewertet wurden. Im Verlauf der iterativen Algorithmenentwicklung wurden verschiedene Verfahren (DNN, CNN, SVM, XGBoost) trainiert und für unterschiedliche Klassifikationsaufgaben anhand von Sensitivität, Spezifität und AUC bewertet.

Ein methodisch zentraler Aspekt war die realitätsnahe Validierung. Um zu vermeiden, dass die statistische Abhängigkeit von Segmenten derselben Aufnahme die Ergebnisse verzerrt, wurde vorrangig eine aufnahmebasierte Kreuzvalidierung (GroupKFold) eingesetzt, bei der alle Segmente einer Aufnahme geschlossen in derselben Bewertungsgruppe verbleiben. Darüber hinaus wurde gezielt die Domänenverschiebung zwischen Messkampagnen untersucht, indem Modelle auf einer Kampagne trainiert und auf einer anderen getestet wurden. Aufbauend darauf wurden verschiedene Strategien der multimodalen Datenfusion untersucht, um die Robustheit gegenüber veränderten Aufnahmebedingungen zu erhöhen. Hierbei wurden sowohl eine entscheidungsbasierte Late Fusion als auch eine merkmalsbasierte Feature Fusion evaluiert.

Ergebnisse

Selektion des Messsystems

Bei der Untersuchung des akustischen/vibroakustischen Messsystems zeigt sich, dass das gerichtete SE8 auch bei starkem Störschall (Lüftung, benachbarte Textilmaschinen) konsistent gute Signale lieferte. Weitere Mikrofone im Innenraum der Maschine darüber hinaus boten dagegen keinen weiteren Mehrwert. Da die integrierten Piezo-Schocksensoren eine hohe Sensitivität gegenüber prozessrelevanten Ereignissen zeigten und zusätzliche Mikrofone keinen wesentlichen Informationsgewinn lieferten, wurde das Messsystem auf ein Richtmikrofon und die bereits vorhandenen Schocksensoren reduziert.

Unter den untersuchten tensometrischen Sensoren erwies sich das dedizierte System dem modifizierten Fournisseur als überlegen. Es lieferte die höhere Signalauflösung, in der einzelne Maschenabschläge und simulierte Nadelfehler unmittelbar erkennbar waren. Dennoch waren gröbere Trends auch in den Messungen des Fournisseurs erkennbar, sodass bei einer vorhandenen CAN-Schnittstelle die Daten gut ergänzt werden können. Als geeignete Position wurde letztlich die statische Position am Gestell oberhalb der Strickstelle evaluiert. Eine potentielle Montage am Fadenführer erwies sich als komplexe und nicht kosteneffizient.

Das optische System wurde letztlich nicht in das Gesamtsystem integriert. In der Erprobung erwies es sich aufgrund von Abschattungen durch Wirkelemente, unzureichende Ausleuchtung und einer real erreichbaren Bildrate von nur 400 fps als unzureichend. Die notwendige Demontage der Nadelbürste bedeutete extreme Einschränkungen für die Produktgestaltung und war damit nicht praxistauglich. Der hohe Rechenaufwand für die Aufzeichnung und Auswertung der Bilddaten wurde ebenfalls negativ bewertet, speziell in Bezug auf die Kosteneffizienz.

Das finale System optimierte die Anzahl der Sensoren und eingesetzten Messsysteme hinsichtlich der besten Messqualität bei möglichst geringen Kosten. Die notwendigen Komponenten für das finale System sind in Tabelle 2 aufgelistet.

Die Analyse der Konfusionsmatrizen zeigte, dass Fehlklassifikationen überwiegend innerhalb derselben Geschwindigkeitsklasse auftraten und primär feine Unterschiede in der Kuliertiefe betrafen. Die Prozessgeschwindigkeit prägt das Signal deutlich stärker. Besonders relevant ist, dass die Modellarchitektur ohne strukturelle Anpassung auch auf die produktionsnahen Daten (R3) übertragbar war und dort ein mit dem Labor vergleichbares Niveau erreichte.

Klassifikation von Nadelfehlern

Bei einer vereinheitlichten 3-Klassen-Problemstellung erzielten die akustischen und vibroakustischen Sensoren über alle Kampagnen hinweg durchgehend hohe Genauigkeiten (Tabelle 4). Der tensometrische Sensor erreichte in den Laborkampagnen ebenfalls sehr hohe Werte (Abbildung 2), fiel in der produktionsnahen Kampagne R3 jedoch auf das Zufallsniveau ab.

Der Leistungsabfall des FZK-Sensors in R3 ließ sich auf die veränderte Sensoranbringung zurückführen: Während der Sensor im Labor mittig oberhalb der Maschine positioniert war, erfolgte die Integration im Produktionsumfeld seitlich, was die charakteristischen impulsartigen Signalverläufe abschwächte.

Domänenverschiebung und Sensorfusion

Bei der kampagnenübergreifenden Anwendung sank die Klassifikationsleistung deutlich. Die extrahierten Merkmale bildeten kampagnenspezifische Cluster. Für die Parameterklassifikation blieben die akustischen Sensoren dennoch oberhalb des Zufallsniveaus, während der FZK-Sensor nahezu vollständig versagte. Bei der Nadelfehlererkennung zeigte sich ein differenzierteres Bild: Hier erreichte der tensometrische Sensor beim Transfer teils die besten Ergebnisse, da er charakteristische impulsartige Fehlermuster erfasst, die auch unter veränderten Bedingungen stabil bleiben.

Die Sensorfusion erwies sich vor allem unter nicht-stationären Bedingungen als vorteilhaft (Tabelle 5). Während unter stabilen Laborbedingungen der Zusatznutzen begrenzt blieb, verbesserte die Kombination komplementärer Modalitäten in R3 die Robustheit spürbar (Late Fusion und Feature Fusion erreichten hier über 99 %).

Verbogene Nadeln, Verschleiß und Demonstrator

Bei der Erkennung verbogener Nadeln (nicht-impulsartiges Fehlerbild) erreichten die akustischen Sensoren und der Fournisseur Genauigkeiten von über 95 %, während der FZK-Sensor mit 52,9 % nur knapp über dem Zufallsniveau lag. Langsam voranschreitender Verschleiß (etwa durch Verschmutzung) konnte hingegen nicht belastbar detektiert werden: Selbst bei nahezu abgeschalteter Maschinenreinigung trat innerhalb der Versuchsdauer keine messbare Verschmutzung auf, wozu auch die geringe Flusenneigung des Polyestergarns sowie die vergleichsweise kurze Dauer der Messkampagnen beitrug. Die finalen Versagenszustände (Brüche einzelner Strickelemente) waren dagegen gut erkennbar.

Der integrierte Demonstrator führte Datenakquise, Merkmalsextraktion und Klassifikation in einer durchgängigen Pipeline zusammen und wurde am ITM unter praxisnahen Bedingungen validiert. Nach einem Nachtraining auf die konkrete Einsatzumgebung erreichte er eine mittlere Klassifikationsgenauigkeit von etwa 80 % und belegte damit die grundsätzliche Inlinefähigkeit. Eine grafische Benutzeroberfläche (Abbildung 3) ermöglichte die Auswahl der Sensormodelle und die Visualisierung der Ergebnisse.

Diskussion

Die Ergebnisse belegen, dass akustische und vibroakustische Sensorik eine robuste und kosteneffiziente Alternative zu kamerabasierten Systemen darstellt. Über alle Messkampagnen, einschließlich des produktionsnahen Umfelds, lieferten diese Modalitäten sowohl bei der Parameter‑ als auch bei der Nadelfehlerklassifikation durchgehend hohe Genauigkeiten. Besonders bemerkenswert ist die Übertragbarkeit der Modellarchitektur vom Labor auf reale Produktionsbedingungen ohne strukturelle Anpassung.

Ein differenziertes Bild ergibt sich für die tensometrische Sensorik: Sie eignet sich unter kontrollierten Bedingungen hervorragend zur Detektion impulsartiger Einzelnadelfehler, ist jedoch stark von der konkreten Sensoranbringung und der damit verbundenen Krafteinleitung abhängig. Bei veränderter Positionierung oder nicht-impulsartigen Fehlerbildern (verbogene Nadeln) bricht ihre Leistungsfähigkeit ein. Daraus folgt eine aufgabenspezifische Einordnung der Sensormodalitäten: Keine einzelne Sensorik ist für alle Anwendungsfälle gleichermaßen geeignet.

Die zentrale verbleibende Herausforderung ist die Domänenverschiebung. Die deutlichen Leistungseinbußen beim kampagnenübergreifenden Transfer zeigen, dass eine zuverlässige Generalisierung über unterschiedliche Aufnahmeumgebungen hinweg ohne Domänenanpassung, Nachtraining oder zusätzliche repräsentative Trainingsdaten nur eingeschränkt möglich ist. Sensorfusion kann diese Robustheit unter variierenden Bedingungen teilweise erhöhen, ihr Nutzen hängt jedoch maßgeblich von einer anwendungs-spezifischen Gewichtung der Modalitäten ab. Eine wesentliche Einschränkung stellt zudem die begrenzte Anzahl unabhängiger Aufnahmesitzungen dar, die die statistische Aussagekraft hinsichtlich der Robustheit limitiert.

Für die Detektion schleichenden Verschleißes zeigte sich, dass diese im Gegensatz zu akuten Defekten nicht kurzfristig simuliert werden kann, sondern spezifische Langzeitversuche mit kontinuierlicher Datenerfassung und definierten Referenzzuständen erfordert.

Key Takeaway: Akustische Sensorik in Kombination mit KI-gestützter Datenanalyse bietet ein hohes Potenzial für die Digitalisierung der Qualitätssicherung im Flachstrickprozess. Die zentrale Hürde für den industriellen Einsatz ist weniger die grundsätzliche Erkennungsleistung als vielmehr die Robustheit gegenüber Domänenverschiebungen.

Aus wirtschaftlicher Sicht zeigt die Bewertung, dass ein funktionsfähiger Basisausbau des OptiStrick-Systems gemäß Tabelle 2 mit marktverfügbarer Sensorik und Datenerfassungstechnik bereits für ca. 6.160 € je Flachstrick-maschine mit zwei Nadelbetten und drei überwachten Garnen realisierbar ist. Damit liegt der aktuelle Prototypenstand noch oberhalb des ursprünglich angestrebten Zielkorridors von 1.500 €, bildet jedoch eine technisch robuste Ausgangskonfiguration für die industrielle Weiterentwicklung. Zusätzlich ist für eine betriebssichere industrielle Anwendung ein weiterführender Entwicklungsaufwand in der Größenordnung eines weiteren Projektjahres (Personalkosten ca. 90.000 €) einzuplanen. Angesichts einer Ausschussrate von bis zu 10 % bei komplexen technischen Gestricken ist eine Amortisation daher erst mittelfristig zu erwarten. Perspektivisch lassen sich die Kosten jedoch deutlich senken, etwa durch den eines Mikrocomputer (ca. 350 €) nach abgeschlossenem KI-Training oder durch reine akustische Setups mit kostengünstigen Körperschallsensoren (ca. 15 € pro Stück).

Fazit und Ausblick

Das Vorhaben OptiStrick hat mit der Entwicklung des KI-gestützten Inline-Qualitätssicherungssystem für den Flachstrickprozess einen wichtigen Schritt zur Digitalisierung und Automatisierung der Qualitätssicherung in der Strickerei geleistet. Durch die Kombination bereits vorhandener Sensoren, wie Fournisseur und werkseitige Schocksensoren, mit einem zusätzlichen Richtmikrofon lässt sich mit vergleichsweise geringem Aufwand ein leistungsfähiges Überwachungs-system realisieren, das Nadeldefekte und daraus resultierende Gestrick-veränderungen frühzeitig und bedienerunabhängig erkennt. Wissenschaftlich wurden die multimodale Verknüpfung tensometrischer, vibroakustischer und akustischer Sensorik, die Entwicklung geeigneter KI-Modelle, sowie die zu-verlässige Klassifikation von Prozessparametern und spezifischen Nadelfehlern erfolgreich demonstriert.

Für zukünftige Arbeiten ergeben sich drei zentrale Handlungsfelder. Erstens sollte die Datengrundlage unter unterschiedlichen realen Einsatzbedingungen deutlich erweitert werden, um die Generalisierungsfähigkeit statistisch abzusichern. Zweitens sind gezielt Methoden zur Verbesserung der Robustheit, etwa Domänenanpassung, angepasste Vorverarbeitung und optimierte Fusions-strategien, zu untersuchen, um Domänenverschiebungen zu kompensieren. Drittens erfordert die Erkennung langsam fortschreitender Verschleiß-mechanismen dedizierte Langzeitversuche mit kontinuierlicher Datenerfassung; für die instrumentierte Erfassung der Nadelbeanspruchung erscheinen zudem miniaturisierte Dehnungsmessstreifen direkt an der Nadel als vielversprechender Ansatz.

Langfristig ist das Funktionsprinzip auf weitere textile Prozesse, etwa Weben, Sticken oder Nähen, übertragbar. Mit zunehmender Betriebsdauer und wachsender Datenbasis verbessern sich die KI-Modelle kontinuierlich, und die absehbaren Fortschritte im Bereich der KI-Soft- und -Hardware werden die Implementierung solcher Systeme wirtschaftlich zunehmend attraktiv machen, insbesondere auch als nachrüstbare, kosteneffiziente Lösungen für bestehende Produktionsanlagen in KMU.

Danksagung

Das IGF-Vorhaben 01IF22931N der Forschungsvereinigung Forschungskuratorium Textil e.V., Wallstr. 58/59, 10179 Berlin wurde über das DLR im Rahmen des Programms zur Förderung der industriellen Gemeinschaftsforschung und -entwicklung (IGF) vom Bundesministerium für Wirtschaft und Energie aufgrund eines Beschlusses des Deutschen Bundestages gefördert.

Die Autoren danken den genannten Institutionen für die Bereitstellung der finanziellen Mittel. Der Forschungsbericht und weiterführende Informationen sind am Institut für Textilmaschinen und Textile Hochleistungswerkstofftechnik der TU Dresden, sowie dem Fraunhofer-Institut für Digitale Medientechnologie erhältlich.

Literatur

1.         Kahraman, Y. und A. Durmuşoğlu. Deep learning-based fabric defect detection: A review [online]. Textile Research Journal, 2023, 93(5-6), 1485-1503. ISSN 0040-5175. Verfügbar unter: doi:10.1177/00405175221130773

2.         Metin, A. und T.T. Bilgin. Automated machine learning for fabric quality prediction: a comparative analysis [online]. PeerJ. Computer science, 2024, 10, e2188. Verfügbar unter: doi:10.7717/peerj-cs.2188

3.         Wuest, T., D. Weimer, C. Irgens und K.-D. Thoben. Machine learning in manufacturing: advantages, challenges, and applications [online]. Production & Manufacturing Research, 2016, 4(1), 23-45. Verfügbar unter: doi:10.1080/21693277.2016.1192517

4.         Khusheef, A.S., M. Shahbazi und R. Hashemi. Deep Learning-Based Multi-Sensor Fusion for Process Monitoring: Application to Fused Deposition Modeling [online]. Arabian Journal for Science and Engineering, 2024, 49(8), 10501-10522. ISSN 2193-567X. Verfügbar unter: doi:10.1007/s13369-023-08340-4

5.         Sun, A., S. Che, J. Fu und K. Wang. Multi-sensor information fusion technologies and applications: a review [online]. The International Journal of Advanced Manufacturing Technology, 2026, 144(1-2), 177-192. ISSN 0268-3768. Verfügbar unter: doi:10.1007/s00170-026-17965-2

6.         Wei, B., K. Hao, X. Tang und Y. Ding. A new method using the convolutional neural network with compressive sensing for fabric defect classification based on small sample sizes [online]. Textile Research Journal, 2019, 89(17), 3539-3555. ISSN 0040-5175. Verfügbar unter: doi:10.1177/0040517518813656

7.         Heyen, C. Applying AI for Future Business Models in the Textile and Fashion Value Chain [online]. International Journal for Research in Applied Science and Engineering Technology, 2025, 13(3), 378-386. Verfügbar unter: doi:10.22214/ijraset.2025.67255

8.         Yildirim, P., D. Birant und T. Alpyildiz. Data mining and machine learning in textile industry [online]. WIREs Data Mining and Knowledge Discovery, 2018, 8(1). ISSN 1942-4787. Verfügbar unter: doi:10.1002/widm.1228

9.         Kothuru, A., S.P. Nooka und R. Liu. Application of audible sound signals for tool wear monitoring using machine learning techniques in end milling [online]. The International Journal of Advanced Manufacturing Technology, 2018, 95(9-12), 3797-3808. ISSN 0268-3768. Verfügbar unter: doi:10.1007/s00170-017-1460-1

10.       Fatoba, O.S. und T.-C. Jen. Acoustic-Based In-Situ Monitoring of Additive Manufacturing Fabrication: A Review. In: 2023 14th International Conference on Mechanical and Intelligent Manufacturing Technologies (ICMIMT): IEEE, 2023, S. 250-256. ISBN 979-8-3503-1309-3.

11.       Ciaburro, G. und G. Iannace. Machine-Learning-Based Methods for Acoustic Emission Testing: A Review [online]. Applied Sciences, 2022, 12(20), 10476. Verfügbar unter: doi:10.3390/app122010476

12.       Westenberger, J., K. Schuler und D. Schlegel. Failure of AI projects: understanding the critical factors [online]. Procedia Computer Science, 2022, 196, 69-76. ISSN 18770509. Verfügbar unter: doi:10.1016/j.procs.2021.11.074