Preventing Hand Accidents in Hazardous Work Machines with Image Processing Based MediaPipe Algorithm
Abstract
In this study, a design is being developed using image processing techniques with artificial intelligence to prevent hand injuries and limb losses due to work accidents in workers working on circular saws and similar dangerous machines, and to teach them correct working behaviors. Computer vision is performed using the MediaPipe Hands machine learning model developed with CNN (convolutional neural network) and similar deep learning techniques trained in the design. The artificial intelligence design is made in the Python software environment using the machine learning library TensorFlow and the image processing library OpenCV. With the live image taken from the camera, the approach distance and aggressive fast movements of the human hand in the dangerous area are monitored and measured. Accordingly, the danger and warning zones are determined in dangerous work machines. If the hand is too close to the cutter in the dangerous area or exhibits fast movements, the work machine is stopped. In the warning zone, the necessary warnings are made to the user and the aim is to prevent hand accidents. The MediaPipe Hands model is compared in terms of detection performance by examining different brightness and noise environment conditions. This performance loss caused by adverse environmental conditions is improved by using filters. Here, the effects of the proposed brightness compensation and noise cancelling median filter are examined. The recommended filters provide significant improvements in the effects of changes in brightness levels and noise. In addition, the model complexity used is evaluated and the real-time operation capability of the suggested system is examined. It is evaluated that this artificial intelligence-based security system will reduce work accidents to the lowest level depending on the developments in the field of cameras, computers and software.
Keywords
Hazardous work machine hand protection system image processing MediaPipe occupational health and safety (OHS)
References
- Aksoy, E., Keskin, H. 2019. Mobilya endüstrisinde iş sağlığı ve güvenliği ile ilgili risk değerlendirmesi: Begonya mobilya imalat işletmesi örneği. Mobilya ve Ahşap Malzeme Araştırmaları Dergisi, 2(1): 46-60.Doi: 10.33725/mamad.516103
- Amprimo, G., Masi, G., Pettiti, G., Olmo, G., Priano, L., Ferraris, C. 2024. Hand tracking for clinical applications: Validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks. Biomedical Signal Processing and Control, 96(A):106508, Doi: 10.1016/j.bspc.2024.106508.
- Bora, J., Dehingia, S., Boruah, A., Chetia, AA., Gogoi, D. 2023. Real-time assamese sign language recognition using mediapipe and deep learning. Procedia Computer Science, 218: 1384-1393. Doi: 10.1016/j.procs.2023.01.117
- Chung, KC., Shauver, MJ. 2013. Table saw injuries: epidemiology and a proposal for preventive measures. Plastic and Reconstructive Surgery, 132(5): 777e-783e. Doi: 10.1097/PRS.0b013e3182a3bfb1
- Current, RS., Main, BW., Main, M. 2020. Saw safety risk in the real world. Professional Safety, 65(11): 24-32.
- Çelik, Ö., Odabaş, A. 2020. Sign2Text: Konvolüsyonel sinir ağları kullanarak türk işaret dili tanıma. Avrupa Bilim ve Teknoloji Dergisi, 19: 923-934. Doi: 10.31590/ejosat.747231
- ÇSGB. 2017. Mobilya Sektörü İş Sağlığı ve Güvenliği Yönetim Sistemi, T.C. Çalışma ve Sosyal Güvenlik Bakanlığı, https://www.csgb.gov.tr/medias/7042/mob%C4%B0lya-sektoer%C3%BC-%C4%B0sgys-rehber%C4%B0.pdf Yayın tarihi 30 Haziran 2017. Erişim tarihi 2 Aralık 2024.
- Demirci, S. 2018. Mobilya imalatında kullanılan malzeme ve makinelerin iş sağlığı ve güvenliği yönünden değerlendirilmesi. Hastane Öncesi Dergisi, 3(2): 103-119.
- Engür, MO. 2017. Mobilya endüstrisinde iş sağlığı ve güvenliği mevzuatına uyumun kontrol listeleri ile sağlanması üzerine bir çalışma. Mühendislik Bilimleri ve Tasarım Dergisi, 5: 283-292. Doi: 10.21923/jesd.45680
- Erkan, U., Gökrem, L. 2017. Tuz-biber gürültüsünde tekrarsız medyan filtre. Gaziosmanpaşa Bilimsel Araştırma Dergisi, 6(2): 11-19.
- Erkan, U., Enginoğlu, S., Thanh, DN., Hieu, LM. 2020. Adaptive frequency median filter for the salt and pepper denoising problem. IET Image Processing, 14(7): 1291-1302. Doi: 10.1049/iet-ipr.2019.0398
- Garg, S., Saxena, A., Gupta, R. 2023. Yoga pose classification: a CNN and MediaPipe inspired deep learning approach for real-world application. Journal of Ambient Intelligence and Humanized Computing, 14(12): 16551-16562. Doi: 10.1007/s12652-022-03910-0
- Gedik, T., İlhan, A. 2014. Sakarya ili mobilya imalatçılarında iş sağlığı ve iş güvenliği üzerine bir inceleme. Turkish Journal of Forestry, 15(2): 123-129. Doi: 10.18182/tjf.74885
- Haji Mohd, MN., Mohd Asaari, MS., Lay Ping, O., Rosdi, BA. 2023. Vision-based hand detection and tracking using fusion of kernelized correlation filter and single-shot detection. Applied Sciences, 13(13): 7433. Doi: 10.3390/app13137433
- Hand Guard. 2022. Altendorf sliding table saws HAND GUARD the safety system https://www.altendorfgroup.com/en/machines/altendorf-hand-guard/ Yayın tarihi 5 Haziran 2021. Erişim tarihi 2 Aralık 2024.
- İlhan, A., Koşar, G., Karapınar, A., Gedik, T. 2013. Sakarya ili mobilya imalatında iş kazası ve meslek hastalıklarının ortaya çıkış nedenlerinin analizi. Kastamonu University Journal of Forestry Faculty, 13(2): 202-210.
- İSG. 2012. 6331 Sayılı İş Sağlığı Ve Güvenliği Kanunu https://www.resmigazete.gov.tr/eskiler/2012/06/20120630-1.htm Yayın tarihi 30 Haziran 2012. Erişim tarihi 2 Aralık 2024.
- Kim, JW., Choi, JY., Ha, EJ., Choi, H. 2023. Human pose estimation using Mediapipe pose and optimization method based on a humanoid model. Applied Sciences, 13(4): 2700. Doi: 10.3390/app13042700
- Kumar, R., Bajpai, A., Sinha, A. 2023. MediaPipe and CNNs for real-time ASL gesture recognition. arXiv Preprint, arXiv:2305.05296. Doi: 10.48550/arXiv.2305.05296
- Küpeli, C., Bulut, F. 2020. Görüntüdeki tuz biber ve gauss gürültülerine karşı filtrelerin performans analizleri. Haliç Üniversitesi Fen Bilimleri Dergisi, 3(2): 211-239. Doi: 10.46373/hafebid.768240
- Latreche, A., Kelaiaia, R., Chemori, A., Kerboua, A. 2023. Reliability and validity analysis of MediaPipe-based measurement system for some human rehabilitation motions. Measurement, 214: 112826. Doi: 10.1016/j.measurement.2023.112826
- MediaPipe. 2023. MediaPipe solutions guide https://ai.google.dev/edge/mediapipe/solutions/guide Yayın tarihi 1 Mart 2023. Erişim tarihi 2 Aralık 2024.
- Sánchez-Brizuela, G., Cisnal, A., de la Fuente-López, E., Fraile, J-C., Pérez-Turiel, J. 2023. Lightweight real-time hand segmentation leveraging MediaPipe landmark detection. Virtual Reality, 27: 3125-3132. Doi: 10.1007/s10055-023-00858-0
- Sarkar, D., Bali, R., Ghosh, T. 2018. Hands-on transfer learning with Python: Implement advanced deep learning and neural network models using TensorFlow and Keras. Packt Publishing Limited, 430 pp. Doi: 10.0000/9781788839051-001 SawStop. 2021. Sawstop safety system ICS owner menual https://www.sawstop.com/wp-content/uploads/2021/10/M_ICS_WEB.pdf Yayın tarihi 2 Temmuz 2020. Erişim tarihi 2 Aralık 2024.
- Tan, FG., Yüksel, AS., Aydemir, E., Ersoy, M. 2021. Derin öğrenme teknikleri ile nesne tespiti ve takibi üzerine bir inceleme. Avrupa Bilim ve Teknoloji Dergisi, 25: 159-171. Doi: 10.31590/ejosat.878552
- Ulusoy, H., Atılgan, A., Peker, H. 2018. Mobilya endüstrisinde kullanılan makinelerde çalışma güvenliği. Türk Bilimsel Derlemeler Dergisi, 11(1): 70-81.
Abstract
Bu çalışmada yapay zeka ile görüntü işleme tekniklerini kullanarak, daire testere ve benzeri tehlikeli makinalarda çalışanların iş kazası sonucu el yaralanmalarını, uzuv kayıplarını önlemek ve doğru çalışma davranışlarını öğretmeyi amaçlayan bir tasarım geliştirilmektedir. Tasarımda eğitilmiş CNN (evrişimsel sinir ağı) ve benzeri derin öğrenme teknikleri ile geliştirilen MediaPipe Hands makina öğrenimi modeli kullanılarak bilgisayarlı görme (Computer vision) işlemi yapılmaktadır. Yapay zeka tasarımı Python yazılım ortamında makine öğrenimi kütüphanesi TensorFlow ve görüntü işleme kütüphanesi OpenCV kullanılarak yapılmaktadır. Kameradan alınan canlı görüntü ile insan elinin, tehlikeli bölgede kesici ile arasındaki yaklaşma mesafesi ve agresif hızlı hareketleri takip edilip, ölçümlenir. Buna göre tehlikeli iş makinalarında tehlike ve uyarı bölgeleri belirlenmektedir. Eğer el tehlikeli bölgede kesiciye aşırı yakınsa veya hızlı hareketler sergilerse iş makinası durdurulur. Uyarı bölgesinde ise kullanıcıya gerekli uyarılar yapılarak el kazalarının önüne geçilmesi hedeflenmektedir. MediaPipe Hands modelinin farklı parlaklık ve gürültü ortam durumları incelenerek tespit performansında kıyaslanmaktadır. Burada önerilen parlaklık dengeleme ve gürültü önleyici medyan filtre etkileri incelenmektedir. Olumsuz ortam koşullarından kaynaklanan bu performans kaybı filtre kullanımıyla iyileştirme yapılmaktadır. Parlaklık seviyelerindeki değişim ve gürültü etkisinde önerilen filtreler önemli oranda iyileştirme sağlamaktadır. Ek olarak kullanılan model karmaşıklığı değerlendirilerek önerilen sistemin gerçek zaman çalışabilme kabiliyeti incelenmektedir. Yapay zeka tabanlı bu güvenlik sistemi kamera, bilgisayar ve yazılım alanındaki gelişmelere bağlı olarak iş kazalarını en alt seviyeye indireceği değerlendirilmektedir.
Keywords
Görüntü işleme MediaPipe tehlikeli iş makine el koruma sistemi iş sağlığı ve güvenliği (İSG)
Ethical Statement
Yazarların bu makalenin içeriğiyle ilgili olarak herhangibir etik bayan bulunmamaktadır.
Thanks
Araştırmacı(lar) deneysel çalışmalara destek veren teknik personele ve makaleyi değerlendiren hakemlere teşekkür eder.
References
- Aksoy, E., Keskin, H. 2019. Mobilya endüstrisinde iş sağlığı ve güvenliği ile ilgili risk değerlendirmesi: Begonya mobilya imalat işletmesi örneği. Mobilya ve Ahşap Malzeme Araştırmaları Dergisi, 2(1): 46-60.Doi: 10.33725/mamad.516103
- Amprimo, G., Masi, G., Pettiti, G., Olmo, G., Priano, L., Ferraris, C. 2024. Hand tracking for clinical applications: Validation of the Google MediaPipe Hand (GMH) and the depth-enhanced GMH-D frameworks. Biomedical Signal Processing and Control, 96(A):106508, Doi: 10.1016/j.bspc.2024.106508.
- Bora, J., Dehingia, S., Boruah, A., Chetia, AA., Gogoi, D. 2023. Real-time assamese sign language recognition using mediapipe and deep learning. Procedia Computer Science, 218: 1384-1393. Doi: 10.1016/j.procs.2023.01.117
- Chung, KC., Shauver, MJ. 2013. Table saw injuries: epidemiology and a proposal for preventive measures. Plastic and Reconstructive Surgery, 132(5): 777e-783e. Doi: 10.1097/PRS.0b013e3182a3bfb1
- Current, RS., Main, BW., Main, M. 2020. Saw safety risk in the real world. Professional Safety, 65(11): 24-32.
- Çelik, Ö., Odabaş, A. 2020. Sign2Text: Konvolüsyonel sinir ağları kullanarak türk işaret dili tanıma. Avrupa Bilim ve Teknoloji Dergisi, 19: 923-934. Doi: 10.31590/ejosat.747231
- ÇSGB. 2017. Mobilya Sektörü İş Sağlığı ve Güvenliği Yönetim Sistemi, T.C. Çalışma ve Sosyal Güvenlik Bakanlığı, https://www.csgb.gov.tr/medias/7042/mob%C4%B0lya-sektoer%C3%BC-%C4%B0sgys-rehber%C4%B0.pdf Yayın tarihi 30 Haziran 2017. Erişim tarihi 2 Aralık 2024.
- Demirci, S. 2018. Mobilya imalatında kullanılan malzeme ve makinelerin iş sağlığı ve güvenliği yönünden değerlendirilmesi. Hastane Öncesi Dergisi, 3(2): 103-119.
- Engür, MO. 2017. Mobilya endüstrisinde iş sağlığı ve güvenliği mevzuatına uyumun kontrol listeleri ile sağlanması üzerine bir çalışma. Mühendislik Bilimleri ve Tasarım Dergisi, 5: 283-292. Doi: 10.21923/jesd.45680
- Erkan, U., Gökrem, L. 2017. Tuz-biber gürültüsünde tekrarsız medyan filtre. Gaziosmanpaşa Bilimsel Araştırma Dergisi, 6(2): 11-19.
- Erkan, U., Enginoğlu, S., Thanh, DN., Hieu, LM. 2020. Adaptive frequency median filter for the salt and pepper denoising problem. IET Image Processing, 14(7): 1291-1302. Doi: 10.1049/iet-ipr.2019.0398
- Garg, S., Saxena, A., Gupta, R. 2023. Yoga pose classification: a CNN and MediaPipe inspired deep learning approach for real-world application. Journal of Ambient Intelligence and Humanized Computing, 14(12): 16551-16562. Doi: 10.1007/s12652-022-03910-0
- Gedik, T., İlhan, A. 2014. Sakarya ili mobilya imalatçılarında iş sağlığı ve iş güvenliği üzerine bir inceleme. Turkish Journal of Forestry, 15(2): 123-129. Doi: 10.18182/tjf.74885
- Haji Mohd, MN., Mohd Asaari, MS., Lay Ping, O., Rosdi, BA. 2023. Vision-based hand detection and tracking using fusion of kernelized correlation filter and single-shot detection. Applied Sciences, 13(13): 7433. Doi: 10.3390/app13137433
- Hand Guard. 2022. Altendorf sliding table saws HAND GUARD the safety system https://www.altendorfgroup.com/en/machines/altendorf-hand-guard/ Yayın tarihi 5 Haziran 2021. Erişim tarihi 2 Aralık 2024.
- İlhan, A., Koşar, G., Karapınar, A., Gedik, T. 2013. Sakarya ili mobilya imalatında iş kazası ve meslek hastalıklarının ortaya çıkış nedenlerinin analizi. Kastamonu University Journal of Forestry Faculty, 13(2): 202-210.
- İSG. 2012. 6331 Sayılı İş Sağlığı Ve Güvenliği Kanunu https://www.resmigazete.gov.tr/eskiler/2012/06/20120630-1.htm Yayın tarihi 30 Haziran 2012. Erişim tarihi 2 Aralık 2024.
- Kim, JW., Choi, JY., Ha, EJ., Choi, H. 2023. Human pose estimation using Mediapipe pose and optimization method based on a humanoid model. Applied Sciences, 13(4): 2700. Doi: 10.3390/app13042700
- Kumar, R., Bajpai, A., Sinha, A. 2023. MediaPipe and CNNs for real-time ASL gesture recognition. arXiv Preprint, arXiv:2305.05296. Doi: 10.48550/arXiv.2305.05296
- Küpeli, C., Bulut, F. 2020. Görüntüdeki tuz biber ve gauss gürültülerine karşı filtrelerin performans analizleri. Haliç Üniversitesi Fen Bilimleri Dergisi, 3(2): 211-239. Doi: 10.46373/hafebid.768240
- Latreche, A., Kelaiaia, R., Chemori, A., Kerboua, A. 2023. Reliability and validity analysis of MediaPipe-based measurement system for some human rehabilitation motions. Measurement, 214: 112826. Doi: 10.1016/j.measurement.2023.112826
- MediaPipe. 2023. MediaPipe solutions guide https://ai.google.dev/edge/mediapipe/solutions/guide Yayın tarihi 1 Mart 2023. Erişim tarihi 2 Aralık 2024.
- Sánchez-Brizuela, G., Cisnal, A., de la Fuente-López, E., Fraile, J-C., Pérez-Turiel, J. 2023. Lightweight real-time hand segmentation leveraging MediaPipe landmark detection. Virtual Reality, 27: 3125-3132. Doi: 10.1007/s10055-023-00858-0
- Sarkar, D., Bali, R., Ghosh, T. 2018. Hands-on transfer learning with Python: Implement advanced deep learning and neural network models using TensorFlow and Keras. Packt Publishing Limited, 430 pp. Doi: 10.0000/9781788839051-001 SawStop. 2021. Sawstop safety system ICS owner menual https://www.sawstop.com/wp-content/uploads/2021/10/M_ICS_WEB.pdf Yayın tarihi 2 Temmuz 2020. Erişim tarihi 2 Aralık 2024.
- Tan, FG., Yüksel, AS., Aydemir, E., Ersoy, M. 2021. Derin öğrenme teknikleri ile nesne tespiti ve takibi üzerine bir inceleme. Avrupa Bilim ve Teknoloji Dergisi, 25: 159-171. Doi: 10.31590/ejosat.878552
- Ulusoy, H., Atılgan, A., Peker, H. 2018. Mobilya endüstrisinde kullanılan makinelerde çalışma güvenliği. Türk Bilimsel Derlemeler Dergisi, 11(1): 70-81.
Details
| Primary Language | Turkish |
|---|---|
| Subjects | Computer Software, Digital Electronic Devices, Electronic Design Automation |
| Journal Section | Research Articles |
| Authors | |
| Publication Date | April 22, 2025 |
| Submission Date | December 10, 2024 |
| Acceptance Date | January 30, 2025 |
| Published in Issue | Year 2025 Volume: 15 Issue: 1 |
