Data Workflow คือ สิ่งที่หลายๆ องค์กร ยังไม่มี

จากการไปดูงานมาที่บริษัทที่มีนโยบายเกี่ยวกับ Big Data ที่ชัดเจน สิ่งที่เขาจะใช้เป็น Reference ในการบรรยายเสมอๆคือ Data Flow หรือ Data Ecosystem ซึ่งเป็นสิ่งที่ทำให้เห็นชัดทั้งระบบว่าการไหลเข้าออกของข้อมูลคืออะไร ปัญหาอยู่ที่ตรงไหน Data pipeline มีลักษณะเช่นไร แต่ละส่วนต้องใช้เครื่องมืออะไร มีการเขียนโค้ดส่วนไหนและใครรับผิดชอบ

อย่างไรก็ตามหลายองค์กรไม่มี Flow นี้และยิ่งไปกว่านั้นในแต่ละกล่องที่มีความเกี่ยวข้องกัน มีการแยกทีมกันทำงานและไม่มีการประสานงานกันทำให้เกิดช่องว่างในการใช้ข้อมูลจึงเป็นที่มาว่า มีข้อมูลแต่ไม่สามารถนำไปใช้ต่อได้

ปัญหาหน้างานที่เกิดขึ้นคือเมื่อเราขอให้องค์กรช่วยเขียน Data Workflow กลายเป็นว่าไม่มีใครสามารถเขียนได้และต่างอ้างกันไปอ้างกันมาเพราะมองว่าไม่ใช่หน้าที่ของตน

และเมื่อเขียน Flow นี้ได้จบก็จะพบว่าข้อมูลหลายส่วนมีความซ้ำซ้อนและไม่ได้ถูกใช้งานจริงแต่อย่างใด

การเขียน Data Flowchart อาจจะยุ่งยากในตอนแรกแต่มันคืองานที่ “จำเป็น” ต้องมี ก่อนที่จะพูดถึง Machine Learning หรือซื้อ BI Software มาใช้งานด้วยซ้ำไป

ดังนั้นวันนี้เราอยากแนะนำให้ทุกองค์กรที่กำลังจะทำ Big Data ไม่ว่าจะเป็น Big Data Management หรือจะทำ Data Science and AI ควรเริ่มจากการเขียน Data Flow ให้ได้เสียก่อนตั้งแต่ Flow ปัจจุบันไปจนถึง Flow ที่อยากให้เป็นแล้วคุณจะเข้าใจแนวทางการทำงานของ Big Data ได้มากขึ้นต่อไป

ทั้งนี้อยากรณรงค์ให้มีการนำเสนอ Data Flow หรือ Data Ecosystem ทุกสัมมนาที่เกี่ยวกับ Technology หรือ Tech Start Up เพื่อความชัดเจนในเชิงเทคนิคและยิ่งแสดงให้เห็นได้ว่าผู้บรรยายมีความเชี่ยวชาญและเข้าใจ Big Data นั้นจริงๆ

รูป Data Flow นี้ เป็นรูปที่ Coraline ทำขึ้นมาเพื่อเสนอ Solution ให้องค์กรหนึ่ง

ให้คำปรึกษาการทำ Data Science and Data Modeling เพื่อเพิ่มศักยภาพของธุรกิจ

Originally published at https://www.coraline.co.th.