ตอนที่ 2: เริ่มต้นการตรวจสอบ AI: แนวทางปฏิบัติสำหรับผู้ตรวจสอบภายใน
ในขณะที่องค์กรต่าง ๆ ยังคงนำ AI ไปใช้งานในรูปแบบที่หลากหลายอย่างต่อเนื่อง ผู้ตรวจสอบภายในต้องมีบทบาทเชิงรุกและทำงานร่วมกับฝ่ายบริหารอย่างใกล้ชิด เพื่อทำความเข้าใจกลยุทธ์โดยรวมขององค์กรเกี่ยวกับ AI, วิธีการใช้งานในปัจจุบัน และแผนการใช้งานในอนาคต โดยเฉพาะอย่างยิ่งในระหว่างกระบวนการวางแผน ผู้ตรวจสอบภายในควรเริ่มต้นด้วยการค้นคว้าและรวบรวมข้อมูลที่เกี่ยวข้องกับการใช้งาน AI ที่อยู่ระหว่างการตรวจสอบจากแหล่งข้อมูลทั้งภายในและภายนอก
การรวบรวมข้อมูล: แหล่งข้อมูลภายในและภายนอก
ข้อมูลภายในองค์กรที่สำคัญสามารถรวมถึง:
- นโยบายและขั้นตอนการปฏิบัติงาน: เอกสารที่อ้างอิงถึง AI ซึ่งสามารถรวบรวมและตรวจสอบเพื่อทำความเข้าใจกระบวนการขององค์กรได้ดียิ่งขึ้น
- แผนยุทธศาสตร์: เอกสารที่บันทึกไว้เกี่ยวกับโครงการริเริ่มเชิงกลยุทธ์หรือแผนกลยุทธ์ขององค์กร รวมถึงส่วนที่เกี่ยวข้องกับ AI
- รายงานคณะกรรมการล่าสุด: รายงานที่มีวิสัยทัศน์และข้อมูลว่าผู้นำและคณะกรรมการหารือเกี่ยวกับเรื่องการใช้ AI และความเสี่ยงที่เกี่ยวข้องอย่างไร
- ข้อมูลที่ได้รับจากการประชุมประเมินความเสี่ยงอย่างต่อเนื่อง: ข้อมูลที่ได้จากผู้มีส่วนได้ส่วนเสีย
ทรัพยากรภายนอก: ทรัพยากรภายนอกสามารถให้ข้อมูลอ้างอิงเพิ่มเติมในขณะที่ผู้ตรวจสอบภายในเริ่มทบทวนกลยุทธ์ AI ขององค์กรได้ ซึ่งรวมถึง:
- The IIA’s three-part Global Perspectives & Insights: The Artificial Intelligence Revolution
- The IIA’s Artificial Intelligence 101 Series
- The IIA’s Analytics, Automation, and AI Virtual Conference
- เอกสารการตรวจสอบด้านไอทีและความมั่นคงทางไซเบอร์ เช่น The IIA’s Certificates on Auditing the Cybersecurity Program และ IT General Controls
- The IIA’s Practice Guides และ Global Technology Audit Guides (GTAGs)
- NIST’s AI Risk Management Framework (AI RMF 1.0)
- National Cybersecurity Centre’s Guidelines for Secure AI System Development
- White House’s AI executive order of October 2023
- IBM’s AI governance eBook
การควบคุมระดับองค์กร: การปฏิบัติงานและกลยุทธ์
เมื่อผู้ตรวจสอบมีความพร้อมด้วยทรัพยากรเหล่านี้แล้ว การตั้งคำถามว่า “องค์กรกำลังใช้ AI อย่างไร?” ถือเป็นคำถามเริ่มต้นที่เรียบง่ายแต่มีประสิทธิภาพในการรวบรวมข้อมูล คำตอบของคำถามนี้มักจะต้องสอบถามจากหลายบุคคลหรือหลายแผนก เนื่องจากองค์กรจำนวนมากยังไม่มีการจัดการ AI แบบรวมศูนย์ หรือยังไม่มีนโยบาย, ขั้นตอนการปฏิบัติงาน, หรือกลยุทธ์ที่ชัดเจนเกี่ยวกับการใช้งาน AI ที่ยอมรับได้
สำหรับองค์กรที่มีการพัฒนาและนำ AI มาใช้งานแล้ว ผู้ตรวจสอบภายในควรพูดคุยกับทีม AI หรือทีมวิทยาศาสตร์ข้อมูล (Data Science) การพูดคุยควรครอบคลุมถึงการขอให้พวกเขาอธิบายว่ามีการใช้ AI หรืออัลกอริทึมใดบ้าง รวมถึงหน้าที่การทำงาน, แหล่งข้อมูลที่ใช้, การนำไปใช้, ข้อจำกัด, ความเสี่ยง และผลกระทบทางจริยธรรม นอกจากนี้ ผู้ตรวจสอบภายใน ควรเริ่มทำความเข้าใจว่ามีการควบคุมใดบ้างที่ใช้เพื่อจัดการความเสี่ยงจาก AI หรือหากฝ่ายบริหารได้นำการควบคุมใหม่ ๆ มาใช้เพื่อการใช้งานและการนำระบบ AI ไปปฏิบัติ การทำความเข้าใจเบื้องต้นเกี่ยวกับการออกแบบการควบคุมเหล่านี้ถือเป็นขั้นตอนสำคัญที่สามารถทำควบคู่ไปกับการหารือเบื้องต้นเหล่านี้ได้
สำหรับองค์กรที่ยังไม่แน่ชัดว่ามีการใช้ AI อย่างเป็นทางการหรือไม่ แผนกไอทีถือเป็นจุดเริ่มต้นที่ดี เนื่องจากผู้นำด้านเทคโนโลยีมักจะทดลองและใช้ AI ในแผนกของตนเองมากกว่า หากไอทียืนยันว่ามีการใช้ AI หรือหากการสอบถามเบื้องต้นพบว่ามีการใช้ AI ในองค์กร คำถามถัดไปที่ควรจะถามคือ “มีการใช้ AI ในระดับใด?”
แม้ว่าการสนทนากับทีม AI/ทีมวิทยาศาสตร์ข้อมูล หรือฝ่ายบริหารไอทีจะเป็นขั้นตอนแรกที่ดี แต่การหารือไม่ควรจำกัดอยู่แค่กลุ่มเหล่านั้น จากการหารือเบื้องต้นนี้ ผู้ตรวจสอบภายในอาจทราบว่าแผนกอื่น ๆ หรือผู้ใช้รายบุคคลกำลังใช้ AI สำหรับหน้าที่เฉพาะของตน ซึ่งจำเป็นต้องมีการพูดคุยเพิ่มเติม ควรทำงานร่วมกับฝ่ายบริหารเพื่อจัดทำหรือทบทวนรายการข้อมูล (Inventory) ที่ระบุว่าแผนกใดบ้างที่กำลังใช้ AI อยู่ในปัจจุบัน และควรปรับปรุงรายการนี้บ่อยครั้ง รายการควรมีข้อมูลสำคัญอื่น ๆ เช่น เป้าหมายหรือวัตถุประสงค์ของ AI, ผู้ใช้งาน, ผู้จัดการ, เครื่องมือ AI ที่ใช้, ข้อควรพิจารณาด้านความเสี่ยง และผู้ที่กำกับดูแล กระบวนการทบทวนหรือการทำงานร่วมกับฝ่ายบริหารเพื่อพัฒนาข้อมูลรายการ AI ยังสามารถทำได้ระหว่างกระบวนการประเมินความเสี่ยงประจำปี
ผู้ตรวจสอบภายในส่วนใหญ่ทำงานอย่างใกล้ชิดกับผู้บริหารระดับสูง เช่น ประธานเจ้าหน้าที่ฝ่ายการเงิน (CFO), ประธานเจ้าหน้าที่ฝ่ายความมั่นคงสารสนเทศ (CISO) หรือประธานเจ้าหน้าที่ฝ่ายสารสนเทศ (CIO) ซึ่งความสัมพันธ์ทางวิชาชีพเหล่านี้จะเป็นโอกาสที่ดีสำหรับการพูดคุยเรื่อง AI คำถามสำคัญที่ผู้ตรวจสอบภายในสามารถถามผู้บริหารได้แก่:
- “องค์กรได้กำหนดกลยุทธ์ AI แล้วหรือไม่? ถ้ามี รายละเอียดของกลยุทธ์นั้นคืออะไร (รวมถึงการใช้ AI เพื่อเพิ่มประสิทธิภาพการดำเนินงานหรือลดต้นทุน)?”
- “ผู้บริหารระดับสูงได้กำหนดแล้วหรือยังว่าใครเป็นผู้รับผิดชอบในการจัดการความเสี่ยงที่เกี่ยวข้องกับ AI?”
- “ผู้บริหารระดับสูงมีบทบาทอย่างไรในการประสานงานกับคณะกรรมการบริหาร (หรือเทียบเท่า) เพื่อพิจารณาการกำกับดูแล AI?”
เมื่อทำตามขั้นตอนเหล่านี้แล้ว ผู้ตรวจสอบภายในจะ:
- ได้ค้นคว้าข้อมูลเกี่ยวกับ AI ในองค์กรและทบทวนทรัพยากรภายนอก
- ได้พูดคุยเบื้องต้นเกี่ยวกับ AI กับฝ่ายบริหาร รวมถึงทีม AI/ทีมวิทยาศาสตร์ข้อมูล หรือฝ่ายบริหารไอที และทีมผู้นำระดับผู้บริหาร
- ได้ทำงานร่วมกับฝ่ายบริหารในการทบทวนหรือจัดทำรายการข้อมูลเพื่อรวบรวมว่า AI ถูกนำไปใช้อย่างไร (หรือวางแผนจะใช้อย่างไรในอนาคต)
- ได้เริ่มต้นทำความเข้าใจว่ามีการกำกับดูแล AI ในองค์กรอย่างไร
การทำภารกิจทั้งสี่นี้จะแสดงให้เห็นว่าการตรวจสอบภายในได้ดำเนินการตามขั้นตอนแรกในการสร้างความรู้พื้นฐานเกี่ยวกับ AI ในองค์กรแล้ว และยังเป็นโอกาสที่ผู้ตรวจสอบภายในจะสามารถนำเสนอข้อสังเกตที่ต้องสื่อสารกับฝ่ายบริหารอย่างทันท่วงทีอีกด้วย
ข้อมูล (Data)
หลังจากที่ผู้ตรวจสอบภายในมีความเข้าใจพื้นฐานว่า AI ถูกนำไปใช้อย่างไรแล้ว พวกเขาควรพัฒนาความรู้เกี่ยวกับการใช้ AI ภายในองค์กรให้แข็งแกร่งยิ่งขึ้น เนื่องจากอัลกอริทึมที่ขับเคลื่อน AI ต้องพึ่งพาข้อมูลปริมาณมหาศาล (หรือที่เรียกว่า “Big Data”) ดังนั้น การระบุว่าข้อมูลขององค์กรใดถูกใช้ในแอปพลิเคชัน AI และมีการจัดการข้อมูลนั้นอย่างไรจึงเป็นเรื่องสำคัญอย่างยิ่ง
อัลกอริทึมคือชุดของกฎที่ AI ต้องปฏิบัติตาม ซึ่งทำให้เครื่องจักรสามารถประมวลผลข้อมูลจำนวนมหาศาลได้อย่างรวดเร็ว ซึ่งมนุษย์ไม่สามารถทำได้ด้วยความง่ายและความเร็วเท่ากัน เมื่อพิจารณาจากความสามารถของ AI ในการรับและตอบสนองต่อชุดข้อมูลที่หลากหลายจำนวนมากแล้ว สถาปัตยกรรม, ประสิทธิภาพ, และความถูกต้องของอัลกอริทึมที่เกี่ยวข้องจึงเป็นสิ่งสำคัญอย่างยิ่ง
อัลกอริทึมถูกพัฒนาโดยมนุษย์ในขั้นต้น ดังนั้นความผิดพลาดและความลำเอียงของมนุษย์ (ทั้งโดยตั้งใจและไม่ได้ตั้งใจ) อาจส่งผลกระทบต่อประสิทธิภาพของอัลกอริทึมได้ ซึ่งในตอนที่ 3 จะให้รายละเอียดเพิ่มเติมเกี่ยวกับความเสี่ยงที่เกี่ยวข้องกับข้อผิดพลาดและความลำเอียงของอัลกอริทึม
นอกเหนือจาก AI องค์กรหลายแห่งมีกลยุทธ์ในการรวบรวม, จัดเก็บ, ใช้งาน, จัดการ และปกป้องข้อมูลอยู่แล้ว AI ก็เช่นเดียวกับแอปพลิเคชันที่ขับเคลื่อนด้วยข้อมูลอื่น ๆ ที่มีแง่มุมที่สำคัญเกี่ยวกับข้อมูลที่เกี่ยวข้องและควรพิจารณา ซึ่งรวมถึงความสมบูรณ์, ความเป็นส่วนตัว, การรักษาความลับ, ความถูกต้อง, ความแม่นยำ และความครบถ้วนสมบูรณ์
ข้อมูลขนาดใหญ่ (Big Data) มีความหมายมากกว่าแค่ข้อมูลปริมาณมาก แต่หมายถึงข้อมูลที่มีปริมาณ, ความหลากหลาย, ความเร็ว และความแปรปรวนที่สูงมาก จนองค์กรต้องลงทุนในสถาปัตยกรรมระบบ, เครื่องมือ และแนวทางปฏิบัติที่ออกแบบมาเพื่อจัดการข้อมูลโดยเฉพาะ ข้อมูลจำนวนมากนี้อาจถูกสร้างขึ้นโดยองค์กรเอง ในขณะที่บางส่วนอาจเป็นข้อมูลสาธารณะหรือซื้อมาจากแหล่งภายนอก สำหรับคำแนะนำที่ครอบคลุมเกี่ยวกับการทำความเข้าใจและการตรวจสอบข้อมูลขนาดใหญ่ สามารถดูได้จาก The IIA’s “GTAG: Understanding and Auditing Big Data”
อีกแง่มุมที่สำคัญของการใช้ข้อมูลและแอปพลิเคชัน AI ที่เกี่ยวข้องคือ ข้อมูลนั้นถูกโฮสต์หรือประมวลผลโดยบุคคลภายนอกองค์กรหรือไม่ ผู้ตรวจสอบภายในต้องพิจารณาความเสี่ยงที่เกี่ยวข้องกับธุรกรรมกับบุคคลที่สาม (และสี่) เสมอ เนื่องจากสภาพแวดล้อมการควบคุมภายในของผู้ขายอาจไม่ครอบคลุมเท่ากับสภาพแวดล้อมขององค์กร The IIA’s Practice Guide “Auditing Third-party Risk Management” ให้แนวทางเชิงลึกเกี่ยวกับความเสี่ยงที่เกี่ยวข้องกับการใช้ผู้ขายภายนอก
อีกประเด็นสำคัญของข้อมูลคือ การเข้าถึงของผู้ใช้ การทำความเข้าใจว่าใครสามารถแก้ไขหรือเปลี่ยนแปลงข้อมูลได้เป็นสิ่งสำคัญ เนื่องจากข้อมูลที่ป้อนเข้าย่อมส่งผลกระทบต่อผลลัพธ์ของ AI อย่างแน่นอน การทำความเข้าใจและบันทึกการเข้าถึงของผู้ดูแลระบบสำหรับข้อมูลที่เกี่ยวข้องกับ AI ก็เป็นเรื่องจำเป็น The IIA’s “GTAG: Auditing Identity and Access Management” จะช่วยให้ผู้ตรวจสอบภายในพิจารณาว่าองค์กรมั่นใจได้อย่างไรว่าผู้ใช้มีสิทธิ์เข้าถึงทรัพยากรไอทีที่เหมาะสม
ความมั่นคงปลอดภัยทางไซเบอร์ (Cybersecurity)
ความมั่นคงปลอดภัยทางไซเบอร์ก็ต้องถูกนำมาพิจารณาเช่นกัน เนื่องจากเกี่ยวข้องกับการจำกัดผู้ใช้ที่ไม่ได้รับอนุญาตไม่ให้เข้าถึงข้อมูล และการรับรองความเป็นส่วนตัว, การรักษาความลับ, และการปกป้องข้อมูล การนำ AI มาใช้และวิวัฒนาการของมันกำลังบีบให้องค์กรต้องให้ความสำคัญกับความสามารถในการฟื้นตัวทางไซเบอร์อีกครั้ง เนื่องจาก AI มีพลังมากขึ้น และมีการตัดสินใจที่ถูกส่งต่อให้อัลกอริทึมใหม่ ๆ ที่ซับซ้อนและไม่โปร่งใส การปกป้องระบบเหล่านี้จากแรงภายนอกที่เป็นอันตรายจึงเป็นสิ่งสำคัญต่อความสำเร็จขององค์กร
ผู้ตรวจสอบภายในมักจะเกี่ยวข้องกับการทดสอบประสิทธิภาพของการควบคุมภายในด้านไอที ความคุ้นเคยกับการควบคุมที่เกี่ยวข้องกับความมั่นคงทางไซเบอร์ที่องค์กรได้นำมาใช้ จะช่วยให้ผู้ตรวจสอบภายในสามารถตรวจสอบได้ว่า การควบคุมเดียวกันนี้ถูกนำมาใช้เพื่อปกป้องข้อมูลที่เกี่ยวข้องกับ AI หรือไม่ ตัวอย่างของการควบคุมความมั่นคงทางไซเบอร์ ได้แก่:
- การใช้การเข้ารหัส (Encryption)
- การมีซอฟต์แวร์ป้องกันไวรัส
- การใช้ระบบป้องกัน/ตรวจจับการบุกรุก
- การบันทึกเหตุการณ์ความปลอดภัยของทั้งข้อมูลป้อนเข้าและข้อมูลตอบกลับ
- การทดสอบเจาะระบบ (Penetration Test) เป็นระยะเพื่อหาช่องโหว่เชิงรุก
- การฝึกอบรมพนักงานเกี่ยวกับแนวปฏิบัติที่ดีที่สุดในการตรวจจับและหลีกเลี่ยงการโจมตีแบบฟิชชิง, สมิชชิง หรือแผนการวิศวกรรมทางสังคมอื่น ๆ
สำหรับรายละเอียดเพิ่มเติม สามารถดูได้จาก The IIA’s “GTAG: Auditing Cybersecurity Operations: Prevention and Detection”
ผู้ตรวจสอบภายในจำเป็นต้องระบุว่าข้อมูลที่เกี่ยวข้องกับ AI ถูกจัดเก็บไว้ที่ใด (ภายใน, ภายนอก หรือทั้งสองแห่ง) และพิจารณาว่ามีการควบคุมความมั่นคงปลอดภัยทางไซเบอร์ใดบ้าง หากข้อมูลถูกจัดเก็บภายนอก ควรขอรายงาน Service Organization Company (SOC) เพื่อเรียนรู้เกี่ยวกับสภาพแวดล้อมการควบคุมของผู้ขาย และฝ่ายบริหารควรรับทราบถึงข้อบกพร่องในการควบคุมใด ๆ ที่พบในรายงาน SOC และตรวจสอบให้แน่ใจว่าข้อบกพร่องเหล่านั้นไม่ทำให้ข้อมูลที่เกี่ยวข้องกับ AI ตกอยู่ในความเสี่ยง นอกจากนี้ ข้อตกลงระดับการบริการ (SLAs) กับผู้ขายควรมีข้อความระบุ “สิทธิ์ในการตรวจสอบ” ด้วย
ในตอนต่อไปเราจะเจาะลึกเข้าไปใน “กรอบการตรวจสอบ AI” ซึ่งเป็นแก่นสำคัญของบทความนี้ พร้อมทั้งรายละเอียดเกี่ยวกับการกำกับดูแล (Governance) การจัดการ (Management) และบทบาทของการตรวจสอบภายใน (Internal Audit) กันครับ
อ้างอิง : THE IIA’S Artificial Intelligence Auditing Framework