Denetim Örneklemi Neden Hep Yirmi Kalem?

Bir denetim raporunda "yirmi kalemlik örneklem incelenmiştir" cümlesi standarttır. Bu sayı istatistiksel bir hesaptan çıkmaz; kanıt toplamanın maliyetinden çıkar. Bu yazı, örneklem büyüklüğünü belirleyenin aslında ne olduğunu ve o kısıt kalktığında denetimin nasıl değiştiğini anlatıyor.

Neden Hep Yirmi Kalem

Denetçiye sorarsanız cevap dürüsttür: örneklem, ayrılan sürede incelenebilecek kadar büyüktür. Denetim planında bir kaleme ayrılan süre bellidir ve kanıtın toplanması o sürenin büyük kısmını yer.

Süre nereye gider? İncelemeye değil, toplamaya. İlgili ekipten kanıt istenir, ekip arar, bulur, ekran görüntüsü alır, e-postayı çıkarır, tabloyu hazırlar. Denetçi geleni okur, eksikleri sorar, ikinci turu bekler. Bir kalem için üç dört gün geçebilir ve bu sürenin belki yarım günü gerçek inceleme olur.

Bu yüzden örneklem büyüklüğü aslında bir bütçe kararıdır. Ve bu, iki tarafın da hoşuna gitmeyen bir gerçektir: denetçi daha geniş bakmak ister, denetlenen ekip ise haftalarını kanıt toplamaya vermek istemez.

Kalem Başına Kanıt Maliyeti

Bu maliyeti ölçmek kolaydır ve ölçüldüğünde tartışmanın tonu değişir. Son denetiminizde kaç kalem incelendi, kanıt toplamak için kaç kişi kaç gün çalıştı? Bölüm size kalem başına maliyeti verir.

Çoğu kurumda bu sayı kalem başına yarım ila bir kişi günü çıkar. Yirmi kalemlik bir örneklem, kanıt toplama için on ila yirmi kişi günü demektir ve bu, hiçbir yerde bütçelenmemiş bir maliyettir. Denetim maliyeti olarak görünmez, çünkü denetçinin değil ekibin zamanıdır.

Bu maliyetin ikinci bir sonucu daha vardır: kanıt toplayan kişi, aynı zamanda denetlenen süreçte çalışan kişidir. Kanıtı seçen taraf denetlenen taraf olduğu için bağımsızlık zedelenir. Denetçi bunu bilir ve bu yüzden gelen kanıta ihtiyatlı yaklaşır, bu da yine daha fazla soru üretir.

Küçük Örneklem Dar Güvence Demektir

Yılda bin değişikliğin yapıldığı bir kurumda yirmi kalem, yüzde ikidir. Bu örneklemde hiçbir bulguya rastlanmaması, geri kalan yüzde doksan sekizin sorunsuz olduğu anlamına gelmez ve denetçi raporunda bunu yazmaz. Yazdığı cümle şudur: incelenen örneklemde bulgu tespit edilmemiştir.

Bu cümlenin yönetim kuruluna verdiği güvence sınırlıdır ve kurumların çoğu bunu fark etmez. Bir sonraki olay yaşandığında sorulan soru şudur: geçen yılki denetim bunu neden yakalamadı? Cevap basittir; o kalem örnekleme girmemişti.

Örneklem seçiminin kendisi de bir sorundur. Rastgele seçim adil görünür ama riskli kalemleri kaçırır. Riske göre seçim daha iyidir, ancak riskin ne olduğunu bilmek gerekir; bunun için de zaten bütün kalemler hakkında bilgi sahibi olmak gerekir. Bu döngü, kanıt maliyeti yüksekken kırılamaz.

Maliyet Sıfıra Yaklaşınca Ne Değişir

Kanıt işin kendisinden üretiliyorsa, bir kalem için kanıt hazırlamak birkaç saniye sürer. Bu tek değişiklik denetimin bütün ekonomisini değiştirir.

• Örneklem büyür. Yirmi kalem yerine iki yüz kalem incelenebilir, çünkü kısıt artık toplamada değil okumadadır.
• Seçim denetçiye geçer. Kanıtı denetlenen ekip toplamadığı için bağımsızlık sorunu ortadan kalkar.
• Ekip haftalarını geri alır. Bu, yönetişim yatırımının en kolay ölçülebilen getirisidir ve genelde tek başına yeterlidir.
• Kanıtın niteliği yükselir. Ekran görüntüsü yerine mühürlü ve doğrulanabilir bir dosya gelir; denetçi zayıf kanıt telafisi için ek örnek istemez.

Örneklemden İstisnaya Geçiş

Asıl dönüşüm örneklemi büyütmek değildir. Kanıt her kalem için hazırsa, denetçinin örneklem yapmasına gerek kalmayabilir: bunun yerine bütün kalemleri tarayıp yalnız normalden sapanlara bakabilir.

Bu, denetim mesleğinde uzun süredir tartışılan bir yaklaşımdır ve engeli hep aynı olmuştur: veri ya yoktur ya da güvenilir değildir. Yönetişim kaydı bu engeli kaldırır çünkü bütün kalemler aynı biçimde ve aynı alanlarla kaydedilmiştir.

Pratikte denetçinin bakacağı istisna listesi kısadır ve şunları içerir: acil olarak açılmış talepler, hiçbir onay politikasıyla eşleşmeyen talepler, atlanmış onay adımları, kendi talebini onaylayan ya da çalıştıran kişiler, maskesiz veri talepleri ve engellenmiş görevler ayrılığı girişimleri. Bu liste bin kalemlik bir yılda genelde on ila otuz satır çıkar ve denetim oradan başlar.

SQL Change Guard bu listeyi hazır bir rapor olarak sunar ve raporun hangi rollere açık olduğu tanımlıdır. Denetçinin ilk açtığı yer genellikle burasıdır; çünkü kontrolün çalıştığını gösteren şey onayların değil, istisnaların görünür olmasıdır.

Sık Sorulan Sorular

Örneklem yerine tam tarama yapmak denetim standartlarına uygun mu?

Örneklem bir zorunluluk değil, bir yöntemdir; veri elverişli olduğunda tam tarama daha güçlü bir yaklaşımdır ve mesleki yayınlarda uzun süredir savunulur. Uygulamada iki yöntem birlikte kullanılır: bütün kalemler istisna kurallarıyla taranır, çıkan istisnalar tek tek incelenir ve normal görünen kalemlerden ayrıca küçük bir örneklem alınır.

Kanıt otomatik üretiliyorsa denetçi neden hâlâ gerekli?

Çünkü kanıt bir yargı değildir. Sistem "bu talep politikaya uygun onaylandı" der; o politikanın doğru politika olup olmadığına, gerekçenin makul olup olmadığına ve istisnaların meşru olup olmadığına insan karar verir. Otomasyonun kaldırdığı şey yargı değil, yargıya varmak için harcanan toplama emeğidir.

Geçmiş dönem için de aynı kanıt üretilebilir mi?

Kayıt hangi ayrıntıyı içeriyorsa dosya onu içerir. Modelin devreye alındığı tarihten önceki dönemde kural seti dondurulmamışsa o alan boş kalır, çalıştırma anında metin özeti hesaplanmamışsa bütünlük durumu doğrulanamaz görünür. Dosya eksik bilgiyi uydurmaz, eksik olduğunu yazar. Bu yüzden geçiş tarihi aynı zamanda kanıt kalitesinin sınırıdır.

Örneklem büyüdüğünde denetim süresi de uzamaz mı?

Toplama süresi ortadan kalktığı için genellikle kısalır. Ayrıca istisna listesiyle çalışıldığında incelenen kalem sayısı artmaz, azalır: bin kalemin tamamı taranır ama insan gözüyle bakılan yalnızca sapan on ila otuz kalemdir. Denetçinin zamanı, kanıt aramaktan çıkıp değerlendirmeye geçer.