performans deim rehberi - Türkiye Halk Sağlığı Kurumu
advertisement
SUNUŞ Uluslararası Yüksek Denetim Kurumları Örgütü (INTOSAI) tarafından; Performans Denetimi; denetlenen kurumun sorumluluklarını yerine getirirken kullandığı kaynakların; etkinliğinin, verimliliğinin ve tutumluluğunun (ekonomiklik) denetlenmesi şeklinde tanımlanmıştır. Performans denetimi anlayışı ise; klasik denetim anlayışının öngördüğü hesap verme sorumluluğunun kapsamını genişleterek, faaliyetlerin verimlilik, etkinlik ve tutumluluk bakımından da denetlenmesini içeren çağdaş bir denetim yaklaşımıdır. Sağlık sektörü; riskli süreçleri, devlet bütçesi içinde büyük yer tutan harcamaları, satın almalarının oransal büyüklüğü, hizmetlerden yararlanan-etkilenen nüfusun büyüklüğü, hızlı değişim yaşayan yapısı ve daha birçok yönüyle kendine özgü sayılan ve klasik denetim öğelerinin yanında ayrı bir anlayışla da denetlenmesi ve hizmet kalitesinin garanti altına alınması gerekliliği bulunan bir alandır. Bu nedenle, Sağlık sektöründe performans denetimi; konu çeşitliliği, kapsam genişliği, sağlayacağı muhtemel faydanın büyüklüğü ve diğer alanlarda yapılacak performans denetimlerine emsal teşkil etmesi anlamında önem taşımaktadır. Sağlık sektöründe performans denetimine ilişkin ilk çalışmalar; Sayıştay ve Sağlık Bakanlığı Teftiş Kurulu (Mülga) tarafından yapılmıştır. 663 sayılı Kanun Hükmünde Kararname ile Bakanlığımız yeni bir yapılanma içerisine girmiştir. Bu kapsamda; Türkiye Halk Sağlığı Kurumu Denetim Hizmetleri Daire Başkanlığı; Sağlık Bakanlığı Bağlı Kuruluşları Hizmet Birimlerinin Görevleri İle Çalışma Usul ve Esasları Hakkında Yönetmeliğin 12. maddesinin c/2. fıkrası gereğince, Performans Denetimi yapmaya yetkili kılınmıştır. Performans Denetimi Rehberinin amacı; performans denetimi çalışmalarına katılan denetçilere, diğer uzmanlara ve yöneticilere, performans denetiminin yürütülmesinde dikkate alınması gereken ilke ve kurallar hakkında bilgiler vermektir. Bu rehber, söz konusu mevzuat hükmü gereğince, Başkanlığımızca hazırlanacak muhtelif konulardaki performans denetimi raporlarına esas teşkil edecektir. Rehberin hazırlanmasında emeği geçen herkese teşekkür ederim. Selami DUMAN Denetim Hizmetleri Daire Başkanı PERFORMANS DENETİMİ REHBERİ Sayfa | 2 Rehberi Hazılayanlar: Denetim Hizmetleri Daire Başkan Yrd. Hüseyin POLAT Sağlık Denetçisi Erhan MERAL Sağlık Denetçisi Ömer DAVŞANCI Sağlık Denetçisi Fatih ÖZKARA Sağlık Denetçisi Muhammet TÜRKER *Bu rehber, Sağlık Bakanlığı Teftiş Kurulu Başkanlığı (Mülga) ve Sayıştay Başkanlığına ait olan dokümanlar ile literatür taraması sonucu elde edilen diğer bilgi ve belgeler esas alınmak suretiyle hazırlanmıştır. Yeni bilgi ve belgeler ışığında tekrar güncellenecektir. PERFORMANS DENETİMİ REHBERİ Sayfa | 3 İÇİNDEKİLER BİRİNCİ BÖLÜM 1.PERFORMANS DENETİMİNE GİRİŞ ................................................................................................................... 7 1.1. Tarihi Gelişim ......................................................................................................................................................... 7 1.2. Performans Denetiminin Tanımı ................................................................................................................... 9 1.3. Performans Denetiminin Amacı ve Kapsamı ......................................................................................... 12 1.4. Performans Denetimi İlkeleri ....................................................................................................................... 13 1.5. Performans Denetimi Süreci ......................................................................................................................... 14 1.6. Performans Denetimi ile Diğer Denetim Tiplerinin Karşılaştırılması ......................................... 15 1.7. Performans Denetimi ile Performans Değerlendirmesinin Karşılaştırılması .......................... 17 İKİNCİ BÖLÜM 2. DENETİM KONULARININ SEÇİMİ .................................................................................................................. 22 2.1. Konu Seçiminde Dikkat Edilmesi Gereken Hususlar .......................................................................... 22 2.2. Denetlenecek Kurum/Kuruluşun Tanınması ......................................................................................... 22 2.3. Muhtemel Denetim Konularının Belirlenmesi....................................................................................... 23 2.3.1. Performans Risklerinin Belirlenmesi .................................................................................................... 23 2.3.2. Kamuoyu ve Medya İlgisinin Belirlenmesi .......................................................................................... 24 2.3.3. Denetimin Muhtemel Etkisinin Değerlendirilmesi .......................................................................... 25 2.3.4. Önemlilik ........................................................................................................................................................... 26 2.3.5. Denetlenebilirlik............................................................................................................................................. 27 2.4. Konu Seçimi İçin Gerekli Bilgi Kaynakları ............................................................................................... 27 2.5. Denetim Konularının Tespit Edilmesi ve Sıraya Konulması ............................................................ 27 2.6. Belirlenen Muhtemel Denetim Konuları Hakkında Çalışma Teklifleri Hazırlanması ve Denetim Hizmetleri Daire Başkanlığı’na Sunulması .................................................................................... 28 2.7. Çalışma Tekliklerinin Başkanlığa Sunulması ve Karara Bağlanması ........................................... 28 ÜÇÜNCÜ BÖLÜM 3. DENETİMİN PLANLANMASI ( ÖN ÇALIŞMA)............................................................................................. 32 3.1. Performans Denetiminde Planlamanın Önemi...................................................................................... 32 3.2. Kurum Hakkında Ayrıntılı Bilgi Toplanılması ....................................................................................... 32 3.2.1. Kurumu Ayrıntılı Olarak Tanıma ............................................................................................................. 32 3.2.2. Kuruma İlişkin Ayrıntılı Bilgi .................................................................................................................... 33 3.2.3. Kuruma İlişkin Ayrıntılı Bilgiyi Elde Etme .......................................................................................... 33 3.3. Denetim Amacının ve Kapsamının Belirlenmesi .................................................................................. 34 3.3.1. Denetimin Amacının Belirlenmesi .......................................................................................................... 35 3.3.2. Denetim Kapsamının Belirlenmesi ......................................................................................................... 35 3.3.3. Sorun Analizi .................................................................................................................................................... 36 3.3.4. Denetim Sorularının Belirlenmesi .......................................................................................................... 36 3.4. Denetim Kriterlerinin Belirlenmesi: .......................................................................................................... 38 3.4.1. Kriter Türleri ................................................................................................................................................... 38 3.4.2. Kriterin Özellikleri ......................................................................................................................................... 38 3.4.3. Kriter Kaynakları............................................................................................................................................ 39 3.4.4. Kriterlere Karar Verilmesi.......................................................................................................................... 40 3.4.5. Kriterlerin Yararları ...................................................................................................................................... 40 3.5. Denetim Yaklaşımının ve Metotlarının Belirlenmesi........................................................................... 41 3.5.1. Kanıt ve Kanıt Kaynakları............................................................................................................................ 41 3.5.2. Kanıt Türleri...................................................................................................................................................... 41 3.5.3. Kanıtların nereden toplanacağına karar verme ................................................................................. 42 3.5.4. Kanıt Toplama Yöntemleri .......................................................................................................................... 43 3.5.5. Muhtemel Bulgu ve Öneriler İle Beklenen Etkiler............................................................................. 43 3.5.6. Denetim Matrisinin Oluşturulması .......................................................................................................... 43 PERFORMANS DENETİMİ REHBERİ Sayfa | 4 3.5.7. İletişim Planı Yapılması ................................................................................................................................ 45 3.5.8. Gerekli Kaynaklar, Denetim Takvimi ve Karşılaşılabilecek Muhtemel Risklerin Belirlenmesi ................................................................................................................................................................... 45 3.5.9. Ön Çalışma Raporunun Tamamlanması ................................................................................................. 47 DÖRDÜNCÜ BÖLÜM 4. ALAN ÇALIŞMASI (TAM ÇALIŞMA).................................................................................................................. 51 4.1. Kanıt Toplama Teknikleri ................................................................................................................................ 51 4.1.1. Mülakat Yapılması ........................................................................................................................................... 51 4.1.2. Odak Grup Çalışması Yapılması ................................................................................................................. 52 4.1.3. Anket Yapılması ................................................................................................................................................ 54 4.1.4. Belgelerin İncelenmesi .................................................................................................................................. 54 4.1.5. Gözlem .................................................................................................................................................................. 55 4.1.6. Alan Çalışmasının Planlanması .................................................................................................................. 55 4.2. Görevlerin Tanımlanması ................................................................................................................................ 56 4.3. Görev bazında Kanıt Kaynaklarının ve Toplama Tekniklerinin Belirlenmesi ............................ 56 4.4. Ekip Üyeleri Arasında Görev Dağılımı Yapılması ................................................................................... 56 4.5. Alan Çalışması Takviminin Oluşturulması ................................................................................................ 56 4.6. Denetlenecek Kurumu Bilgilendirme .......................................................................................................... 57 4.7. Kanıtların Düzenlenmesi ve Analizi ............................................................................................................. 57 4.7.1. Kanıtların Belgelenmesi ve Tasnifi ........................................................................................................... 57 4.7.2. Kanıtları Özetleme ve Yeterliliğini Gözden Geçirme ......................................................................... 58 4.7.3. Kanıtın geçerliliği ve özetlenmesi ............................................................................................................. 59 4.7.4. Kanıtları Yorumlama (Analiz Etme)......................................................................................................... 60 4.7.5. Kanıtları Gözden Geçirme............................................................................................................................. 61 4.8. Denetim Bulgularının Tespit Edilmesi ve Önerilerin Geliştirilmesi ............................................... 61 4.9. Denetlenen Kurumla Görüşme....................................................................................................................... 62 BEŞİNCİ BÖLÜM 5. RAPORLAMA ve İZLEME ...................................................................................................................................... 66 5.1. Raporun Ana Hatlarının Belirlenmesi.......................................................................... 66_Toc352238072 5.2. Raporda Verilerin Sunumu.............................................................................................................................. 67 5.3. Taslak Raporun Yazılması................................................................................................................................ 67 5.3.1.Denetlenen Kurum/Kuruluşla Görüşme ................................................................................................. 68 5.4. Raporun Sonuçlandırılması............................................................................................................................. 69 5.5. Rapor Sonucunda Oluşan Gelişmelerin İzlenmesi ................................................................................. 70 ALTINCI BÖLÜM 6. KALİTE GÜVENCESİ ............................................................................................................................................... 74 6.1. Kalite Güvencesinin Unsurları ....................................................................................................................... 74 6.2. Kalite Kontrolü ..................................................................................................................................................... 75 6.2.1. Denetçilerin Fonksiyonu............................................................................................................................... 75 6.2.2. Ekip Şefi ve Grup Şefinin Fonksiyonu...................................................................................................... 75 6.2.3. Başkanlıkça Yapılan Gözden Geçirmeler ................................................................................................ 76 6.2.4. Diğer Gözden Geçirme Süreçleri ................................................................................................................ 76 6.3. Kalite Güvence Süreçleri ................................................................................................................................... 76 6.4. Kalitenin İnşa Edilmesi ..................................................................................................................................... 78 6.5. Kaliteye Özendirme ............................................................................................................................................ 78 YEDİNCİ BÖLÜM 7. SÖZLÜK ...................................................................................................................................................................... 82 PERFORMANS DENETİMİ REHBERİ Sayfa | 5 BİRİNCİ BÖLÜM Performans Denetimine Giriş PERFORMANS DENETİMİ REHBERİ Sayfa | 6 PERFORMANS DENETİMİ REHBERİ Sayfa | 7 1.PERFORMANS DENETİMİNE GİRİŞ 1.1. Tarihi Gelişim Denetimin niteliği; gelişimini yıllar boyunca sürdürmekle birlikte, modern kamu denetimi kavramı demokratik kurumların yerleşmesine yol açan sanayi devrimi sonrasında bugünkü niteliğine kavuşmuştur. Kamu denetimi, konumu, amaçları ve hatta teknikleri yönünden diğer denetim biçimlerinden farklı özelliklere sahiptir. Kamu harcamalarının denetlenmesinin gereği olarak dünya ülkelerinde 1800’li yılların sonlarına doğru Sayıştaylar kurulmaya başlanmış, buna paralel olarak da ülkemizde 1862 yılında Sayıştay’ın kuruluşu gerçekleşmiştir. Dünyada Sayıştay denetimi, Sayıştayların kuruluşlarından, 1929 ekonomik krizine kadar geçen dönemde, geleneksel (klasik) denetim diye adlandırılan ve bir sınıflandırmaya tabi tutmadan kamu harcamalarının denetimi şeklinde gerçekleştirilmiştir. 1929 ekonomik krizi ile birlikte kıt olan kaynakların kamuda daha etkin ve verimli kullanımının sağlanmasından hareketle klasik Sayıştay denetimlerinin yanına, üretken olmayan kamu harcamalarının raporlanması görevi de eklenmiştir. 1929 ekonomik krizi ve onu takip eden İkinci Dünya Savaşı yıllarından 1960’lı yıllara kadar dünyada Sayıştay denetimleri genel olarak bu temelde gerçekleşmiştir. Bu bağlamda modern denetimin gelişimi iki bölüme ayrılabilir: 2. Dünya Savaşı öncesi, düzenlilik ve mali denetimin kök saldığı 150-200 yıllık dönem, 2. Dünya Savaşı sonrası denetimin kapsamının genişlediği dönem. 1960’lı yılların sonundan itibaren ilk performans denetimleri diyebileceğimiz uygulamalar ABD, Kanada, İngiltere, İsveç gibi ülkelerde gerçekleştirilmeye başlamıştır. 1970’li yıllarda ortaya çıkan petrol krizi ve uygulanan para sisteminin çöküşü ile kaynakların verimli, etkin ve tutumlu kullanılıp kullanılmadığının tespit edilmesini kendisine hedef olarak seçen performans denetimi diğer ülke Sayıştaylarında da uygulanmaya başlanmıştır. Ülkemizde performans denetimi açısından öncü kuruluş olan Sayıştay Başkanlığı da 26 Haziran 1996 yılında Sayıştay Kanunu’na eklenen bir yetki maddesi ile 1996 yılında performans denetimi çalışmalarına başlamış, ilk pilot denetim çalışmalarının ardından, 1999 yılında Performans Denetimi Grubunun oluşturulması ile performans denetimleri gerçekleştirilmeye başlanmıştır. Sayıştay Başkanlığı tarafından performans denetimi yapılan konular ve yılları aşağıda belirtilmiştir. Aşağıda belirtilen denetim raporlarına www.sayistay.gov.tr internet adresinden ulaşılabilir. Performans Denetiminin Konusu Yılı Karayolları Genel Müdürlüğü Yol Yapım ve Bakım Faaliyetleri (Pilot Çalışma) 1998 Kültür Bakanlığı’na Bağlı Müzelerin Faaliyetlerinin İncelenmesi (Pilot Çalışma) 1998 Gemilerin Denizleri ve Limanları Kirletmesini Önleme ve Kirlilikle Mücadele Etme 2002 İstanbul Depreme Nasıl Hazırlanıyor? 2002 PERFORMANS DENETİMİ REHBERİ Sayfa | 8 Bayındırlık ve İskân Bakanlığının Marmara ve Düzce Depremleri Sonrası Faaliyetleri 2002 Vakıflar Genel Müdürlüğünün Sorumluluğundaki Tarihî Eserlerin Korunması Hk. Sayıştay Raporu 2004 Ormanların Korunması Hakkında Sayıştay Raporu 2004 Sağlık Bakanlığına Bağlı Hastanelerde İlaç, Tıbbi Sarf Malzemesi ve Tıbbi Cihaz Yönetimi Hakkında Performans Denetimi Raporu 2005 Kıyıların Kullanımının Planlanması ve Denetimi 2006 e-Devlete Geçişte Kamu Kurumları İnternet Siteleri 2006 e-Dönüşüm Türkiye Projesi Çerçevesinde Yürütülen Faaliyetler 2006 Türkiye'de Atık Değerlendirilmesi Yönetimi Ulusal Düzenlemeler ve Uygulama Sonuçlarının 2007 Hastane Enfeksiyonları ile Mücadele 2007 Büyükşehir Belediyelerinde Altyapı Faaliyetlerinin Koordinasyonu 2008 Trafik Kazalarını Önleme Faaliyetleri 2008 Tablo 1: Sayıştay Başkanlığı Tarafından Yapılan Performans Denetimi Konuları ve Yapıldıkları Yıllar Sağlık sektörü de riskli süreçleri, devlet bütçesi içinde büyük yer tutan harcamaları, satın almalarının oransal büyüklüğü, hizmetlerden yararlanan-etkilenen nüfusun büyüklüğü, hızlı değişim yaşayan yapısı ve daha birçok yönüyle kendine özgü sayılan ve klasik denetim öğelerinden ayrı bir anlayışla da denetlenmesi ve hizmet kalitesinin garanti altına alınması gerekliliği bulunan bir alandır. Sayıştay tarafından gerçekleştirilen toplam onbeş performans denetimi çalışmasının ikisinin sağlık alanında olması da bunun göstergesidir. 02/11/2011 tarih ve 663 sayılı Kanun Hükmünde Kararname öncesinde Sağlık Bakanlığı Teftiş Kurulu Başkanlığı da kendisine verilen yetki kapsamında, Sayıştay Başkanlığı ile yapılan işbirliği çerçevesinde performans denetimi çalışmalarına başlamış ve bu konuda Sayıştay Başkanlığından sonra ülkemizde öncü kamu kurumlarından biri olmuştur. Bu bağlamda Sağlık Bakanlığı Teftiş Kurulu Başkanlığı döneminde gerçekleştirilen performans denetimi çalışmaları ve yılları aşağıda belirtilmiştir: Performans Denetimi Konuları Yılı Aile Hekimliği Uygulaması Performans Denetim Raporu 2008 Eğitim ve Araştırma Hastanelerinin Yönetimi İle Uzmanlık Eğitimi ve Araştırma Faaliyetleri Performans Denetim Raporu 2009 Üremeye Yardımcı Tedavi Merkezlerinin Faaliyetleri Performans Denetim Raporu 2010 Hastane Acil Servis Hizmetleri Performans Denetim Raporu 2011 Tablo 2: Sağlık Bakanlığı Teftiş Kurulu Başkanlığı Tarafından Yapılan Performans Denetimi Konuları ve Yapıldıkları Yıllar PERFORMANS DENETİMİ REHBERİ Sayfa | 9 663 sayılı KHK ile oluşturulan Türkiye Halk Sağlığı Kurumu Denetim Hizmetleri Başkanlığı’na performans denetimi yapma yetkisi verilmiştir. Bu sayede Teftiş Kurulu Başkanlığı döneminde başlanılan performans denetimi çalışmaları, oluşturulan performans denetimi grubu ile devam etmektedir. 1.2. Performans Denetiminin Tanımı Performans denetimi; kamu kurumlarının veya bu kurumların belirli faaliyet, program ya da projelerinin uygulanması sırasında kullanılan kaynakların verimli, etkin ve ekonomik(tutumlu) kullanılıp kullanılmadığının objektif ve sistematik bir şekilde denetlenmesine denir. Performans denetiminin temelini verimlilik, etkinlik ve tutumluluk kavramları oluşturur. Tutumluluk Uygun kalite çıktısına dikkat edilerek bir faaliyette kullanılan kaynakların en aza indirilmesidir. Tutumluluk, kurumun amaçlar da göz önünde bulundurularak, kaynakların uygun miktar ve kalitede, uygun zamanda ve uygun yerde en uygun maliyetle elde edilmesi anlamına gelmektedir. Tutumlulukta kalitenin korunması da önemlidir. Tutumluluk konuları irdelenirken kaynakların doğru zamanda, doğru yerde, doğru miktarda, doğru kalitede ve doğru maliyetle elde edilip edilmediği saptanmaya çalışılır. En uygun girdi en iyi fiyata temin edilebiliyor mu? sorusuna aranan cevaptır. Örneğin; Kanserle Mücadele Programında; belli bir zaman dilimi içerisinde taramadan geçirilen ve tedavi edilen hasta sayısı aynı kalmak suretiyle, programda kullanılan tıbbi araç, gereç ve sağlık personeli sayısında azalma olması. Verimlilik Mallar, hizmetler veya diğer sonuçlar bakımından çıktılar ile onların üretiminde kullanılan kaynaklar arasındaki ilişkidir. Verimlilik, üretimde kullanılan girdilerin sabit kalması koşuluyla belirli bir kalitede en fazla mal veya hizmetin üretilmesi ya da belirli bir miktar ve kalitedeki mal ve hizmeti üretmek için en az miktarda girdi kullanılmasıdır. Verimlilik, belli bir girdi ile maksimum çıktı elde etmek anlamına gelir. Verimlilik denetimi “Faaliyetlerimizden nitel ve nicel olarak en fazla çıktıyı alabiliyor muyuz?” sorusunun cevaplandırılmasına imkân sunar. Verimlilik denetimi; İnsan, mali ve diğer kaynakların verimli kullanılıp kullanılmadığının, Kamusal programların ve kurumsal faaliyetlerin verimli yönetilip yönetilmediğinin, Kamusal programların hedeflerinin maliyet etkin bir şekilde gerçekleşip gerçekleşmediğinin değerlendirmesini de kapsar. Örneğin; KETEM’lerde kullanılan tıbbi araç, gereç ve sağlık personeli kaynakları aynı kalmak şartıyla kanser taramasından geçirilen vatandaş sayısında artış olması veya aynı sayıdaki vatandaşın ve hastanın daha az sağlık personeli ve tıbbi araç, gereç kullanılması suretiyle taramadan geçirilmesi. PERFORMANS DENETİMİ REHBERİ Sayfa | 10 Etkinlik Amaçlara ne ölçüde ulaşıldığı ile bir faaliyetin hedeflen etkisi ile fiili etkisi arasındaki ilişkidir. Etkinlik, hedeflere ulaşma derecesini ve istenilen etki ile gerçekleşen etki arasındaki ilişkiyi ifade eder. Aynı zamanda etkinlik amaçlar ve çıktılar ile sonuçlar arasındaki ilişkiyi de ifade eder. Etkinlik incelenirken girdi, çıktı ve sonuçları ölçmek ve değerlendirmek gerekir. Etkinlik denetimi; Öngörülen amaçlar, gerçekleşen istihdam, üretilen çıktılar ve gözlenen etkiler bakımından gerçekleşmiş midir? Gözlenen etkiler diğer koşullardan ziyade incelenen ve uygulanan politikaların sonuçları mıdır? Sorularını cevaplamaya yöneliktir. Etkinlik, bir programın amaçlarına ulaşmada gelişme olduğu durumda gerçekleşir. Sonuçlar programların/faaliyetlerin etkinliği açısından önemli olmakla birlikte, bunların ölçülmesi ve değerlendirmesi girdilerin ve çıktıların değerlendirilmesinden daha zordur ve kısa vadeli olmaktan çok uzun vadeli değerlendirmeyi gerektirir. Etkinlik, verimlilik kavramından daha geniş bir kavramdır. Örgütlerin tanımlanmış amaçlarına ve stratejik hedeflerine ulaşmak amacıyla gerçekleştirdikleri faaliyetlerin sonucunda, bu amaçlara ve hedeflere ulaşma derecesini belirleyen bir performans boyutudur. Kaynaklar verimli ve tutumlu kullanılmış olsalar dahi kuruluş amaçlarına ve hedeflerine ulaşamayarak etkisiz kalabilir ya da tersine hedefler çok yüksek maliyetlerle gerçekleşmiş olabilir. Kurumun stratejik hedeflerine, amaçlarına ne ölçüde ulaştığını gösterdiğinden etkinlik amaçlara yönelik bir kavramdır. Amaçların gerçekleşme düzeyini çıktılar ile daha doğrusu sonuçlar ile ilişkilendirerek belirler. Örneğin; Kısa vadede tüm vatandaşların kanser taramasından geçirilmesi suretiyle kanserli hasta sayısının tespit edilmesi ve nedenlerinin ortaya konulması, uzun vadede kanserli hasta sayısının kabul edilebilir oranlara indirilmesi. Performans Denetiminde Girdi-Çıktı Modeli Girdi, çıktı ve sonuçların belirlenmesi ile aralarındaki ilişkinin netleştirilmesi, denetlenen programın hedefleriyle ilgili temel sorunların anlaşılmasında kolaylık sağlar. Girdi, çıktı ve sonuçları aşağıdaki şekilde tanımlamak mümkündür: Girdi; çıktıların üretimine katkıda bulunan hammadde, para, işgücü, bilgi, beceri ve sermaye yatırımları gibi kaynaklardır. Çıktı; üretilen mal ve hizmetler veya tamamlanan işlerdir. Ameliyat edilen hasta sayısı, yapılan poliklinik sayısı, hizmetiçi eğitime tabi tutulan ebe sayısı gibi. Sonuç; kamusal faaliyet ya da program/projelerin doğrudan ürettikleri çıktılar değil, bu çıktıların yol açtığı nihai ve uzun dönemli etkilerdir. Tutumluluk-Verimlilik-Etkinlik İlişkisi Gerçek hayatta verimlilik, etkinlik ve tutumluluk; aralarındaki sınırların belirlenmesi son derece güç, birbirleriyle sıkı ilişki içinde olan kavramlardır. Tutumlu davranılması verimlilik artışına yol PERFORMANS DENETİMİ REHBERİ Sayfa | 11 açar; verimlilik ise etkinliğin sağlanmasında önemli bir seviyeye düşürecektir. Bu ilişkide verimlilik tutumluluktan, etkinlik de tutumluluk ve verimlilikten daha geniş kavramlardır. Çıktıların kalite ve miktarını değiştirmeksizin girdilerin azaltılması tutumluluğun sağlanması; tutumluluğun sağlanması ise aynı zamanda verimlilik artışı demektir. Bununla birlikte verimlilik artışları her zaman tutumluluktan kaynaklanmaz. Örneğin çalışma sisteminde yapılan bir değişiklik çalışanlar üzerinde iyi bir etki bırakabilir ve bu durum iş verimliliğini arttırabilir. Bu da verimliliğin tutumluluğa göre daha geniş bir kavram olarak ele alınabileceğini göstermektedir. Tutumluluk ve verimlilikte olduğu gibi etkinlik ve verimlilik arasında da benzer ilişkiler bulunmaktadır. Verimlilik hangi girdilerle hangi çıktılara ulaşıldığını incelerken; etkinlik hangi sonuçlarla hangi amaçlara ulaşıldığını inceler. Amaçlarla ilgilenen etkinlik, verimliliğe oranla daha geniş bir kavramdır. Verimlilik, etkinlik için gerekli ancak yeterli olmayan bir içeriğe sahiptir. Örneğin Sağlık Bakanlığı sigarayı bıraktırma çalışmaları kapsamında bünyesinde bulunan personelle azami sayıdaki vatandaşa ulaşmış olabilir. Ancak bu durum sigarayı bırakan kişi sayısında artış sağlamamış olabilir. Etkinlik ve verimlilik (hatta tutumluluk) arasındaki bir fark da verimliliğin (hatta tutumluluğun) girdilerin çıktılara dönüşümünü kapsayan süreci incelemesi, etkinliğin ise bu süreçle doğrudan ilgilenmemesidir. Verimliliğin “uygulanan metot doğru mu?” sorusu ile etkinliğin ise “yapılan iş doğru mu?” sorusu ile ilgilendiği göz önüne alınırsa genellikle doğru işlerin yapılması doğru metotlarla yapılmasını gerekli kılacaktır. Aşağıda denetimin yapısı içinde girdi, çıktı, etki, tutumluluk, verimlilik ve etkinlik bağlantısı gösterilmektedir. Şekil 1: Girdi/Çıktı Modeli ve Tutumluluk, Verimlilik ve Etkinlik Bağlantısı 1.3. Performans Denetiminin Amacı ve Kapsamı Performans denetimi, kamudaki kaynak yönetiminin kalitesi hakkında Başkanlığa ve halka bilgi ve güvence sağlamanın yanı sıra, iyi uygulamaları belirlemek ve geliştirilmesine katkıda bulunmak suretiyle yöneticileri destekler. Performans denetimleri her şeyden önce Başkanlığa kaynakların tutumlu, verimli ve etkin bir şekilde ve Başkanlığın beklentileri doğrultusunda kullanılıp kullanılmadığı konusunda bağımsız güvence sağlar. Performans denetimi; PERFORMANS DENETİMİ REHBERİ Sayfa | 12 Tasarruf sağlanması ya da maliyetlerin azaltılması, Hizmetlerin daha iyi kalitede sunulması, Yönetim ve organizasyon süreçlerinin geliştirilmesi, Amaçlara maliyet-etkin yöntemlerle ulaşılması, amacıyla yapılması gereken iyileştirmeler konusunda yol gösterir. Performans denetimi, kamuda hesap verme sorumluluğunun ve kaynak kullanımında verimlilik ve tutumluluğun geliştirilmesine, amaçlara ulaşmadaki etkinliğin artırılmasına, hizmetlerin sunulmasında kalitenin yükseltilmesine ve planlama ve kontrol faaliyetlerinin geliştirilmesine önderlik eder. Klasik denetim fonksiyonunun “işlemlerin verilen emirlere ve konulan kurallara uygun olarak yerine getirilip getirilmediğini gözetmek” şeklinde tanımlanan şeklinin kapsamını genişletip zenginleştirerek bu hesap verme sorumluluğuna verimlilik, etkinlik ve tutumluluk unsurları açısından da idarenin denetlenmesini ekleyen Performans Denetimi çağdaş denetim anlayışının gereklerinden sayılmalıdır. 1.4. Performans Denetimi İlkeleri Performans denetimi mevzuata uygunluk ve genel durum denetimini içeren klasik denetim anlayışının öngördüğü hesap verme sorumluluğunun kapsamını genişleterek faaliyetlerin verimlilik, etkinlik ve tutumluluk bakımından da denetlenmesini temsil eden bir çağdaş denetim yaklaşımıdır. Diğer denetimlerde olduğu gibi performans denetimlerinde de uyulması gereken genel ilkeler söz konusudur. Performans denetim standartları olarak adlandırılan bu ilkeler performans denetimlerinin geçerliliği konusunda güvence verme, denetimde birlik ve uyumu sağlama açılarından önemlidir. Bu ilkeler genel olarak aşağıda açıklayabiliriz. Hesap Verme Sorumluluğu: Adına denetim yapılan devlet organına ve kamuoyuna kamu kaynaklarının verimli, etkin ve tutumlu bir şekilde kullanılıp kullanılmadığı konusunda hesap verme sorumluluğunu gerçekleştirir. Açık İletişim: Denetlenen kurumlarda açık iletişim kurmayı, yapılacak çalışmalar hakkında açık, anlaşılır bilgiler sunulmasını gerektirir. Güvenilir Olma: Denetimler dürüstlük ve doğruluk çerçevesinde yürütülür. Denetlenen kurumun güvenini sarsacak ve işbirliğinden kaçınmasına neden olacak davranışlardan sakınılır. Nesnellik ve Bağımsızlık: Denetimler, yürütme organından, siyasetten ve başka kurumlardan etkilenmeden tarafsız ve bağımsız bir şekilde yürütülür. Değer Katma: Denetim sonucu, denetlenenler açısından bir katma değer yaratmalı, parasal tasarrufa imkân vermeli ve değişik çevreler açısından önemli bulunan etkiler oluşturulmalıdır. Yeterlilik: Performans denetimi yeterli deneyime sahip denetçiler tarafından oluşturulmuş ekipler tarafından yürütülür. PERFORMANS DENETİMİ REHBERİ Sayfa | 13 Titizlik: bulgulara ve ulaşılan sonuçlara esas olan bilgi ve veriler iyi bir şekilde değerlendirilir, incelemeler sonucunda elde edilen ve bulgulara esas olan kanıtların yeterli, güvenilir ve konu ile ilgili olmasına özen gösterilir. Kararlılık: Kanıt toplamada ve analiz etmede kullanılan teknik ve araçlar konusundan emin ve kararlı olunmalıdır. 1.5. Performans Denetimi Süreci Performans denetimi sürecinin temel aşamaları aşağıda gösterilmiştir. Denetim Sonuçlarının İzlenmesi Konu Seçimi (Denetim Stratejisi Oluşturma) İncelemeyi Planlama (Ön Çalışma) Raporun Kurum Başkanına Sunulması Performans Denetimi Raporun Denetim Hizmetleri Daire Başkanlığında İncelenmesi İnceleme Yapma (Tam Çalışma) Mutabakat (Taslak Rapor Hakkında Denetlenenlerden Görüş Alınması Taslak Raporun Hazırlanması Şekil 2: Performans Denetimin Temel Aşamaları Performans denetiminde stratejik planlamanın en önemli aşamasını denetim konularının seçilmesi oluşturmaktadır. Denetlenecek konuların seçiminin sağlıklı temellere dayandırılması ve isabetli konuların seçilebilmesi için kurum ya da birimleri tanımak büyük önem taşır. Kurumların tanınmasından sonra, öncelikle potansiyel denetim konuları belirlenir. Kamu kaynaklarının kullanımında hesap verilebilirliğin, verimlilik, tutumluluk ve etkinliğin arttırılmasına en çok katkıda bulunacak ve mevcut kaynaklar ile en iyi şekilde yürütülebilecek konuları seçebilmek için performans riskleri, kamuoyu ve medya ilgisi, denetimin muhtemel etkisi ve sağlayacağı katkı, konuların önemliliği ve denetlenebilirliği gibi kriterler göz önünde bulundurularak bu konular arasından da muhtemel denetim konuları seçilir. Seçilen muhtemel konuların seçilmesi aşamasında önemlilik değerlendirilmesi yapılarak, Başkanlığa sunulur. Sunulan bu muhtemel denetim konuları arasından Kurum Başkanlığınca denetim konusu belirlenir. Konu seçimini takiben performans denetimi, yürütülecek denetimin detaylarını içeren bir plan geliştirilerek başlatılır. Yapılacak planlama (ön çalışma), konu hakkında daha fazla bilgi toplamayı ve denetim için muhtemel riskler ve beklenen sonuçların ortaya konulmasını sağlayacaktır. Performans denetiminin uygulanması, ön çalışma ve tam çalışma aşamalarından oluşur. Ön çalışma aşamasında; denetlenecek kurum hakkında bilgi toplanır, denetimin amacı ve kapsamı belirlenir, denetim kriterleri belirlenir ve bu ön inceleme aşamaları gerçekleştikten sonra, PERFORMANS DENETİMİ REHBERİ Sayfa | 14 Başkanlığa sunulmak üzere ön çalışma raporu hazırlanır. Bu aşamadan sonra tam çalışmaya başlanır. Tam çalışma sürecinde mülakat, odak grup çalışması, anket, belgelerin incelenmesi, gözlem gibi tekniklerden yaralanılarak toplanan kanıtlar bir sistematik içinde düzenlenir ve analiz edilir. Bu kanıtlar ışığında bulgular tespit edilerek öneriler tespit edilir ve raporlama aşamasına geçilir. Bu aşamalardan sonra, tam çalışma ile elde edilen bulgular bir araya getirilerek bir rapor taslağının oluşturulması gerekmektedir. Taslak raporun hazırlanmasından sonra taslak gözden geçirilir, denetlenen kurumun görüşü alınır ve bunlar ışığında performans denetim raporu oluşturulur. Tüm bu performans denetim sürecinde tutarlı ve katma değer oluşturacak bir rapor üretmeye odaklanılması gerekmektedir. Rapor yazma süreci, denetim konusu hakkında ulaşılan sonuçların formüle edilmesi, test edilmesi ve gözden geçirilmesinin sürdürülmesi olarak görülmelidir. Denetim Hizmetleri Daire Başkanlığı’nda incelenerek son hali verilen rapor kurum Başkanına sunulur. Gerek görülmesi halinde rapor kamuoyu ile de paylaşılabilir. Raporun Başkan tarafından onaylanmasından sonra, denetimin etkilerini ve denetim önerilerinin denetlenen kurumlarca uygulanması sonucunda gözlenen gelişmelerin tespitini ve dokümantasyonunu içeren izleme süreci başlatılır. İzleme süreci, gerçekleştirilen denetimin ortaya çıkardığı gelişmeler hakkında Denetim Hizmetleri Daire Başkanlığı’na ve denetim elemanına geribildirim sağlamayı amaçlar. 1.6. Performans Denetimi ile Diğer Denetim Tiplerinin Karşılaştırılması Performans denetimi ile diğer denetim ve değerlendirme tiplerinin karşılaştırılması, kapsam ve metodolojileri arasındaki farkın daha iyi anlaşılmasını sağlayacaktır. Düzenlilik Denetimi Performans Denetim Harcamaların uygunluğu, düzenliliği ve - Tutumluluk, Verimlilik ve Etkinliğin meşruluğu yönünde inceleme yapar. Bu gerçekleşme derecesini saptamak için bir yönüyle statik bir denetim şeklidir. kurumu, programı, proje veya faaliyeti bütün yönleriyle inceler. Sistem, işlem ve usullerin - Düzenlilik denetiminde işlemler üzerinde geliştirilmesi için yorumlarda bulunur. Bu durularak hata, atlama, yolsuzluk ve yönü ile dinamiktir. uygunsuzluklar belirlenir. - Performans denetiminde bir kurum, - Düzenlilik denetimi tutumluluk, verimlilik program, proje veya faaliyetin genel işleyişi ve etkinliğin geliştirilmesi konusunda hakkında rapor verilir. Ancak aynı zamanda yorumlar yapmaz. hata, atlama ve uygunsuzluk konuları da incelenir. - Mali durum ve mevzuata uygunluk hakkındaki kanaatin açıklanması için - Tutumluluk, verimlilik ve etkinliğin sadece mali veriler kullanılır. geliştirilmesi konusunda yorumlar yapar. - Düzenlilik denetiminde kriterler bellidir. - Kurumun program, proje ve faaliyetin performansını ölçmek için hem mali hem de - Düzenlilik denetimi işler bittikten sonra mali olmayan çeşitli veriler kullanılır. onlar üzerinde yapılan denetimdir. - Performans denetiminde ise statik kriterler - Düzenlilik denetimi yönetimi sınırlayan yoktur. Bu denetim tipi için gerekli olan kriterler kurumun tipi ve niteliğine göre PERFORMANS DENETİMİ REHBERİ Sayfa | 15 faktörleri göz önüne almaz. hazırlanır. - Performans denetimi proje veya programın tamamlanmasını beklemek zorunda değildir. Denetim her safhada yürütülebilir. - Performans denetimi rapora yönetimin başarısızlıkları yanında başarılarını ve onu sınırlayan etkenleri de alarak mümkün olduğunca tarafsız olmaya çalışır. Tablo 3: Performans Denetimi ile Düzenlilik Denetiminin Karşılaştırılması İç Denetim Performans Denetimi -İç denetim kurumun bir parçasıdır. - Hem iç (kurum) hem de dış (bağımsız) denetçilerle yürütülebilir. -İç denetimde yöneticiye rapor verilir. -Devamlı bir süreçtir. - Bağımsız denetçilerle meclise rapor verilir. yürütülüyorsa -Tutumluluk, verimlilik ve etkinlik üzerinde - Genellikle belirli periyotlarla yapılır. durulur. -Tutumluluk, verimlilik ve etkinlik üzerinde - Kurumun çeşitli faaliyet ve işlemleri durulur. bölüm bölüm incelenir. - Kurum bütün olarak ya da proje, faaliyet veya işlem bazında incelenir. Tablo 4: Performans Denetimi ile İç Denetiminin Karşılaştırılması Yönetim Danışmanlığı Performans Denetimi - Yönetim için çalışılır ve finansmanı - Bağımsız ve objektif olarak meclis adına yönetim sağlar. denetim yapılır. - Mevcut güçlük ve problemlere çözüm - İç kontrol değerlendirmesi ışığı altımda bulmak için çalışılır. kapsam belirlenir. - -Spesifik çözümler önerilir. - Genel tavsiyelerde bulunulur. Tablo 5: Performans Denetimi ile Yönetim Danışmanlığının Karşılaştırılması Performans Değerlendirmesi Performans Denetimi - Tutumluluk, verimlilik ve etkinliğin hangi - Tutumluluk, verimlilik ve etkinliğin hangi kaynaklarla başarıldığının değerlendirmesi kaynaklarla başarıldığının değerlendirmesi yapılır. yapılır. - Yönetim tarafından sunulan kanıtlar kabul - Yönetim tarafından verilen kanıtlar edilir ve analizler yapılarak sonuçlar çeşitlendirilir ve analizler yardımı ile sonuç çıkarılır. çıkarılır. - Değerlendirme genellikle mali raporlara - Sonuç çıkarmak için mutlaka göre yapılır. raporlara dayanma gerekliliği yoktur. mali Tablo 6: Performans Denetimi ile Performans Değerlendirmesinin Karşılaştırılması PERFORMANS DENETİMİ REHBERİ Sayfa | 16 1.7. Performans Denetimi ile Performans Değerlendirmesinin Karşılaştırılması Performans denetimi konusu içinde değerlendirilebilecek bir diğer olguyu performans değerlendirme kavramı oluşturmaktadır. Performans denetimi ve performans değerlendirmesinin her ikisi de amaç ve hedeflerin hangi oranda gerçekleştirildiği ve kamu kaynaklarının etkili ve verimli olarak kullanılıp kullanılmadığını incelemekle birlikte performans değerlendirmesi, kurum çalışanlarının belirli bir zaman diliminde belirli bir noktadaki etkinliğini ve performans düzeyini ölçmeye yönelik çalışmalar içermektedir. Genel anlamda performans değerlendirmesi kamu çalışanlarının görevlerindeki başarıları konusunda yargıya varmayı ifade eden bir kavramdır. Bu değerlendirme süreci kişilerin çalışmaları üzerinden yapılmakla birlikte çalışanların yeteneklerini, eğitim durumları belirlemek ve çalışanların performanslarını arttırıcı düzenlemelerin yapılması için gerekli önlemlerin alınmasını kapsamaktadır. Bu kapsamda performans değerlendirmesi personelin belirli bir zaman aralığında etkinliğini ölçmeyi hedeflemişken, performans denetimi belirli bir proje, faaliyet veya programın gerçekleştirilmesi aşamasında tahsis edilen kaynakların etkin, verimli ve tutumlu kullanılıp kullanılmadığı araştırmaktadır. Bunun yanında performans denetimi ile değerlendirilmesi yapılırken benzer yöntemlerden ve tekniklerden faydalanıldığından aralarındaki ayrımı çok keskin sınırlar içerisinde belirlemek oldukça zordur. PERFORMANS DENETİMİ REHBERİ Sayfa | 17 PERFORMANS DENETİMİNİN KAPSAMI PERFORMANS DENETİMİ PERFORMANS YÖNETİMİ PERFORMANS DEĞERLENDİRMESİ PERFORMANS ÖLÇÜMÜ Şekil 3: Performans Denetiminin Kapsamı PERFORMANS DENETİMİ REHBERİ Sayfa | 18 Performans Denetiminin Kapsamı Bir program, proje veya faaliyetin uygulaması sırasında kullanılan kaynakların verimli, etkin ve ekonomik kullanılıp kullanılmadığının bağımsız bir şekilde denetlenmesidir. PERFORMANS DENETİMİ PERFORMANS YÖNETİMİ PERFORMANS DEĞERLENDİRMESİ PERFORMANS ÖLÇÜMÜ Çalışanları motive ederek, gerek bireysel çalışmalarda, gerekse örgüt ya da kurum amacını gerçekleştirmeye yönelik faaliyetlerde etkili ve verimli sonuçlar alınmasına ve bu doğrultuda belirlenen stratejik hedeflere ulaşılmasını sağlayan sistematik bir yönetim tarzıdır. Önceden saptanmış standartlarla (İş Analizi ve İş Tanımına Dayalı) karşılaştırma ve ölçme yoluyla, işgörenlerin işteki performansını değerlendirme sürecidir. Belirlenen performans hedefine ne oranda ulaşıldığının performans ölçütü ve göstergeleri aracılığıyla tespit etmedir. Şekil 4: Performans Denetiminin Kapsamı PERFORMANS DENETİMİ REHBERİ Sayfa | 19 İKİNCİ BÖLÜM Denetim Konularının Seçimi PERFORMANS DENETİMİ REHBERİ Sayfa | 20 PERFORMANS DENETİMİ REHBERİ Sayfa | 21 2. DENETİM KONULARININ SEÇİMİ 2.1. Konu Seçiminde Dikkat Edilmesi Gereken Hususlar Performans denetiminde; kamu kaynaklarının kullanımında hesap verilebilirliğin, verimlilik, tutumluluk ve etkinliğin sağlanmasına en çok katkıda bulunacak ve mevcut kaynaklar ile mevcut kaynaklar ile en iyi şekilde yürütülebilecek denetim konularını seçebilmek için bu aşamada titizlikle çalışmak gerekir. Denetim konusu belirlenirken performans riskleri, kamuoyu ve medya ilgisi, kullanılan kamu kaynağının büyüklüğü, denetimin muhtemel etkisi ve sağlayacağı katkı, konuların önemliliği ve denetlenebilirliği gibi kriterlerin üzerinde durulmalı, elde edilebilecek bilgi ve belgelerden nasıl faydalanacağı üzerine planlama yapılmalıdır. Denetlenebilirliği olmayan veya hakkında bilgi, belge ve verilere ulaşılamayacak konuların denetim konusu olarak seçilmesinin kaynak israfına yol açacağı unutulmamalıdır. Yapılacak inceleme, analiz ve değerlendirmelerle, denetimin sonucunda sağlanacak katkı potansiyeli en yüksek konuların tespit edilmesi, denetimin etkinliği açısından büyük önem taşır. Denetim konularının seçiminde uygulanacak temel aşamalar şunlardır: Denetlenecek kurum/kuruluşun tanınması, Muhtemel denetim konularının belirlenmesi, Çalışma tekliflerinin hazırlanması, muhtemel denetim konularının önemlilik sırasına konularak Denetim Hizmetleri Daire Başkanı’na sunulması 2.2. Denetlenecek Kurum/Kuruluşun Tanınması Bir kurum/kuruluşun yürüttüğü program, proje veya faaliyeti anlamak için, bu program, proje ve faaliyeti etkileyen iç ve dış faktörleri, denetim açısından önemli olan hususları ve kurum hakkındaki bilgilerin hangi kaynaklardan ve hangi metotlarla toplanacağı konuları büyük önem arz etmektedir. Bu da temel olarak; kurum/kuruluşun; amaçları, etkinlikleri, hedefleri, gelirleri, harcamaları, varlıkları, kaynakları, yasal çerçevesi, faaliyette bulunduğu ortam, nitel ve nicel açılardan sahip olduğu insan kaynakları, raporlama yükümlülükleri ve raporlanmış performansı, örgütsel yapısı ve yerleşim düzeni hakkında bilgi toplamayı gerekli kılar. Görevli denetim elemanı ya da denetim ekibi, kurum/kuruluşun gerçekleştirmeyi hedeflediği çıktıları belirler. Bu çıktılar, doğrudan ölçülebilir bir nitelik taşımayabilir veya tümüyle kurum/kuruluşun kontrolü altında olmayabilirler. Denetim elemanı, kurum/kuruluşun amaçlarını ve bu amaçları gerçekleştirmek için ne tür faaliyetlerde bulunduğunu araştırır. Amaçlar genellikle çıktılarla ilgilidir. Denetim elemanı, ölçülebilir spesifik amaçları araştırır, kurum/kuruluşun hedeflerini, yani gelecek bir tarihte gerçekleştirilmesi öngörülen nicel bir performans düzeyini belirler. Kurum/kuruluşlar her zaman belirli ve ölçülebilir amaç ya da hedefler benimsemezler. Kurum/kuruluşun belirsizlik taşıyan veya açıkça ifade edilmemiş hedef ya da amaçlarını ortaya çıkarmak için denetim elemanı, yetkililerle görüş alış verişinde bulunma yoluna başvurabilir. Ayrıca kurum/kuruluş (program veya birim düzeyinde ayrıntılandırılmış) gelir ve harcamaları hakkındaki bilgiler incelenebilir, herhangi bir kurum/kuruluşun bütçesi benzer kurum/kuruluşların bütçeleriyle karşılaştırılabilir veya benzer kurumsal yapıya sahip kurum/kuruluşların değişik yerleşim yerleri arasındaki gelir veya harcama karşılaştırmalarına da başvurulabilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 22 Bunların yanı sıra, belirli bir faaliyet alanında istihdam edilen personel sayısı, elde edilen ürün veya hizmet miktarı veya hedeflere ulaşılma düzeyleri karşılaştırılmak suretiyle gelir veya harcamalara ilişkin eğilimler de analiz edilebilir. Örneğin, Dumansız Hava Sahası Projesi kapsamında Sağlık Bakanlığı tarafından gerçekleştirilen çalışmalar arttığı halde sigarayı bırakan kişi sayısı yerinde sayıyorsa veya bahsedilen proje kapsamında yapılan çalışmalar aynı kalmak suretiyle sigarayı bırakan kişi sayısı azalıyorsa, burada performansa ilişkin bir riskin söz konusu olabileceğinin dikkate alınması gerekir. Benzer şekilde, bir hizmetin yerine getirilme maliyetlerinde bölgeler arası farklılıklar ortaya çıkıyorsa, burada da performansa ilişkin bir risk söz konusu olabilir. Denetim elemanları, kurum yönetiminden sözü edilen değişikliklere ilişkin açıklamada bulunmalarını isteyebilir. İncelenen konuyla ilgili olduğu düşünülen kişileri tespit edip, bu kişilerle temasa geçmek de kurum/kuruluşları tanımada başvurulabilecek bir yöntemdir. Bu kişiler denetlenen kurum/kuruluşun “kilit kişileri” olabileceği gibi kurum/kuruluşla ticari ilişkileri olanlar, hizmet yararlanıcıları, akademik alandan uzmanlar veya araştırmacılar vb. de olabilir. Bu kişilerin görüşleri önemli bir bilgi kaynağı olabilir. 2.3. Muhtemel Denetim Konularının Belirlenmesi Denetlenecek kurumun tanınmasından sonra, muhtemel denetim konularının belirlenmesi aşamasına geçilir. Performans denetiminin kapsamının sınırsız olduğu, özellikle ülkemizde bu konuda çalışılacak çok geniş bir alanın bulunduğu göz önüne alındığında konu seçimi yapılacak performans denetiminin sağlıklı ve yararlı bir sonuca ulaşması için oldukça önemlidir. Zira kamu faaliyetlerindeki ve harcamalarındaki artışlar da göz önüne alındığında, kısıtlı imkânlarla bütün kurum ve kuruluşlar ile program, faaliyet ve projelerin denetlenmesi mümkün değildir. Bu nedenle denetim sonucunun, kamu kaynaklarının kullanımında hesap verilebilirliğin, verimlilik, tutumluluk ve etkinliğin sağlanmasına katkıda bulunabilmesi için denetim konusunun seçilmesinde titizlikle davranılması gereklidir. Yukarıda yapılan değerlendirmeler ışığında potansiyel denetim konuları belirlenir ve bunların arasından da muhtemel denetim konuları seçilir. Yapılan değerlendirme sonucunda muhtemel denetim konuları “yüksek”, “orta” ve “düşük” olma derecelerine göre önemlilik sıralamasına tabi tutulur. Bunları gerçekleştirmek için konu seçim kriterleri dikkate alınır ve belirli kaynaklardan elde edilecek birtakım bilgi ve belgelerden faydalanılır. Konu seçim kriterleri arasında; performans riskleri, kamuoyu ve medya ilgisi, denetimin muhtemel etkisi, önemlilik(mali, sosyal ve yapısal önemlilik), denetlenebilirlik gibi kriterler bulunmaktadır. Bu kriterler potansiyel konuların seçilmesinde yüzeysel olarak, muhtemel konuların belirlenmesi ve konuların önemliliklerine göre sıraya konulması aşamasında ise derinlemesine değerlendirilir. 2.3.1. Performans Risklerinin Belirlenmesi Potansiyel konuların seçilmesi ve muhtemel denetim konularının belirlenmesi, risk analizi veya mevcut/potansiyel sorunlara ilişkin göstergelerin analizi üzerinde temellendirilmelidir. Performans riski; incelenmek üzere seçilen faaliyetlerde verimlilik, etkinlik ve tutumluluk sağlanmadığına ilişkin emarelerin olmasıdır. Sorunlu alanların belirlenmesi ve risklerin değerlendirilmesi, konu seçiminin en önemli boyutunu oluşturur ve denetimin planlanmasına ve önceliklerin belirlenmesine katkı sunar. Risklerin tanımlanması, konu seçimi çalışmalarında temel bir ilkedir. Denetim elemanları, bazı faaliyetlerin yapısal bir risk taşıyabileceğini dikkate PERFORMANS DENETİMİ REHBERİ Sayfa | 23 almalıdırlar. Yüksek riskli alanların ortaya çıkarılması konusunda evrensel bir formül yoktur. Ancak, bazı faktörler riskin varlığına işaret edebilir, örneğin; Bir faaliyetle ilgili mali kaynakların veya bütçe ödeneklerinin büyüklüğü ya da bu kaynak veya ödenek miktarlarında önemli değişiklikler meydana gelmiş olması, Geleneksel olarak riskli kabul edilen alanların ele alınması, Yeni ya da acilen yürütülmesine ihtiyaç duyulan faaliyetlerin veya koşulları değişen alanların ele alınması, Yönetim yapılarının karmaşık olması ve dolayısıyla yetki ve sorumluluklar konusunda karışıklıkların yaşanması, Bir program ya da faaliyetin verimliliği veya etkinliği konusunda güvenilir, bağımsız ve güncellenmiş bilgilere ulaşılamaması, Aşırı ya da adil olmayan ödemelerin yapılmış olması, Daha önce düzenli bir incelemeye konu edilmemiş alanlar, Belli projeler yürütülürken proje dönüm noktalarını gerçekleştirmede maliyet artışı veya önemli başarısızlıkların yaşanması gibi durumlarla karşı karşıya kalınması, Hizmetlerin kalitesiyle ilgili yakınmaların çok olduğu hizmet alanları, Yeni girişimlerin usulsüz bir şekilde finanse edilmiş olması, Muhasebe veya iç kontrol sistemlerinin uygun bir şekilde yapılandırılmamış olması veya yönetilmesi, Doğal afetler, hırsızlık veya israf nedeniyle önemli kayıpların meydana gelmiş olması, Rekabetçi nitelik taşımayan sözleşmelerin düzenlenmiş olması. Ayrıca, denetlenecek alandaki yönetimin, verimlilik, etkinlik ve tutumluluğun sağlanmasında yetersiz olma riski de değerlendirilir. İyi yönetim riskinin kanıtı şunları içerir: Yönetimin tespit edilen zayıflıklara cevap vermede tepkisiz kalması, Kamuoyu veya medya tarafından olumsuz yorumlar yapılması, Önceden açıklanmış hedeflere ulaşılamaması, Personel hareketliliğinin fazla olması, Önemli ölçüde ödenek üstü harcamanın olması, Program kapsamında ani genişlemelerin olması, Sorumluluk alanında karışıklık ve karmaşıklığın bulunması. Belirlenen bu riskler kaydedilip ortaya çıkma olasılıkları, sıklıkları, sonuçları ve önemliliğine göre değerlendirilir. Riskli alanların belirlenmesinden sonra riskler, ortaya çıkma olasılıklarına göre “yüksek”, “orta” ve “düşük” olarak yaklaşık bir sıralamaya konur. İyi bir konu seçimi Tutumluluk, Verimlilik ve Etkinlik riski var mı? Sorusuna “Evet” yanıtının alınması ile gerçekleştirilir. 2.3.2. Kamuoyu ve Medya İlgisinin Belirlenmesi Konu seçimi aşamasında denetlenecek kurum, faaliyet veya projenin performanslarının kamuoyu ve medya nazarında ilgisinin hangi düzeyde olduğunun belirlenmesi önemlidir. Kamuoyu ve medya ilgisi birçok durumda sorunlu ve riskli alanların varlığı için bir gösterge niteliği taşıyabilir. Basında çıkmış olan haber ve araştırmalar sorunlu ve öncelikli denetim alanlarının tespitinde önemli mesajlar içerirler. Belli alanlara ilişkin ilgi düzeyinin belirlenmesi, PERFORMANS DENETİMİ REHBERİ Sayfa | 24 denetim elemanlarına uygun denetim konularının tespit edilmesinde yardımcı olur. Aynı zamanda denetim kapsamına dair önceliklerin belirlenmesinde geçerli kanıtlar sağlar. 2.3.3. Denetimin Muhtemel Etkisinin Değerlendirilmesi Konu seçiminde önemli olan diğer bir kriter, denetimin sağlayacağı muhtemel katkının ne olacağının belirlenmesidir. Değer katma, yeni bilgi ve bakış açısı sağlamak demektir. Daha iyi kalitede ve daha az politik alanların ve konuların yer aldığı bir denetim, daha büyük katkı demektir. Denetimin sağlayacağı katkının belirlenmesi farklı açılardan ele alınır. Aşağıda, verimlilik, etkinlik, tutumluluk, kaliteli servis, planlama, kontrol ve yönetim ve hesap verilebilirlik açısından bazı muhtemel etkiler sınıflandırılmıştır: Tutumluluk Fiyatların tekrar gözden geçirilmesi Maliyetlerin azaltılması Verimlilik Belli bir girdi ile daha büyük çıktı elde edilmesi İş çakışmalarının veya koordinasyon eksikliğinin giderilmesi Etkinlik İhtiyaçların daha iyi belirlenmesi Amaç ve politikaların açıkça ifade edilmesi Alt amaçların ve hedeflerin tanımlanması Hedeflenen amaçlara daha iyi ulaşılması Hizmet kalitesinin iyileştirilmesi Kuyrukların ve bekleme sürelerinin azaltılması Faydanın daha adil dağıtımı Bilgiye ulaşımın kolaylaştırılması Hizmetlerden faydalanmada fırsat eşitliğinin arttırılması Planlama, kontrol ve yönetimin iyileştirilmesi Planlamada işbirliğinin arttırılması Önceliklerin açık olarak belirlenmesi ve hedeflerin daha iyi belirtilmesi Teşviklerin daha iyi hedeflenmesi İnsan kaynaklarının, değerlerin, projelerin ve kaynakların daha iyi kontrolü ve yönetimi Yolsuzluğun önlenmesine katkı sağlanması Hesap verme sorumluluğunun güçlendirilmesi Hesap verilebilirliğin arttırılması Kontrol ve izlemenin geliştirilmesi Daha iyi ve doğru performans göstergelerinin oluşturulması Birimlerin performansları hakkında daha fazla bilgiye ulaşılması PERFORMANS DENETİMİ REHBERİ Sayfa | 25 Benzer birimler arasında daha iyi karşılaştırma yapılması Bilgilerin daha açık ve anlaşılır şekilde sunulması Denetimin muhtemel etkisinin ve sağlayacağı muhtemel katkının belirlenmesi, Başkanlıkça denetlenecek konuya karar verilmesi sürecinde önemli rol oynar. 2.3.4. Önemlilik Önemlilik kriteri, performans denetimine konu olabilecek alanlar arasında en önemlisinin seçilmesini ifade eder. Önemlilik kavramı mali, sosyal veya yapısal açıdan kendi içinde bazı alt kategorilere ayrılır. Bu nedenle konu seçiminde, malı, sosyal ve yapısal önemi olan ve bu alanlarda uygun olmayan sonuçlar içeren hususlara odaklanılır. Mali Önemlilik Denetimlerde genelde önemli miktarda parasal tutarı olan alanlara yönelme eğilimi bulunmaktadır. Bu nedenle performans denetim konularının seçimi, diğer unsurların yanı sıra gelir, gider, sermaye veya borçlanma bakımından kamu ekonomisi için özel öneme sahip olan alanlara dayandırılır. Genelde, bir alanın performans denetim konusu seçilme olasılığı, o alana tahsis edilen ödeneklerin büyüklüğü ölçüsünde artar. Bununla birlikte, farklı türdeki harcamalarda farklı şekilde ortaya çıkan hata yapma riskleri ve yanlışlıklar da dikkate alınmalıdır. Mali Önemlilik kriteri sadece parasal büyüklük olarak düşünülmemelidir. Bazı konularda parasal açıdan ifade etme güçlükleri bulunabilir. Belli alandaki kamu harcamalarının ve gelirlerin büyüklüğü az olsa bile, o alanın içerdiği gerçek faaliyet mali açıdan büyük öneme sahip olabilir. Aynı şekilde parasal önemliliğin düşük olması, önemliliği gösteren tek gösterge de değildir. Örneğin Dumansız Hava Sahası Projesi kapsamında harcanan kamu kaynağı az olsa bile, projenin başarıya ulaşması durumunda başta kanser olmak üzere birçok hastalığın görülme sıklığı azalacak, bu da bu hastalıkların tedavisi için sarf edilen yüksek tutardaki kamu kaynağından tasarruf edilmesine zemin hazırlayacaktır. Sosyal önemlilik Sağlık sektörünün sosyal önemi olan birçok alanla ilgili sorumluluğu bulunmaktadır. Bu itibarla, konu seçiminde hizmet ve faaliyetler değerlendirilirken, konunun sosyal yönlerinin de göz önünde bulundurulması büyük önem arz eder. Bu faaliyetlerden hangilerinin sosyal yönden önemli olduğu değerlendirilirken, Başkanlığın ve Bakanlığın öncelikleri ile kamuoyunda gündeme gelen hususlara ağırlık verilmesi gerekir. Yapısal önemlilik Yapısal önemlilikle ilgili değerlendirmelerde, belli bir alanda temel önemi haiz bir düzensizliğin yer alıp almadığına dikkat edilmelidir. Bu değerlendirmeler, tarafsızlık, kamu yönetiminde şeffaflık, halkın bilgiye kolayca erişimi gibi temel değerlerle ilgili düzensizlikleri içerir. Denetim konusunun yapısal önemliliği, onun örgütsel etkilerinin büyüklüğü açısından değerlendirilir. Bu, faaliyetin karşılaştırmalı olarak küçük olup olmadığına veya bu alandaki hataların kurum içindeki diğer faaliyetlere etki edip etmediğine dayanır. Konunun o kurum için ayrı bir yeri olduğu durumda yapısal önemlilik de özel bir yer tutar. PERFORMANS DENETİMİ REHBERİ Sayfa | 26 2.3.5. Denetlenebilirlik Denetlenebilirlik, bir konunun denetim çalışması için uygun olup olmadığının belirlenmesidir. Konu hakkında uygun denetim yaklaşımının, metodolojisinin ve uygulanacak kriterlerin olup olmadığı, gerekli olan bilgi ve kanıtların mevcut olup olmadığı veya etkin bir şekilde elde edilip edilemeyeceği göz önünde bulundurulur. Elde edilecek bilginin güvenilir ve objektif olmasına ve bu bilgiyi elde edebilmede makul bir imkana sahip olunmasına dikkat edilir. Bunun yanında, ortaya çıkan bazı durumlar, konu önemli olsa bile denetim ekibinin belli bir alanda denetim yapmama kararını vermesine yol açabilir. Bu sonuca ulaşmada aşağıdaki hususlar göz önünde bulundurulur: Faaliyetin doğasının denetime uygun olmaması, Gerekli olan uzmanlığın bulunmaması veya elde edilememesi, Alanda önemli ve esaslı değişikliğe gidilmiş olması, Performansı değerlendirmeye uygun kriterlerin elde edilememesi. 2.4. Konu Seçimi İçin Gerekli Bilgi Kaynakları Performans denetiminde konuların belirlenebilmesi için, yukarıda belirtilen kriterlerin yanında birtakım bilgi ve belgelere de ihtiyaç vardır. Bu bilgi ve belgelerin elde edilebileceği kaynaklar şunlardır: Kurumların mali tabloları, Uzun ve orta vadeli kalkınma planları, Bakanlık stratejik planı, Bakanlık ve Başkanlıkça yürütülen programlar, Uluslararası kuruluşlarla (Dünya Bankası vb.) yapılan anlaşmalar, Uygulamacı kurumlardan temin edilen detaylı programlar, Denetim ve değerlendirme raporları, Bilimsel araştırmalar, Kurumlarca yayınlanmış raporlar, Medya ve Internet, Bakanlık ve Başkanlığın denetim talepleri. Bu kaynaklardan elde edilen bilgi ve belgeler, potansiyel denetim konularının seçimi ve muhtemel konuların belirlenmesinde kullanılacak seçim kriterlerini desteklemede kullanılır. Elde edilen bilgi ile seçim kriterleri arasındaki ilişki, önemliliğin değerlendirilmesi sürecinde bir bağlantı sağlamak için de kullanılır. Örneğin; Bakanlığın çeşitli faaliyet ve projelerine ayırdığı mali kaynakların büyüklüğü ile ilgili olarak elde edilen bilgi, mali önemliliğin belirlenmesinde yararlı olabilir. 2.5. Denetim Konularının Tespit Edilmesi ve Sıraya Konulması Performans denetiminin konusu, risk ve önemlilik faktörlerinin uygun bir bileşimi üzerinde şekillendirilmelidir. Denetim konularının seçimi genel olarak iki amaçla yapılır: Tutumluluğun, verimliliğin, etkinliğin ve hesap verilebilirliğin arttırılması bakımından maksimum değer katması düşünülen denetim konularına odaklanmak, Belli bir program/faaliyetin, mevcut denetim kaynakları çerçevesinde kapsamlı olarak ele alınmasını sağlamak. PERFORMANS DENETİMİ REHBERİ Sayfa | 27 2.6. Belirlenen Muhtemel Denetim Konuları Hakkında Çalışma Teklifleri Hazırlanması ve Denetim Hizmetleri Daire Başkanlığı’na Sunulması Muhtemel denetim konuları tespit edilip önemlilik sıralamasına tabi tutulduktan sonra, ön çalışmaya zemin oluşturmak üzere her konu için bir çalışma teklifi hazırlanır. Çalışma teklifleri, belli bir konunun veya konuların denetimini yapmak için bazı ön belirlemelere göre mevcut durumun genel bir resmini çizen dokümanlardır. Çalışma teklifi geliştirilirken, önerilen konunun farklı boyutları dikkate alınarak, tercih edilebilecek farklı alternatifler de ortaya konulmalıdır. Her bir çalışma teklifi, aşağıdaki unsurları içerecek özet bir sunum şeklinde hazırlanmalıdır: Denetlenecek konu hakkında genel bilgi, Denetimin amacı ve kapsamı, Verimlilik, Etkinlik ve Tutumluluk(VET) riskleri, Konunun denetlenebilir olup olmadığı, Denetimde izlenecek metotlar, Denetimin muhtemel etkileri, Kamuoyu ve medya ilgisi. 2.7. Çalışma Tekliklerinin Başkanlığa Sunulması ve Karara Bağlanması Çalışma tekliflerinin onay için Başkanlığa sunulması, konu seçimi sürecinin en son aşamasını oluşturur. Başkanlık, sunulan çalışma teklifleri arasından denetlenecek konu ya da konuları kararlaştırır. Başkanlık, hazırlanan çalışma tekliflerinde değişiklik yapılmasını ya da farklı çalışma tekliflerinin hazırlamasını isteyebilir. Başkanlıkça belirlenen konular Kurum Başkanına sunulur. Kurum Başkanı tarafından uygun görülen konu ya da konular onaylandıktan sonra, performans denetimi sürecinin sonraki aşamalarına geçilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 28 PERFORMANS DENETİMİ REHBERİ Sayfa | 29 ÜÇÜNCÜ BÖLÜM Denetimin Planlanması (Ön Çalışma) PERFORMANS DENETİMİ REHBERİ Sayfa | 30 PERFORMANS DENETİMİ REHBERİ Sayfa | 31 3. DENETİMİN PLANLANMASI ( ÖN ÇALIŞMA) 3.1. Performans Denetiminde Planlamanın Önemi Denetim konusu seçildikten sonra, denetimi yürütecek ekibin görevlendirilmesi ve ekip tarafından bir denetim planının geliştirilmesi gerekir. Planlama; bütün denetimler için önemlidir. Ancak, performans denetimi; diğer denetimlere göre daha geniş bir erime sahip olması ve dolayısıyla daha kompleks olması nedeniyle, ayrıntılı bir planlama olmaksızın gerçekleştirilmesi imkansız bir denetim türüdür. Denetim ekibi, Başkanlıkça onaylanmış çalışma teklifini gözden geçirmekle ve ihtiyaç duydukları bilgi ya da değerlendirmeleri tespit etmekle işe başlar ve konuyu değişik perspektiflerden araştırır. Ekip üyeleri, konu ile ilgili kamu görevlilerinin, uzmanların, akademisyenlerin ve bilgi sahibi diğer kişilerin görüşlerine başvurabilir ve resmi raporlar, medyada yer alan değerlendirmeler ve akademik araştırmalar gibi yayınlanmış dokümanlardan istifade edebilir. Bu aşamada denetim elemanları uygun denetim kriterlerini belirlemeli, denetim için verimli ve etkin bir yaklaşım geliştirmeli, ilgili hesap verme/sorumluluk ilişkilerini kavramalı, daha önceki dönemlere ait ilgili denetim bulgularını ve önerilerini incelemeli ve sonuçta denetim planını hazırlamalıdır. Denetimin planlanması aşaması; denetim ekibinin denetlenen kurum/kuruluşla, kurum/kuruluşların prosedürleri ve karşı karşıya olduğu problemlerle ilgili bilgi düzeyini geliştirmesine olanak sağlar. Bu bilgi, denetim ekibine denetimin düzenli, verimli ve maliyet etkin bir şekilde yürütülmesine esas teşkil edecek olan bir iş planı geliştirmesine yardımcı olur. Denetlenmeye karar verilen bir konu hakkında denetim planının nasıl yapılacağı ve yapılacak çalışmaya en uygun denetim yaklaşımının belirlenmesi denetimin etkinliğinin artmasında önemli bir role sahiptir. Bu aşama performans denetiminin temelini oluşturmaktadır. 3.2. Kurum Hakkında Ayrıntılı Bilgi Toplanılması 3.2.1. Kurumu Ayrıntılı Olarak Tanıma Ön çalışmanın ilk adımı; seçilen konunun kapsamlı olarak tanınması ve konu hakkında daha kapsamlı geniş bilgi edinilmesidir. Konuyu bir bütün olarak kavrayabilmek ve denetimin nasıl yapılacağını en iyi biçimde planlamak için kurum/kuruluş hakkında genel bir bakışa sahip olmak, denetim ekibi için önemlidir. Kurumu tanıma aşamasında elde edilen bilgilerin doğrulanması, genişletilmesi ve denetimin amacının, kapsamının ve kriterlerinin daha sağlıklı oluşturulması için; denetlenen konunun ve ilgili kurumların daha yakın bir mercek altında incelenmesi, güncel ve doğru bilgilere ulaşılması gereklidir. Denetim Ekibi, denetim konusu ile ilgili olarak kurum/kuruluşun yetki çerçevesi ve denetime tabi tutulacak alanları, amaçları, yasal yetkileri, örgütsel yapısı, programları ve faaliyetleri, performans hedefleri, kaynakları ve hesap verme ilişkileri hakkında güncel bilgilere sahip olmalıdır. Bu sayede, incelenecek kurumun ve konunun tüm yönleriyle ve ayrıntılı bir şekilde tanınması yapılacak performans denetiminin daha etkin yürütülmesini sağlar. Ayrıca, kurumun ayrıntılı olarak tanınması; konunun denetlenebilirliğinin tam olarak tespit edilmesini sağlar. Konu seçimi aşamasında elde edilen bilgilerle denetlenebilir olarak mütalaa edilen bazı konular; ayrıntılı tanıma sonucunda denetlenmeye değer bulunmayabilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 32 3.2.2. Kuruma İlişkin Ayrıntılı Bilgi Denetlenen kurum/kuruluş hakkında gerekli olan bilgilerin elde edilmesi, denetimin her aşamasında yürütülen bilgi toplama ve değerlendirme sürecinin süreklilik arz eden bir unsurudur. Denetim elemanlarının, mevcut kaynaklardan en yüksek değerin elde edildiğinden emin olmak amacıyla toplayacakları bilginin maliyetini ve denetime katacağı değeri karşılaştırarak ölçmeleri de önemlidir. Ayrıntılı bilgi; denetim konusu faaliyeti tanıma ve analiz etmeye yetecek kadar elde edilecek bilgidir. Gereğinden fazla bilgi konu üzerinde odaklanmayı güçleştirir. Ayrıntılı bilgi toplanması çalışmasında, denetlenecek kurumu daha iyi tanımak için kurumun görevleri, yetkileri, sahip olduğu mali kaynaklar, anahtar personel, hitap ettiği kesimler, yürüttükleri programlar ve program hedefleri, performans bilgileri, kurumun içinde bulunduğu çevre, kurumun artıları/eksiklikleri, diğer kurumlarla olan ilişkileri ve kurumu etkileyen dışsal faktörler hakkında detaylı bilgi toplanır ve değerlendirilir. 3.2.3. Kuruma İlişkin Ayrıntılı Bilgiyi Elde Etme Geniş literatür taraması, kamu görevlileriyle, akademik uzmanlarla, özel sektörde aynı hizmeti sunanlarla ve kamu hizmetlerinden yararlananlarla görüşmek ve onların düşüncelerini toplayıp değerlendirmek çok önemlidir. Bunların yanında, sunulan hizmeti gözlemleyerek ve bir müşteri olarak hizmete dahil olarak da konu hakkında ayrıntılı bilgi toplanabilir. Kamu hizmeti sunulan ortamı inceleyerek kurumun içinde bulunduğu faaliyet ortamı yakından tanınabilir. Denetim ekibi, yürütülecek çalışma ile ilgili gerekli bilgiyi aşağıdaki kaynaklardan elde edebilir: Yasal düzenlemeler, Kalkınma planları, Yıllık Programlar, Bütçe Dokümanları, Bakanlık Açıklamaları, Önceki denetim raporları, incelemeler ve değerlendirmeler, Bilimsel çalışmalar ve araştırmalar, Stratejik planlar, misyon, vizyon açıklamaları ve yıllık raporlar, Organizasyon şemaları, iç düzenlemeler ve uygulama rehberleri, İlgili alandaki uzmanların ve ilgili tarafların görüşleri, Kurum/kuruluş yönetimi ve kilit konumdaki personel ile yapılan görüşmeler, Yönetim bilgi sistemi ve performans verileri, Resmi istatistikler ve diğer bilgi sistemleri, Medya, Diğer ülke uygulamaları. Denetim ekibi, konu hakkında gerekli olan bilgiyi toplamak için değişik prosedürler ve teknikler kullanabilir. Bunlardan bazıları şunlardır: Denetimin amacını, kapsamını ve zamanlamasını belirlemek için kurum yönetimi ile görüşme yapmak, Kurum/kuruluşun organizasyon yapısı ve işleyişini anlamak için kilit personelle görüşme yapmak, İlgili veri kaynaklarını belirlemek, mevcut yönetim bilgi kaynakları ile ne tür veriler elde edilebileceğini incelemek, dış kaynakları ve medya gündemini araştırmak, İlgili tarafları ve uzmanları belirlemek ve kendileri ile görüşmek, Mevcut literatürü, araştırmaları, önceki dönemlere ilişkin raporları gözden geçirmek, PERFORMANS DENETİMİ REHBERİ Sayfa | 33 Kurum/kuruluşun risklerini ve bunların denetim üzerindeki etkilerini değerlendirmek. Ekip, çeşitli bilgi kaynaklarından değişik yöntemlerle elde ettiği bilgileri, denetim çalışmasının sürdürülüp sürdürülemeyeceğine karar vermek amacıyla etraflı bir şekilde değerlendirmelidir. Bu değerlendirmede; Kurumun performansının iyileştirilip iyileştirilemeyeceği, İkna edici kanıtların toplanıp toplanamayacağı, . Bakanlığın/Başkanlığın ilgili hedeflerinin, organizasyon yapısının veya süreçlerin değiştirilmesi ya da kapsamlı bir şekilde gözden geçirilmesi yönünde çalışmalarının olup olmadığı gibi hususlar dikkate alınmalıdır. 3.3. Denetim Amacının ve Kapsamının Belirlenmesi Konu ile ilgili kapsamlı bilgi edinildikten sonraki aşama; denetlenecek konunun kesin olarak tanımlanmasıdır. Başka bir ifadeyle, denetimin amacının ortaya konmasıdır. Bunun yapılabilmesi için potansiyel problemlerin farklı bakış açılarıyla ve derinlemesine incelenmesi ve sorunların açık ve net olarak ortaya konması gereklidir. Denetimin amacı aslında denetimin yapılma gerekçesini ortaya koymaktadır. Denetim kapsamı ise yapılacak denetimin sınırlarının çizilmesini, diğer bir deyişle ana sorunun nedenlerini irdeleyen bir dizi alt soru oluşturulmasını ifade etmektedir. Denetim kapsamı ne ana konudan uzaklaşılacak kadar geniş, ne de konunun yeterli incelenmesini aksatacak kadar dar olmalıdır. Alan çalışması ya da tam çalışmaya başlamadan önce denetimin amaçlarının, kapsamının, kriterlerinin ve bu amaçlara ulaşmayı sağlayacak metodolojinin belirlenmesi önemlidir. Bu süreç; genellikle ön çalışma adı altında gerçekleştirilir. Ön çalışmanın amaçları şunlardır: Denetim konusunda sağlam, güncel ve kapsamlı bilgiler elde etmek, alan çalışması için gerekli koşulların olup olmadığını belirlemek, eğer koşullar var ise iş planı için bir temel oluşturmaktır. Denetimin amacını ve sorularını belirlemek veya gözden geçirmek, Denetim soruları ile ilgili uygun sonuçlara ulaşmak için gerekli denetim kriterlerini geliştirmek, Denetim kanıtlarının kaynaklarını ve denetim metodolojisini belirlemek, Denetim sorularına cevap vermek için yeterli, ilgili ve güvenilir kanıtların elde edilebilmesini güvence altına almak, Denetimin yapılabilir olup olmadığını değerlendirmek, Denetimin değer katma niteliğini güvence altına almak. Bir ön çalışma raporunun geliştirilmesinde izlenecek en önemli adımlar şunlardır: Denetim konusu hakkında yeterince bilgilenme, İncelenecek özellikli hususların ve denetimin amaçlarının belirlenmesi, Denetimin kapsamının belirlenmesi, Kalite güvencesinin, zaman çizelgesinin ve kaynakların belirlenmesi. Uygulamada bu adımlar her zaman kesin bir şekilde birbirinden ayırt edilemez ve belirli bir sıralamaya tabi tutulması gerekmez. PERFORMANS DENETİMİ REHBERİ Sayfa | 34 3.3.1. Denetimin Amacının Belirlenmesi Seçilen konunun genel çerçevesi yeterince araştırıldıktan ve gerekli bilgiler elde edildikten sonra atılacak ilk adım, denetlenecek konu veya hususların daha kesin bir şekilde tanımlanmasıdır. Bu aşamada denetimin nedenlerinin ve amaçlarının detaylı bir şekilde ortaya konulması gerekir. Bu çalışma, konunun ilgili literatür, dokümanlar ve istatistikler, ilgili başlıca taraflar ve uzmanlar vb. ile yapılan görüşmeler, muhtemel problemlerin etkilerinin değişik bakış açıları ile analiz edilmesi gibi yollarla derinlemesine incelenmesini içeren zor ve önemli bir görevdir. Denetlenecek konulara ve denetim amacına ilişkin yapılan tanımlamaların açık ve belirgin olması büyük önem taşır. Denetim sorusu ya da denetlenecek problem üzerinde yapılacak çok az bir değişiklik dahi denetimin genel kapsamı üzerinde önemli etkiler doğurabilir. Kısaca bu adım; aşağıdaki iki sorunun yanıtlarının geliştirilmesini içermektedir: Ne? Niçin? Denetim sorusu ya da denetlenecek problem nedir? Denetimin amaçları nelerdir? Denetimin yürütülmesi sürecinde ve denetimin amacına ulaşılmasında belirleyici bir faktör olan denetim sorusunun (ana sorunun) kararlaştırılması, büyük öneme sahiptir. Denetim sorusu, denetim sırasında cevabı aranan temel araştırma sorusu olarak düşünülebilir. Bu nedenle belirlenecek ana sorunun akılcı ve objektif temellere dayandırılması gerekir. Denetimin amacı, denetimin gerçekleştirilme nedeni ile ilgili olup, denetlenecek konu ve hususların belirlenmesinde yardımcı olması amacıyla denetim sürecinin başlangıç aşamalarında belirlenmesi gerekir. Denetim amacının açık ve net bir şekilde ifade edilmesi de önemlidir. Denetimin amacı belirlenirken, Başkanlığın rol ve sorumlulukları da göz önünde bulundurulmalıdır. Denetimin amacı, denetimin kapsamı ile doğrudan ilişkili olup, bu iki unsurun birlikte düşünülmesi gerekir. Planlama sürecinin bir sonraki aşaması, denetimin kapsamının belirlenmesi ve yapılacak denetim çalışmasının tasarlanmasıdır. Bir başka deyişle bu aşamada denetim yaklaşımının yapılandırılması gerekir. 3.3.2. Denetim Kapsamının Belirlenmesi Denetim kapsamı, denetimin sınırlarını belirler. Kapsam, sorulacak soruları, yürütülecek çalışmaları ve yapılacak araştırmaların nitelikleri gibi hususları içerir. Ayrıca bilgi toplama faaliyetlerini ve uygulanacak analizi kapsar. Denetim kapsamı aşağıdaki soruların cevaplandırılmasıyla belirlenir: Hangi? Hangi spesifik sorular veya önermeler incelenecek? Hangi tür çalışmaların yapılması uygundur? Kim? Denetlenecek kurum/kuruluşlar ve diğer temel aktörler kimlerdir? Neresi? Denetim kapsamına alınacak mahaller açısından sınırlamalar var mı? Ne zaman? Denetimin yürütüleceği zaman periyodu itibariyle sınırlamalar var mı? Denetim çalışmasının yapılma nedeni ve denetimin amaçları ortaya konduktan ve temel denetim sorusu ya da incelenecek problem tespit edildikten sonra, cevabı aranacak spesifik soruların ya da araştırılacak hipotezlerin (sorunun temel etkenlerinin) belirlenmesi önemlidir. Formüle edilen sorular ve denetim alanı ön çalışma süreci boyunca gözden geçirilmelidir. Özellikle de denetim ekibi bu soruların denetlenebilir olduğundan (örneğin, bu soruların uygun maliyetle, PERFORMANS DENETİMİ REHBERİ Sayfa | 35 yeterli, ilgili ve güvenilir denetim kanıtları ile cevaplanmasının mümkün olacağından) emin olmalıdır. 3.3.3. Sorun Analizi Denetim ekibi incelenecek konuya ilişkin ayrıntılı bir plan tasarlamaya başlayabilmesi için öncelikle denetim konusu olarak seçilen alanda yaşanan sorunları tespit etmesi gereklidir. Sorun analizi, denetim konusu üzerinde yoğunlaşılarak tek bir üst düzey sorunun ve bu soruna bağlı alt sorunların, bu soruların cevaplanmasına yardımcı olarak spesifik denetim görevlerinin tespitini sağlayan bir yaklaşımdır. Denetim alanda değişik nedenlerden kaynaklanan pek çok sorun yaşanmaktadır. İncelenecek sorunlar analitik bir yaklaşım kullanılarak belirlenmeye çalışmalıdır. Öncelikle yapılacak denetimde ağırlık verilmek istenen en önemli sorun seçilmelidir. Bu konunun en iyi şekilde denetlenip, performansının değerlendirilebilmesi için bu önemli soruna yol açan etkenler ve bunlara bağlı sorunlar tek tek tespit edilmelidir. Denetim konusu etraflıca araştırılıp alan hakkında yeterli bilgi edindikten sonra ana sorunun ne olduğu ve neyin inceleneceğine karar verilir. Toplanan bütün bilgiler gruplandırılıp analiz edilerek incelenecek faaliyete ilişkin bir alan haritası çıkarılabilir. Alan haritası; mevcut sorunlar ve bu sorunların kaynaklarının görülmesinde denetim ekibine yardımcı olur. Bu harita çıkarılırken kurumla, konu uzmanlarıyla, akademisyenlerle ve diğer ilgili taraflarla görüşmeler yapılır ve her kesimin düşünceleri alınır. Başarılı bir alan haritası çıkarmak için katılımcı sayısı sınırlandırılmalıdır, bütün ekip üyelerinin katkı sağlanması teşvik edilmelidir ve katılımcılar geniş bir yelpazeden oluşmalıdır. Alan haritası konunun karakterine ve denetim ekibinin bilgi birikimine bağlı olarak değişiklik gösterilir. Önemli olan bu harita ile incelenecek konu hakkında mümkün olan en kısa sürede iyi bir kavrayış oluşturmaktır. 3.3.4. Denetim Sorularının Belirlenmesi Denetimin amaçlarının, denetim çalışması ile yanıtları aranacak sorular şeklinde formüle edilmesi daha uygun bir yöntemdir. Bu nedenle, Denetim konusu hakkında güncel, ayrıntılı ve doğru bilgiler toplandıktan sonra bütün ekip sonuçları karşılaştırmak ve haritalandırmak için toplanır. Kurumda alan ve belge incelemesi yapılır ve nihai olarak ulaşılan tüm bilgi ve belgeler değerlendirilerek ana soru ve alt soruların ne olması gerektiğine karar verilir. Ancak, bu soruların belirlenmesi, denetimin planlanması aşamasının belki de en önemli ve en zor görevidir. Denetim ekibi ana soru ve alt sorunların saptanması için toplanır, beyin fırtınası yapılarak mutabakata varmaya çalışır. Ana soru ve alt soruların çok iyi tespit edilmesi gereklidir. Sorular açıkça ifade edilmeli ve belirsizlik olmamalıdır. Soruları belirleme aşamasında; sistem odaklı yaklaşım (işlem ve faaliyet süreci gözden geçirir) veya sonuç odaklı yaklaşım (doğrudan çıktılar ve sonuçlara odaklanır) türlerinden birini veya bazı hallerde her iki yaklaşımı birden kullanılabilir. Sonuç odaklı yaklaşımda gerçekleşen sonuç ve çıktılar ile öngörülen sonuç ve çıktılar karşılaştırılır, süreçler üzerinde durulmaz. Sistem odaklı yaklaşımda ise sonuçların elde edilmesinde kilit rollere sahip olan sistem ya da süreçler ele alınır ve irdelenir. Ana ve alt sorular belirlendikten sonra denetlenen kurum ve diğer paydaşların dahil olduğu büyük ölçekli bir toplantı yapılarak, soruların anlaşılabilirliği ve hiyerarşik yapısı tartışılır ve ekip dışındaki kişilerin düşünceleri değerlendirilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 36 Performans denetimlerinde yaygın olarak kullanılan sorulara aşağıdaki örnekler verilebilir: Seçilen araçlar kamu kaynaklarının ekonomik kullanımını sağlıyor mu? Sunulan hizmetler kaliteli ve kullanıcı odaklı mıdır? Hizmetler zamanında sunulabiliyor mu? Faaliyet, Program ya da proje verimli yürütülüyor mu? Uygulanmakta olan program amaçlarını karşılamakta mıdır? Denetimlerde ana soru ile bağlantılı olarak 7’den fazla olmayan, tercihen 5 ya da daha az sayıdaki temel soruya cevap aramaya çalışılmalıdır. Bu sınırlandırma, hem denetim ekibinin ve hem de Başkanlığın temel sorunlara odaklanmasını sağlar. Bu bağlamda ana soru; yeterli, uygun ve güvenilir denetim kanıtları temelinde yanıtı alınabilen, denetlenen faaliyet, proje ya da programın ekonomik, verimli ve etkin yönetilip yönetilmediğini ölçecek ve Başkanlığın geliştireceği öneriler yoluyla değer katmasına olanak sağlayacak nitelikte bir soru olmalıdır. Bu soru; kriterlerin formüle edilmesine ve ihtiyaç duyulan kanıtların tanımlanması, elde edilmesi ve analiz edilmesine olanak verecek şekilde 3 ile 5 arasında (2’den az, 7’den fazla olmamak üzere) alt soruya ayrılmalıdır. Denetim soruları; “evet” veya “hayır”, ya da “evet fakat…”, “hayır fakat…” şeklinde cevaplanabilir nitelikte olmalıdır. Alt sorular konu hakkında daha özel cevaplar almaya yönelik olmalıdır. Sorular arasında mantıksal bir yapı oluşturulmalıdır. Kronoloji veya girdisüreç-çıktı esas alınarak sorular arasında mantıksal bir zincir oluşturulabilir. Coğrafi, demografik ve kurumsal fonksiyonlar göz önüne alınarak yapısal bir sıralama da yapılabilir. Alt sorular denetimin amaçları ile bağlantılı olmalıdır. Ana soru ve alt sorular belirlendikten sonra, denetim görevleri somut hale gelir. Her bir soru bizim için bir denetim görevidir. Tam çalışma aşamasına geçildiğinde denetim ekibi bu alt soruların cevaplarını ve kanıtlarını arayacaktır. Şekil 5 ana soru ve alt soruların planlanması ve tanımlanması için bir model sunmaktadır. Sorular “Evet” veya “Hayır” şeklinde cevaplanabilir olmalı Ana Soru Alt Soru Alt Soru Alt sorular mantıksal bir sıra izlemeli Alt Soru Alt Sorular en az “2”, en çok “7” adet olmalı Şekil 5: Sorun Analiz Modeli Örneğin, Sağlık Bakanlığına Bağlı Devlet Hastanelerinde İlaç ve Tıbbi Sarf Malzemeleri İle Tıbbi Cihazların Yönetim Faaliyetlerine ilişkin Ana soru ve alt sorular aşağıda belirtilen şekilde hazırlanabilir. Ana Soru: İlaç ve tıbbi sarf malzemeleri ile tıbbi cihazların tedarik ve yönetimleri etkin bir şekilde yürütülüyor mu? PERFORMANS DENETİMİ REHBERİ Sayfa | 37 1-İlaç ve Tıbbi Sarf Malzemelerinin Tedarik ve Yönetim Faaliyetleri Ne Kadar İyi Yürütülüyor? 2-Tıbbi Cihazların Tedarik ve Yönetimi Ne Kadar İyi Yürütülüyor? Alt Sorular: Birinci soruyu daha fazla ayrıntılı bilgi isteyen alt sorulara ayıralım: 1.1- Malzeme yönetim faaliyetleri, yetki ve sorumluluklar net olarak belirlenerek, idari ve mali konularda uzman yöneticilerin sorumluluğu altında yürütülüyor mu? 1.2- İhtiyaç planlaması sağlıklı yapılıyor mu? 1.3- Doğru nitelikte ve doğru miktarda malzeme, ihtiyaç duyduğu anda temin ediliyor mu? 1.4- Malzemelerin envanter kayıtları ve dağıtımını düzenleyen yeterli ve açık prosedürler var mı? 1.5- Malzemeler uygun ve yeterli koşullarda depolanıyor mu? 1.6- Malzemelerin kullanım sürecinde, tutumluluk, kalite ve standardizasyon sağlanıyor mu? 3.4. Denetim Kriterlerinin Belirlenmesi: Denetlenen konunun performansının ölçülebilmesi ve performans hakkında bir kanaat oluşturulması için denetim kriterlerine ihtiyaç duyulur. Denetim kriterleri, faaliyetlerin verimliğinin, etkinliğinin ve tutumluluğunun değerlendirilebildiği makbul, uygulanabilir ve genel kabul görmüş performans standartları veya performans yönetim ilkeleri ile iyi uygulamalar olarak tarif edilebilir. İncelenen konuya ilişkin kurum performansının değerlendirilmesi için kriterler kullanılır ve bu kriterler çalışma sorularında saklıdır. Kriterler; kurumun yürütmekte olduğu bir programın amaçları, hedefleri olabileceği gibi, o alanda en iyi uygulama örneği gösteren kurumların uygulamaları olabilir ya da incelenen alanla ilgili kanunlar, yönetmelikler, rehberler veya müşteri beklentileri de olabilir. En alt düzeydeki sorulardan başlayarak kriterlerin oluşturması gerekir. Kriterler olmadan denetim gerçekleştirilemez. Kriterler; güvenilir, tarafsız, karşılaştırma yapmaya olanak sağlayan, anlaşılabilir, tam ve ilgili olmalıdır. Kriterler karşısında elde edilen bulgular, mesleki kanaatleri ile birlikte, denetim ekibinin her bir denetim amacı için bir sonuca ulaşmasını mümkün kılar. Denetim kriterleri, değerlendirme yapmada denetim elemanına yön göstermeyi amaçlar. 3.4.1. Kriter Türleri İki tür kriter vardır. Bunlar; Genel Kriter ve Spesifik Kriter’dir. Genel Kriter daha geniş kapsamlıdır ve yürütülen faaliyet türüne göre o alanda makul olan ve genel kabul görmüş performans göstergeleridir. Spesifik kriter ise; denetlenen kuruma ilişkin olarak düzenlenen yasal düzenlemeler, kurumca yürütülen program, proje hedefleri, kuruma ilişkin özel düzenlemeler ile yakından ilgilidir. 3.4.2. Kriterin Özellikleri Denetime başlamadan önce denetim amaçlarına ulaşmaya imkân veren, uygun ve yeterli düzeyde performans ölçütleri saptayan kriterler seçilmelidir. Bunu sağlamak için seçilen kriterlerde şu özellikler olmalıdır: Güvenilirlik: Aynı alanda ve aynı koşullarda çalışma yapacak herkes tarafından kullanılabilecek nitelikte olmayı ifade eder. PERFORMANS DENETİMİ REHBERİ Sayfa | 38 Objektiflik: Kriterlerin hiçbir etki ve baskı altında kalınmadan objektif olarak seçilmesidir. Yararlılık: Ulaşılmak istenen bulgu ve sonuçlara ulaşmamızda bize yardımcı olmalıdır. Anlaşılabilirlik: Açık ve anlaşılabilir nitelikte olmalıdır, değişik yorumlara yol açmamalıdır. Karşılaştırılabilirlik: Aynı yada diğer kurumlarda yapılan benzer çalışmalarda kullanılan kriterlerle uyumlu olmalıdır. Eksiksizlik: İçinde bulunulan koşullara göre mevcut performansı değerlendirmek için gerekli tüm kriterler oluşturulmalıdır. Ulaşılabilirlik: Tespit edilen kriterler ulaşılabilir nitelikte olmalıdır. Uygunluk: Denetlenen kurumun sahip olduğu özelliklere uygun olmalıdır. Kabul Edilebilirlik: Kanun koyucular, profesyonel meslek örgütleri ve diğer ilgili taraflarca kabul edilebilir nitelikte olmalıdır. Uyumluluk: Denetlenen kurumun yapısı ve amaçlarıyla uyumlu olmalıdır. 3.4.3. Kriter Kaynakları Denetim kriterlerinin oluşturulmasında yararlanılabilecek başlıca kaynaklar şunlardır: Denetlenen kurumun ya da işlemlerinin tabi olduğu mevzuat ve diğer düzenlemeler, İyi uygulama örnekleri ile yapılan karşılaştırmalar, Mesleki standartlar, deneyimler ve değer yargıları, Denetlenen kurum/kuruluş ya da Bakanlık tarafından geliştirilen performans göstergeleri, . Bağımsız uzman görüş ve tavsiyeleri, Bilimsel araştırma sonuçları ve diğer güvenilir bilgiler, Daha önceki yurtiçi ve yurtdışı benzer denetimlerde kullanılmış olan kriterler, Benzer faaliyetleri yürüten ya da benzer programları olan kurum/kuruluşlar, Genel yönetime ilişkin ya da konuya özgü literatür. Denetim ekibi genel olarak yasalara ve benzeri diğer düzenlemelere dayanarak denetim kriterleri geliştirebilir. Bu durumda denetim elemanları, belirlenen kriterlerin denetimin amacı ile uyumlu olduğundan emin olmalıdır. Bakanlık ve kurum/kuruluşun kendi değerlendirme kriterlerinin uygun bulunduğu durumlarda, bu kriterler denetim kriteri olarak kabul edilebilir. Performans ölçümleri için oluşturulmuş yetkin standartlara sahip olunmadığı durumlarda ise, kabul edilebilir kriterler kanunlardan, diğer yasal düzenlemelerden, mesleki kuruluşlarca geliştirilmiş standartlardan, benzeri diğer organizasyonların performans verilerinden ve denetim elemanlarının mesleki yargısından elde edilebilir. Mali ve düzenlilik denetimlerinde kanun, yönetmelik, yönerge, genelge, muhasebe ilkeleri gibi yazılı ve belirlenmiş kurallar değerlendirmelere esas teşkil ederken, performans denetiminde seçilen her bir konu için geçerli kabul edilen ve genel olarak saptanan kriterler bulunmamaktadır. Bunun yerine denetime konu edilen faaliyet veya programın niteliğine göre oluşan, konudan konuya değişen kriterler vardır. Her kriter her durumda uygulanamayabilir. Performans denetiminin temel ilke ve metodolojileri değişmezken, kullanılan denetim kriterleri değişmez nitelikte değildir. PERFORMANS DENETİMİ REHBERİ Sayfa | 39 3.4.4. Kriterlere Karar Verilmesi Yukarıda da belirtildiği gibi her bir alt soruya karşılık gelen bir kriter olmalıdır. Kritere karar verirken sorular ile sorgulanan işlem veya sürecin en uygun ve makul performans düzeyinin ne olması gerektiği düşünülmelidir. Şekil 6 ‘da denetim kriterlerinin oluşturulması süreci gösterilmiştir. Ana Soru Alt Soru Alt Soru Alt Soru Kriter Kriter Kriter Şekil 6: Kriter Oluşturma Süreci 3.4.5. Kriterlerin Yararları Kriterler; denetime başlamadan önce incelenen konuyla ilgili olarak olması gerekenler ile olmaması gereken hususların tespitini sağlar. Oluşturulan kriterler ile mevcut durum karşılaştırıldığında denetim bulguları ortaya çıkar. Tespit edilen kriterlerin denetlenecek kurum tarafından da kabul edilmesi, ulaşılacak denetim bulgularının uygunluğunu ve ekibin doğru yolda olduğunu gösterir. Ayrıca, yeterli ve güvenilir kanıt toplanmasını ve iyi bir denetim programı hazırlanmasını sağlar. Bu nedenle, sorular ve kriterler oluşturulduktan sonra denetlenen kurumla görüşme yapılarak kriterler hakkındaki fikirleri alınır ve değerlendirilir. Örnek: Performansın değerlendirilmesine ilişkin kriterler yukarıdaki örnekte yer alan sorular için belirlenen denetim kriterleri aşağıdaki gibidir. Alt Sorular 1.1Malzeme yönetim faaliyetleri, yetki ve sorumluluklar net olarak belirlenerek, idari ve mali konularda uzman yöneticilerin sorumluluğu altında yürütülüyor mu? 1.2- İhtiyaç planlaması sağlıklı yapılıyor mu? 1.3-Doğru nitelikte ve doğru miktarda malzeme, ihtiyaç duyduğu anda temin ediliyor mu? PERFORMANS DENETİMİ REHBERİ Kriterler Malzeme yönetim faaliyetleri, idari ve mali konularda uzman yöneticilerin sorumluluğu altında, bir merkezden koordineli olarak yürütülmelidir. Malzeme yönetiminde kullanılan kaynakların yönetimi de, bu faaliyetleri yürüten birim tarafından yerine getirilmelidir. Malzeme yönetim sürecinin her evresiyle ilgili yetki, görev ve sorumluluklar açıkça belirlenerek, uygulayıcı personel bu konuda bilgilendirilmelidir. Birimler arasında yetki ve görev örtüşmesi olmamalıdır. İhtiyaç planlaması, kurumun stratejik amaç ve hedefleriyle uyumlu olmalıdır. Yöneticilerin sağlıklı karar almalarını sağlayacak günceli güvenilir, bütünleşik ve kolay erişilebilir veri akışı sağlanmalıdır. İhtiyaçlar malzeme yönetim birimi tarafından, belli kriterler dikkate alınarak ve kaynak planlamaları da göz önünde bulundurularak belirlenmeli ve ihtiyaç belirleme sürecine konusunda uzman kişiler de katılmalıdır. Gerekli malzemenin ihtiyaç duyulduğu anda bulunabilmesi için, her malzemenin “güvenlik stok seviyesi” belirlenerek bu seviye korunmalı, tedarik süreci yeteri kadar önceden başlatılarak ihtiyaçların hangi kaynaklar ve hangi yöntem kullanılarak temin edileceği önceden planlanmalıdır. İhtiyacın planlanması da dahil olmak üzere, malzeme yönetimi sürecinin her aşamasında görevli personel Sayfa | 40 1.4-Malzemelerin envanter kayıtları ve dağıtımını düzenleyen yeterli ve açık prosedürler var mı? 1.5-Malzemeler uygun ve yeterli koşullarda depolanıyor mu? 1.6-Malzemelerin kullanım sürecinde, tutumluluk, kalite ve standardizasyon sağlanıyor mu? standartlara uygun sayıda ve nitelik olarak yeterli seviyede olmalıdır. İlaç ve tıbbi malzemelerin envanter kayıtları ve dağıtımı ile ilgili işlem ve faaliyetler, tüm envanter hareketlerini izlemeye uygun ve muhasebe sistemi ile uyumlu olmalı, güncel talimat ve rehberler çevresinde yürütülmelidir. Malzemelerin fiziksel olarak uygun ve yeterli depolarda, güvenli muhafazası sağlanmalı ve depolarda yerleştirme planı olmalıdır. Malzemeler kullanım sürecinde de izlenerek tutumluluk, kalite standardizasyonun sağlanmasına yönelik kontrol sistemleri oluşturulmalıdır. Tablo 6: Performansın Değerlendirilmesine Yönelik Denetim Kriterleri 3.5. Denetim Yaklaşımının ve Metotlarının Belirlenmesi Denetimin amacı, denetim soruları ve kriterleri belirlendikten sonra denetim elemanları, denetim raporuna temel teşkil edecek makul sonuçlara ulaşabilmek amacıyla yeterli, uygun ve güvenilir denetim kanıtları elde edebilmek için açık, güçlü ve uygulanabilir bir denetim yaklaşımı belirlemelidir. Denetim yaklaşımı; kanıt toplanırken, inceleme yürütülürken ve kanıt analizi yapılırken hangi metotların nasıl kullanılacağına karar verilmesini ifade etmektedir. Denetim yaklaşımı, en anlamlı denetim sonucunu üretecek bir şekilde oluşturulmalıdır. Denetim yaklaşımının tasarlanmasında iki farklı unsurun birbirinden ayırt edilmesi gerekir. Bunlardan ilki, kanıtların hangi kurum/kuruluşlardan toplanacağıdır. İkincisi ise, bu kanıtların nasıl toplanacağı (kanıt toplama tekniklerinin belirlenmesi) hususudur. Denetim metodolojisi, tüm popülasyonu temsil eden sonuçlar üretilmesini mümkün kılacak yeterlilikte, kaç kurum, kuruluş ya da birimin denetime tabi tutulacağını ortaya koyar. Denetim metodolojisinin belirlenmesinde denetlenebilirliğe ve yasal yetkiye de dikkat edilmesi gerekir. Hangi kurum/kuruluşlardan ya da kaynaklardan kanıtların toplanacağına karar verildikten sonra, bu kanıtların nasıl toplanacağının belirlenmesi gerekir. Başka bir deyişle, aşağıda belirtilen kanıt toplama yöntemlerinden hangilerinin seçileceğine karar verilmesi gerekir. Seçilecek kanıt toplama teknikleri, denetimin değerini ve sonuçlarının güvenilirliğini etkileyecektir. 3.5.1. Kanıt ve Kanıt Kaynakları Denetim kanıtı, denetim bulgularını desteklemek için bulunan her tür bilgi, belge ve dokümandan oluşmaktadır. Alan çalışması sırasında toplanılan kanıtları kullanarak denetim sonuçlarına varılır, makul ve uygulanabilir öneriler üretilir. Denetimin başarılı olması için yeterli, uygun ve gerçek kanıtlar bulunması gerekir. Denetim kanıtı; denetim ekibi tarafından üretilebilir veya paydaşlardan ya da denetlenen kurumdan elde edilebilir. 3.5.2. Kanıt Türleri Sözel kanıtlar; mülakatlar yoluyla elde edilir. Analitik kanıtlar; diğer kaynaklardan elde edilen bilgilerin analizi yoluyla ulaşılan kanıtlardır. Bu kanıtlar; hesaplamalar, karşılaştırmalar, trend ve rasyo analizleri, bileşenler içindeki bilginin ve bağımsız değişkenlerin ayrıştırılması gibi uygulamaları kapsar. Fiziki kanıtlar; gözlem yaparak ulaşılır. Belgeler; kurum dokümanlarının incelenmesiyle elde edilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 41 Anketler; bulguların doğruluğunu anket düzenleyerek ve bu sonuçları analiz ederek kanıta dönüştürülür. Testler, denetim sırasında ulaşılan bilgilerin ve verilerin test edilmesi suretiyle kanıtı sağlanır. Diğerleri, bulguların doğruluğunu kanıtlayacak her türlü görsel ve sözel araçlar kanıt olarak kullanılır. 3.5.3. Kanıtların nereden toplanacağına karar verme Kanıt kaynakları; denetçi tarafından toplanan kanıtlar (asli kanıtlar), Denetlenen kurumca sağlanan kanıtlar (tali kanıtlar), üçüncü kişilerden temin edilen kanıtlar (tali kanıtlar) olmak üzere üç başlık altında toplanır. Kanıtların nereden toplanacağımıza karar vermede kullanılacak yaklaşımlar şunlar olabilir; Popülasyonun %100 Denetimi: Bu tür bir seçenek, denetim popülasyonunun çok büyük olmadığı durumlarda uygulanabilir. Bu yaklaşımın tercih edilmesi durumunda, denetim tüm popülasyonda benzer şekillerde yürütülür. Temsili Örnekleme: Bu seçenekte denetim popülasyonu içerisinden, tüm popülasyonu temsil edecek uygun sayıdaki örnek denetime tabi tutulur. Bu seçeneğin uygulanması durumunda, temsili örneklerden elde edilen sonuçların bütün popülasyon için geçerli olması gerekir. Kıyaslama: Kıyaslamada, denetlenen popülasyon (yada bir örneği) bu popülasyonun dışında yer alan diğer bir popülasyonla (yada bir örneği ile) karşılaştırılır. Kıyaslama, genellikle dışarıdan seçilen iyi uygulama örnekleri ya da yüksek performans gösteren örnekler temelinde gerçekleştirilir. Örnek Olay İncelemesi: Bulgular temelinde genel sonuçlara ulaşabilmek için, bazen tekil bazı uygulama örneklerinin incelenmesi, daha güçlü yargılara ulaşma fırsatı sağlayabilir. Örnek olay incelemeleri, özellikle ilave araştırma ihtiyacı bulunan hususlar hakkında daha spesifik bilgiler elde edilmesinde yararlı bir yöntemdir. Ancak tek bir olayın incelenmesi suretiyle elde edilen bilgilerin güvenilirliği zayıf olacağından, birkaç örnek olayın incelemeye tabi tutulması daha sağlıklı sonuçlara ulaşılmasını sağlayacaktır. Sonuçların güvenilirliğini artırmanın bir başka yolu da, tek bir örnek olay incelemesinin birkaç kez tekrarlanarak gerçekleştirilmesidir. Özel Örneklem: Bu yöntemde, denetim popülasyonundan seçilen, ancak tüm popülasyonu temsil etmeyen örnekler denetime tabi tutulur. Örneğin, eğitim ve araştırma hastaneleri örneklemi, tüm devlet hastanelerini temsil eden bir örneklem değildir. Akış Şeması Çıkartmak: Akış şeması çıkartmak, denetlenen bir kurum içerisindeki belirli süreçler veya faaliyetler hakkında veri toplama anlamına gelir. Uzman Görüşü: Denetçiler, denetim esnasında faaliyetin özelliğine ve ortaya çıkan bulguların durumuna göre uzman görüşüne ihtiyaç duymaktadırlar. Bu gibi durumlarda uzman tercihi veya seçimi çok önemlidir. Uzmanın objektif olması için, denetleyen ve denetlenenlerle önceden bir ilişkisi olmamasına, alanında kabiliyetli ve bilgili olmasına dikkat edilmelidir. Ayrıca seçilen uzmanın her iki tarafça da kabul edilmesi gerektiği unutulmamalıdır. Örneğin, bir dispanserdeki sağlık korumasının kalitesini anlamak için uzman olan bir doktordan görüş alınabilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 42 Denetim popülasyonu incelenerek, yukarıdaki yaklaşımlardan uygun olanları kullanılarak kanıtların nerelerden elde edeceği saptanır. Denetim popülasyonun çok büyük olması halinde geneli temsil edecek nitelikte örnekleme yapılmalıdır. Mesela sağlık alanında yürütülecek bir çalışmada, Türkiye çapındaki tüm hastanelerin incelenmesi mümkün olamayacağı için hangi hastanelerde çalışma yapılacağı büyük önem arz etmektedir. Genel uygulamayı yansıtacak en iyi örneklemeyi yapabilmek için denetim ekibi belirli kriterlere göre seçim yapmalıdır. Hastanelerin bütçeleri, hasta potansiyeli, sağlık personeli sayısı, sunulan sağlık hizmetlerinin çeşitliliği ve coğrafik alan gibi bir takım kriterler oluşturularak kanıtların nerelerden toplanacağı belirlenir. Bunlar dışında örnek olay incelemesi ile belirlenen birkaç hastane tüm yönleriyle incelenerek denetim konusu hakkında çok yönlü ve derinlemesine bir araştırma yapılabilir. 3.5.4. Kanıt Toplama Yöntemleri Kanıtlara ulaşmak için kullanılan bir takım metotlar vardır. Bunlar Belge İnceleme, Mülakat, Anket, Gözlem, Odak Grup ve Diğerleridir(Kıyaslama, Örnek Olay vb.). Denetimin planlanması aşamasında ekip hangi metotları kullanarak hangi kanıtlara, nerede ulaşabileceğini tartışmalı ve bir karara bağlamalıdır. Kanıtların elde edilebilirliği düşünülmelidir. Denetim konusu hassassa veya muhtemel bulgular şaşırtıcı ise ikna gücü yüksel kanıtlar bulunmalı ve her bir sorunun cevabı birden fazla kanıt kaynağında aranmalıdır. Aynı soru için bağımsız kaynaklardan ikna edici kanıtlar elde edilmeye çalışmalıdır. Seçilen kanıt türlerinin ve metotlarının doğruluğunu test etmek için pilot uygulamalar yapılabilir. Bu aşamada toplanacak kanıtların nasıl analiz edileceği konusu da gündeme alınarak ekip içerisinde tartışılır ve hangi nicel ve niteliksel analiz yöntemlerinin kullanılacağına karar verilir. Nicel bilgileri özetlemek için çizelgeler, grafikler veya başka tür istatistiksel tablolar kullanılabilir. Değişkenler arasındaki ilişkiyi incelemek için korelasyon hesaplanabilir ya da dağınık diyagramlar çizilebilir. Niteliksel analiz yöntemleri kanıt toplama yöntemleriyle elde edilen sözlü ve görsel bilgilerin nasıl kullanılacağı ile alakalıdır. Bu analiz türünde “Nasıl” ve “Niçin” sorularının cevapları aranır. İşlemlerin nasıl oluştuğunu özetlemek için akış şeması oluşturulabilir. Bulgular ve kriter arasındaki mukayeseyi özetlemek için matris kullanılabilir. 3.5.5. Muhtemel Bulgu ve Öneriler İle Beklenen Etkiler Denetimde sorulacak sorulara alınacak cevaplar ve kriterlerle mevcut durum karşılaştırıldığında muhtemel bulgulara ulaşılır. Denetim kriterleri ile muhtemel bulgular değerlendirilerek makul ve uygulanabilir öneriler geliştirilmeye çalışılır. Yapılacak denetimin oluşturacağı muhtemel etkilerin neler olabileceği de yine bu aşamada ele alınır. 3.5.6. Denetim Matrisinin Oluşturulması Yukarıdaki aşamalarda elde edilen sonuçların hepsi aşağıdaki şekilde bir matris halinde özetlenir. PERFORMANS DENETİMİ REHBERİ Sayfa | 43 Sorular Kriterler Neyi Bilmek İstiyoruz Hangi Kriterlere Göre Değerlendireceğiz - ‘Evet’, ‘Hayır’ - Amaçlar, hedefler cevaplı olmalı, ya da standartlar -Cevaplanabilir olmalı, -İyi uygulama örnekleri Kanunlar, -Mantıksal bir yönetmelikler vb., sıra izlemeli Alt düzey - Mesleki rehberler, sorulara yayınlar indikçe spesifik bilgi Genel kabul almaya yönelik görmüş olmalı, uygulamalar ve ilkeler -Birbirinin tekrarı -Tüketicilerin/ olmamalı kullanıcıların beklentileri Gerekli Kanıtlar Kanıt Kaynakları Kanıt Toplama Yöntemleri Kanıtları Bulduktan Sonra Ne Yapacağız - Sözel ve fiziki -Kurum - Gözlem Nicel kanıtlar yöntemler - Diğer kamu Belge (Çizelgeler, - Belgeler ve kurumları inceleme grafikler veya her tür başka tür doküman -Yayınlanmış -Mülakat istatistiksel araştırmalar tablolar) - Anketler -Odak grup -Tüketiciler -Niteliksel kanıt -Testler kullanıcılar -Anket (kodlama, matrisler, akış -Resimler -Hizmeti -Diğer şemaları gibi) sunanlar yöntemler -Diğerleri -Örnek olay -İlgi grupları çalışmaları Hangi Kanıt Sorumuzu Cevaplar Kanıtları Nereden Elde Edeceğiz Kanıtları Nasıl Elde Edeceğiz -Bağımsız uzmanlar Tablo 7: Denetim Matrisi PERFORMANS DENETİMİ REHBERİ Analiz Etme Yöntemi Sayfa | 44 Neler Söyleyebiliriz Neler Önerebiliriz Muhtemel Bulgular Muhtemel Öneriler -Örnek hakkında açıklama -Muhtemel bulgular ile kriterler karşılaştırılara k geliştirilen makul ve uygulanabilir öneriler -Popülâsyon hakkında açıklama -Verilerin niteliği güvenirliği ve 3.5.7. İletişim Planı Yapılması İletişim planı iki kategoride ele alınmalıdır. İlgililerle gerekli iletişimi sağlamaya yönelik iletişim planı Denetlenecek kurumla ve tüm ilgili diğer taraflarla etkin bir şekilde iletişim sağlanması gereklidir. İletişimin nasıl sağlanacağı ve yürütüleceği hususları da ön çalışma aşamasında dikkate alınarak bir plan yapılmalıdır. Bu planda alanda görevli resmi ve gayri resmi kişilerin adları, unvanları, telefon ve adresleri ve ekipçe gerekli görülen diğer iletişim bilgileri ile bu kişilerle hangi sıklıkla ve ne şeklide iletişim kurulacağı konuları bulunur. Denetim mesajlarının nasıl ulaştırılacağına ilişkin iletişim planı Her performans denetiminin bir amacı ve bu amaç doğrultusunda iletilmek istenen bir denetim mesajı vardır. Bu mesajı en iyi şekilde verebilmek için bir iletişim planı hazırlanır. Bu planda denetimin ana mesajı, bu mesajın ulaşması istenilen kesimler ve bu iletişimin nasıl sağlanacağı hususları yer almalıdır. Denetim ekibi bu iş için hangi metotları kullanacağını düşünüp karar vermelidir. Denetim sonrası düzenlenen performans raporu ekibin ana çıktısıdır ve direkt başkanlığa gönderilmektedir. Bunun dışında raporun; kısa bir özetini hazırlayıp ulaşması istenilen kesimlere gönderebilir. İncelenen alana ilişki iyi uygulama rehberi hazırlanıp yayınlanabilir veyahut önemli konular hakkında tartışma imkânı yaratmak için konferanslar düzenlenebilir. Ayrıca, Başkanlığın web sitesinde ilave materyal yayınlanabilir. 3.5.8. Gerekli Kaynaklar, Denetim Takvimi ve Karşılaşılabilecek Muhtemel Risklerin Belirlenmesi Gerekli Kaynaklar Yapılacak performans denetiminin niteliğine göre ihtiyaç duyulan kaynakların gerçekçi bir şekilde tespit edilmesi gereklidir. İhtiyaç duyulacak kaynaklar nelerdir? Performans denetim ekibi: Denetim konusuna bağlı olarak değişik sayıda ve nitelikte performans denetimi tecrübesine sahip kişilere ihtiyaç duyulur. Diğer kişiler: Gerekli olması halinde kısa süreli olarak diğer alanlarda çalışan kişilerden ve stajyerlerden yararlanılabilir. Dış kaynaklar:Denetim için gerekli dış kaynaklar ve bunlardan nasıl yararlanılacağı tespit edilmelidir. Uzman/Danışman ihtiyacı: Kurum içi ve kurum dışı uzman kullanım ihtiyacı da bu aşamada değerlendirilerek, hangi uzmanlardan ne şekilde yararlanılacağına karar verilmelidir. Turne Gereksinimi: Nerelerde ve hangi sürelere yerinde denetim yapılacağı belirlenmelidir. Kalite güvence sürecinin belirlenmesi: Denetim ve denetim çıktılarının kalitesinin artırılması için uygulanacak prosedürlere, kurum içinden ve dışından sürece dahil olacak kişilere karar verilmelidir. Denetim için gerekli malzeme ve araçlar: Denetim konusu itibariyle ihtiyaç duyulacak özel malzeme ve araçlar tespit edilmelidir. Diğerleri: Denetim konusuna bağlı olarak daha önce kullanılmayan kaynakların kullanımı gerekebilir. Bu durumlarda nelere ve hangi gerekçelerle ihtiyaç duyulabileceği açık bir şekilde ortaya konmalıdır. Tablo 8: Performans Denetimi İçin Gerekli Kaynaklar PERFORMANS DENETİMİ REHBERİ Sayfa | 45 Karşılaşılabilecek Muhtemel Risklerin Belirlenmesi Potansiyel konu başlıklarının seçimi, risk analizi veya mevcut/potansiyel sorunlara ilişkin göstergelerin analizi üzerinde temellendirilmelidir. Sorunlu alanların belirlenmesi ve risklerin değerlendirilmesi, konu seçiminin en önemli boyutunu oluşturur. Her performans denetiminde muhtemel riskler vardır ve bu risklerin erkenden belirlenmesi, bunları daha kolay yönetmeyi ve en kötü ihtimaller göz önüne alınarak ihtiyatlı bir planlama yapmayı sağlar. Gerekli kaynakların ve muhtemel risklerin tespitinde denetim üzerinde etkili olabilecek içsel ve dışsal faktörlerin göz önünde bulundurulması gereklidir. Bu içsel ve dışsal faktörler şunlar olabilir; İçsel Faktörler: Denetimi yürütmek için yeterli sayıda ekip elemanı olmaması, Denetim ekibinde görevli kişilerin sağlık, mazeret ve diğer sebeplerle çalışmalara tam olarak katılmamaları, Ekip üyelerine başka bir görev verilmesi, Ekip üyelerinin o gruptan alınarak başka bir gruba verilmesi, Denetimi yürütmek için yeterli düzeyde bilgi ve beceriye (tecrübeye) sahip olunmaması, Kalite kontrol süreçlerinin yetersizliği, Dışsal Faktörler: Denetim konusunun çok güncel olması nedeniyle kısa sürede bitirilmesi talebi, Denetim konusunun çok geniş bir alanı ilgilendirmesi ve beklentilerin fazla olması, Daha önce düzenli bir incelemeye konu edilmemiş alanların bulunması, Denetlenen kurumun veri tabanının sağlam ve güvenilir olmayışı, Denetim kriterlerinin oluşturulamaması, İncelenen alana ilişkin mevzuatın karmaşık ve anlaşılmaz oluşu, Denetlenen kurumun denetime destek vermemesi, Konunun çok fazla teknik bilgi gerektirmesi nedeniyle sürekli uzman kullanma ihtiyacı doğması, Bir faaliyetle ilgili mali kaynakların veya bütçe ödeneklerinin büyüklüğü ya da bu kaynak veya ödenek miktarlarında önemli değişiklikler meydana gelmiş olması, Geleneksel olarak riskli kabul edilen alanların ele alınması, Yeni ya da acilen yürütülmesine ihtiyaç duyulan faaliyetlerin veya koşulları değişen alanların ele alınması, Yönetim yapılarının karmaşık olması ve dolayısıyla yetki ve sorumluluklar konusunda karışıklıkların yaşanması, Hizmetlerin kalitesiyle ilgili yakınmaların çok olduğu hizmet alanlarının bulunması, Belli projeler yürütülürken proje dönüm noktalarını gerçekleştirmede maliyet artışı veya önemli başarısızlıkların yaşanması gibi durumlarla karşı karşıya kalınması, Bir program ya da faaliyetin verimliliği veya etkinliği konusunda güvenilir, bağımsız ve güncellenmiş bilgilere ulaşılamaması, Yeni girişimlerin usulsüz bir şekilde finanse edilmiş olması, Muhasebe veya iç kontrol sistemlerinin uygun bir şekilde yapılandırılmamış olması veya yönetilmesi, Doğal afetler, hırsızlık veya israf nedeniyle önemli kayıpların meydana gelmiş olması, Rekabetçi nitelik taşımayan sözleşmelerin düzenlenmiş olması, Aşırı ya da adil olmayan ödemelerin yapılmış olması, İçsel ve dışsal faktörlerin değerlendirilmesi sonucunda denetim esnasında karşılaşılabilecek olası PERFORMANS DENETİMİ REHBERİ Sayfa | 46 problemler ve bunları çözmek için ekip elemanları incelemenin başlangıcında bir risk değerlendirmesi yapılmalıdır. Bu değerlendirmeler yapılırken şu hususlar üzerinde durulur: Denetimde ne tür sıkıntılarla karşılaşılabilir? Denetimde nerelerde yanlışlık yapılabilir? Yanlışlık yapma ihtimali nedir? Bu yanlışlıkların sonucu ne olabilir? Yanlışlık yapma olasılığı nasıl en aza indirilir? Risk gerçekleşirse nasıl yönetilir? Bu tür değerlendirme yapılması ve çalışma süresince bu değerlendirmeye başvurulması denetim ekibinin risk yönetimini güçlendirir ve problemlerle karşılaşılması halinde daha kısa bir sürede rasyonel bir çözüm üretilmesine yardımcı olur. İyi bir konu seçimi, aşağıdaki sorulara “Evet” yanıtının alınması ile gerçekleştirilebilir: Tutumluluk, verimlilik ve etkinlik riski var mı? Denetim çalışması kurumsal performansın gelişmesine olumlu bir katkı sağlayacak ya da bir yenilik getirebilecek mi? Denetimi yapmak için doğru bir zaman mı? Bu soruya cevap vermek için denetim elemanları, denetimin bitirileceği dönemde sonuçlarının açıklanmasının uygun olup olmadığını ve faydalı bir etki doğurup doğurmayacağını değerlendirmelidir. Denetimi gerçekleştirmek mümkün mü? Denetim elemanları, çalışma konusuna ilişkin ilgili ve kayda değer bilgilerin elde edilmesi, toplanması ve analiz edilmesinin zamanında ve makul bir şekilde gerçekleştirilmesinin mümkün olup olmaması gibi birçok faktörü dikkate almalıdır. Denetim Takviminin Oluşturulması Denetim takvimi denetimin konusu, ekip büyüklüğü ve denetim için öngörülen süreye bağlı olarak detaylı bir şekilde oluşturulur. Bu takvimde temel görevler ve bunların yerine getirme zamanı belirlenir. Denetim takviminde yer alacak temel aşamalar şunlar olabilir; Ön çalışmanın tamamlanması Kanıt toplamaya başlanılması ve bitirilmesi Kanıt analizinin tamamlanması Öneriler geliştirilmesi İlk taslak raporun yazımı Kurumla mutabakat Raporun Başkanlığa sunumu 3.5.9. Ön Çalışma Raporunun Tamamlanması Ön çalışma raporu, yapılan çalışmalara ilişkin özet bir bilgi, konunun denetlenebilirliği ve denetimin muhtemel etkileri hakkında bir değerlendirme ile denetime devam edilmesinin ya da edilmemesinin uygun olduğuna dair öneri sunmak amacıyla hazırlanır. Ön çalışma raporu, Başkanlığa denetimin yürütülmesi ya da yürütülmemesi gerektiğine dair gerekçeler sunmalı; eğer yürütülmesi gerekiyorsa, denetimin amaçlarını, kapsamını, kriterlerini ve yaklaşımını ortaya koymalıdır. PERFORMANS DENETİMİ REHBERİ Sayfa | 47 Ön çalışma raporu, her bir görev için denetim süresince kullanılacak kaynakları göstermeli ve denetimin sonuçlandırılması aşamasına dek yapılacak çalışmalara ilişkin bir zaman çizelgesini ve denetim planını içermelidir. Denetim sürecine etki edebilecek temel faktörlerin de ortaya konulması gerekir. Amaç, ön çalışma raporunun varılan sonuçlar ile ilgisi olan bütün bilgileri sunmasıdır. Bu amaca ulaşmak için tüm bilgilerin geçerli ve tam olması gerekir. Raporun içeriği açık ve sistematik bir tarzda sunulmalıdır. Ön çalışma raporu genellikle arka plan bilgisi, çalışmanın amacı, denetim kriterleri ve metotlarının sunumu, çalışmanın başarılı bir şekilde yürütülmesini etkileyebilecek temel riskleri, ihtiyaç duyulan kaynakları ve önemli dönüm noktalarını, çalışmanın muhtemel etkisini ya da katacağı değeri, olası medya ve kamuoyu ilgisini, sonuçları, tavsiyeleri, kaynakçayı ve eğer gerekiyorsa ekleri içerir. Raporun içeriği, açık ve sistematik bir tarzda sunulmalıdır Ön çalışma raporunda genellikle aşağıdaki bilgilerin yer alması beklenir: Yönetici Özeti: Bu bölümde denetimin konusu ve amacı açıklanır. Arka Plan: Denetlenecek konu ve kurum hakkında gerekli ana bilgiler verilir. Denetimin Amacı ve Kapsamı: V.E.T. Riskleri: Kurumun seçilen alanda verimli, etkin ve tutumlu bir şekilde çalışmasını etkileyen riskler açıklanır. Denetim Sorusu, Alt Sorular ve Denetim Kriterleri Denetim Metodolojisi Performans Riskleri Muhtemel Bulgu ve Öneriler Denetimin Muhtemel Etkisi Kamuoyu ve Medya İlgisi Denetim Riskleri ve Güçlükler Ekip Üyeleri, Uzmanlar ve Gerekli Diğer Kaynaklar Denetim Takvimi İletişim Planı Başlıca Kanıt Kaynakları ve Gerekiyorsa Ekler Ön inceleme aşamaları gerçekleştirildikten sonra, Başkanlığa sunulmak üzere ön çalışma raporu yazılır. Ekip şefi ve grup şefi tarafından incelenir geçirilir. Bu incelemede denetim konusunun görevlendirme alanı içinde olup olmadığı; yapılacak çalışmanın zamanlamasının isabetli ve yapılmaya değer olup olmadığı ve raporlamaya ilişkin zamanlamanın uygun olup olmadığına karar verilir. Aynı zamanda metodolojinin uygulanabilirliği, ekibin gerekli becerilere sahip olması ile kanıt kaynaklarının sorulara ikna edici cevap vermedeki yeterlilikleri sorgulanır; ekibin başarıyı etkileyen temel riskleri belirleyip belirlemediği ve bu risklerin üstesinden gelinip gelinemeyeceği araştırılır. Daha sonra, Ön çalışma raporu, tam çalışmaya devam edilip edilmeyeceğine karar vermesi için Başkanlığın onayına sunulur. PERFORMANS DENETİMİ REHBERİ Sayfa | 48 PERFORMANS DENETİMİ REHBERİ Sayfa | 49 DÖRDÜNCÜ BÖLÜM Alan Çalışması (Tam Çalışma) PERFORMANS DENETİMİ REHBERİ Sayfa | 50 PERFORMANS DENETİMİ REHBERİ Sayfa | 51 4. ALAN ÇALIŞMASI (TAM ÇALIŞMA) 4.1. Kanıt Toplama Teknikleri Bulgulara dayanak olacak kanıtlar, farklı kaynaklardan ve çeşitli teknikler kullanılarak elde edilir. Bu tekniklerden yaygın olarak kullanılanlar aşağıya aktarılmıştır. 4.1.1. Mülakat Yapılması Denetlenen kurumdaki personelle mülakat sözlü kanıt toplamanın en bilinen yöntemidir. Bütün performans denetim çalışmaları, veri toplamak ve gerçekleri oluşturmak için mülakatın belli türlerini kullanırlar. Başarılı olmak için mülakatlar önceden yapılandırmalı ve hazırlanmalıdır. Bireysel mülakatlar, ucu açık sorular sorulması ve detaylı açıklamalar, izlenimler ve görüşler elde edilmesi ihtiyacı duyulan hallerde çok yararlıdırlar. Kaliteli olmakla beraber yeterli kanıt sağlamazlar ve birkaç bireysel mülakat anketin yerini alamaz. Yapılandırılmış mülakatlar, bireysel mülakatlardan farklıdır, çünkü bunlardan elde edilen veriler toplanabilir veya ölçülebilir. Fakat bilgiyi sağlayacak ve sözlü bilgileri doğrulayacak doğru insanları belirlemek önemlidir. Yapılandırılmış telefon mülakatları mülakat yürütmenin başka bir yoludur. Başarılı bir mülakat aşağıdaki hususları içerir: Önceden planlama ve mülakat yapılanı, mülakatın amacı hakkında bilgilendirilmesi, Mülakat yapılana müspet ve işbirlikçi bir yaklaşımla yaklaşmak, Genelden özele giden bir soru listesi hazırlamak, fakat çeşitli ilgi noktalarının peşine düşmek ya da cevapları aydınlatmak için izleme soruları sormaya hazırlıklı olmak, Mülakat yapılanı iyi dinlemek, gerekli notlar almak, duyduklarınızı özetlemek ve onaylatmak, Mülakat formunu kullanarak mülakat notlarını en kısa zamanda yazmak ve çalışma kâğıtları arasında muhafaza etmek. Soru çeşitleri ve kullanım yerleri aşağıdadır: Açık uçlu ve tanımlayıcı sorular: Bunlar nasıl, neden, nerede, ne zaman ve ne ile başlarlar ve özellikle geniş altyapısal veriler keşfetmekte yararlıdır. Örneğin; Sizce gençlere iş edindirme projesi ne kadar etkili ve başarılı? Projenin yönetimi ile ilgili olarak sizin sorumluluklarınız nelerdir? Bu tür sorular, mülakatlarda sınırlı olmalıdır, çünkü analizi ve karşılaştırması zor niteliksel cevaplar sağlarlar. Kapalı sorular: Bu tür sorular belirli bir gerçeği veya veriyi kanıtlamak için kullanılırlar. Evet/hayır cevaplı veya belirleme, kişi, zaman, yer, numara içerirler. Örnek: Gençlere iş edindirme projesinde kaç tane katılımcı var? Belirli bir veriye ulaşmayı hedefleyen kapalı sorular, planlama aşamasında azami gayret gerektirse de, mülakat yapılanların kolaylıkla cevap verebilmesinden ötürü analiz safhasında karşılaştırma yapmak bakımından çok yararlıdırlar. Sondaj veya değerlendirici sorular: Bu tür sorular özellikli veri toplamayı ve derin bilgi ve deneyimi kontrol etmeyi mümkün kılarlar. Ayrıca mülakatı yapanın alan ve kanun hakkındaki bilgilerindeki eksiklikleri tamamlar. PERFORMANS DENETİMİ REHBERİ Sayfa | 52 Örneğin; İş edindirme projesi sona erdirilirse ne olur? İş edindirme projesi hangi şartlar altında devam ettirilmelidir? Aşağıdaki soru tipleri, anketin başarısı önünde engel teşkil ederler. Çoklu sorular, mülakatı yürütenin konu hakkında yeterli bilgi sahibi olmadığını veya neyi bulmak istediğini bilmediğini çağrıştırır. Yönlendirici / tavsiye edici sorular, mülakat yapılanın, mülakatı yapanın duymak istediği cevapları vermeye zorlanmasına yol açar ve uygun kanıt toplanmasına engel olurlar. Belirsiz sorular, mülakatı yapanın ne elde etmek istediğini konusundaki kararsızlığa işarettir. Varsayımsal sorular, Bu tür sorular sadece varsayımsal cevaplara yol açar ki bu tür cevaplar uygun kanıtlar olarak kullanılmazlar. 4.1.2. Odak Grup Çalışması Yapılması Odak gruplar, spesifik bir konuyu tartışmak üzere bir araya getirilmiş benzer bilgi ya da deneyime sahip kişilerden oluşan tartışma gruplarıdır. Odak gruplar iki nedenle “odak”tırlar. İlk olarak tartışmaya katılan kişiler kimi yönleriyle benzerdirler yada genel özellikleri aynıdır. İkinci olarak tartışmanın tek bir konu yada dar bir alan hakkında bilgi elde etmektir. Odak gruplarda amaç, kantitatif verilerden ziyade ilgili konu hakkında derinlemesine ve engin bir bilgiye ulaşmaktır. Temel vurgu, kişilerin algılayışları, tepkileri ve fikirleri üzerinedir. Sonuç, genellikle tartışılan konunun daha derinlemesine anlaşılmasının sağlanmasıdır. Genellikle farklı katılımcılarla birden fazla oturum düzenlemek gerekir. Her bir oturum ideal olarak 5-12 arası kişiden oluşur. Katılımcılar, daha büyük bir kitleyi temsil edecek şekildi rastgele ya da belirli kriterlere göre seçilir. Benzerliklerine rağmen odak grup, mülakatı yapanın soruları gruba yönelttiği ve katılımcıların bireysel cevaplar verdiği bir “grup mülakatı” değildir. Odak grup, grup tartışmasına dayanır ve özellikle katılımcıların konu üzerinde birbirleri ile tartışmaları durumunda başarıya ulaşır. Bu nedenle odak grupların temel ayırt edici özelliği, bu anlayışın öne çıkarılması ve katılımcılar arasındaki etkileşim aracılığıyla veri üretilmesidir. Performans Denetiminde Odak Grupların Kullanılması Uygun bir şekilde kullanıldıklarında ve iyi tasarlandıklarında, odak gruplar performans denetimi alanında çok yararlı bir bilgi kaynağı olabilir. Performans denetiminde odak grupların kullanılması, kimi özel koşullara bağlıdır. Genel kural, eğer yanlış giden bir şeyler söz konusu ise, fakat nedeni anlaşılmıyorsa, odak gruplar kullanılır. Bir başka deyişle, bir süreç, işlem ya da faaliyetin performansı düşükse ve bunun nedenleri yeterince açık değilse, odak grupların kullanılması yararlıdır. Eğer bir programın etkinliği denetleniyorsa, bu programdan yararlanan insanların tartıştırılması, çok yararlı sonuçlara ulaşılmasını sağlayabilir. Performans denetiminde odak gruplar farklı aşamalarda farklı aşamalarda farklı amaçlarla kullanılabilir: Konu seçimi aşamasında, denetim alanına ilişkin temel sorunların ortaya konulmasında, uygun konuların belirlenmesinde ya da bu konuların sıralanmasında, PERFORMANS DENETİMİ REHBERİ Sayfa | 53 Denetimin planlanması aşamasında, sorunların daha ileri bir düzeyde tanımlanmasında veya denetim sırasında kullanılacak anketlerin ya da iletişim araçlarının test edilmesinde, Denetimin yürütülmesi aşamasında, kalitatif (nitel) verilerin elde edilmesi ya da tespit edilen problemlerin nedenleri ve muhtemel çözüm önerileri için daha kapsamlı bilgi düzeyine ulaşmada, Denetim yürütülmesi aşamasının sonunda, önerilerin geliştirilmesi ya da kanıtların yorumlanmasında, Odak gruplar özellikle; Kanıtların güvenirliğinin test edilmesinde, Elde edilen denetim kanıtlarının yorumlanmasında, Ulaşılan sonuçların test edilmesinde, Geliştirilen önerilen test edilmesinde önemli yarar sağlar. Odak Grup Toplantılarının Gerçekleştirilmesi Odak Grup toplantılarının gerçekleştirilmesinde ilk adım planlamadır. Doğru soruların geliştirilmesi ve en iyi bilginin elde edilmesi için, amacın açık bir şekilde ortaya konulması gerekmektedir. İkinci adım ise, soruların geliştirilmesi ve test edilmesi, oturumların gerçekleştirileceği yerin belirlenmesi ve davet edilmesidir. Başarılı sonuçlara ulaşabilmek için, bize en iyi bilgiyi sağlayacak en uygun kişilerin belirlenmesi büyük önem taşır (bütünü temsil kabiliyeti olan örneklemenin seçilmesi önemlidir. Muhtemel katılımcıların belirlenmesinde beyin fırtınası yapılarak, hedef kitle ya da topluluktan konu hakkında bilgi sahibi olan en iyi temsilcilerin seçilmesi gerekir). Toplantıların, katılımcıların konuya odaklanmalarının sağlanması ve kendilerini rahat hissetmelerinin sağlanması amacıyla, mümkün olduğunca çalışma yeri dışında, özel ortamlarda gerçekleştirilmelidir. Oturumları yönetecek rehber, oturma enerji katmalı, grubun beklentilerini yönetmeli, elverişsiz koşulları ortadan kaldırmalı ve ortamı fiziksel ve psikolojik anlamda güvenli kılmalı, resmi olmayan ve rahat bir üslup kullanmalı, farklı düşünceleri teşvik etmeli ve interaktif (etkileşimli) bir ortam oluşmasını teşvik edilmelidir. Rehber yardımcısının temel görevi, rehbere yardımcı olmak ve oturumun kaydedilmesini sağlamaktır. Gözlemci ise, oturumu gözlemler ve not alır. Oturum tamamlandıktan sonra, işin zor kısmı, elde edilen kapsamlı bilginin analiz edilmesi safhası başlar. Elde edilen bilgiler, aşağıdaki hususları içerecek şekilde, kısa bir raporda özetlenmelidir: Amacın, yerin ve katılımcıların belirtmesi, Grubun her bir soru için verdiği cevapların belirtilmesi ya da özetlenmesi, Tek kişi tarafından açıklanmış olmakla birlikte, konu ile yakından ilgili görülen ifadelerin yorumlanması, Gruptan ne öğrenildiğine dair genel bir özet. 4.1.3. Anket Yapılması Anket yapma, denetim alanındaki belli bir sayıda mülakat yapılandan kaliteli ve nicel yeni veya standartlaştırılmış bilginin toplanmasında faydalı bir yöntemdir. Başlıca nicel mülakat yöntemleri; Posta anketleri (kişilerce doldurulur) Kişisel mülakat ve Telefon Mülakatı’dır. PERFORMANS DENETİMİ REHBERİ Sayfa | 54 Elde edilen bilgilerin faydalı ve güvenilir olması için adı geçen anketlerin iyi planlanması, tasarlanması ve tatbik edilmesi gerekir. Anket yapılması karşılaştırıldığında, denetçiler, planlama, yürütme ve sonuçların analizinde profesyonel yardım alabilir. İyi bir ankette olması gerekenler; Örneklemler rastlantısal olmalı, Sorular, açık ve sarih olmalı, Anket yapılanlar cevap vermiş olmalı. Anket yürütmenin en bilinen yolu, anket yapılanlara doldurmaları için anketler postalanmalıdır. Bütün anketler; projenin kısa bir tanımını, anketin amaçlarını, son teslim tarihini ve sorular için yetkili kişilerin isimlerini içermelidir. Anket düzenlemek göründüğü kadar basit değildir. Soruları oluşturmanın pek değişik yolu vardır. Kısa ve net sorular, kısıtlı sayıdaki grubun cevaplarının ortak bir analizine cevaz verir. Anketlerin, durumun gereklerini karşılayacak şekilde yapılandırılması aşağıdaki bazı haller için uygundur; Veri toplamak için katlanılan maliyetlerin ve zamanın azaltılması halinde, Verinin başka bir şekilde elde edilememesi halinde, Denetçi organizasyonun avantajlarını ve zafiyetlerini öğrenmek istiyorsa, Hizmetin kalitesinin müşteri memnuniyeti temel alınarak değerlendirilmesi isteniyorsa, Çalışmadaki belirli yargıları desteklemek için denetim kanıtı gerekiyorsa. Anketler sade ve anlaşılır biçimde kaleme alınmalıdır. Teknik terim, kısaltma ve jargonları kullanmaktan kaçınılmalıdır. Sorular için üç temel yapı vardır: açık, kapalı ve sondaj soruları (soru türleri için Mülakat bölümüne bakınız). Soruları oluşturmanın pek çok değişik yolu bulunmaktadır. Kısa ve net sorular, kısıtlı sayıdaki grubun cevaplarının ortak bir analizine imkân tanır. Önceden test edilmesi kaydıyla, anket metoduyla birçok problem çözülebilir ve zaman tasarrufu sağlanabilir. Ön test, toplama sürecini ve kendisini test etmeyi amaçlamalıdır. Toplama süreci, anketi olası cevaplandıracakların istenen bilgilere sahip olup olmadığının, gerekli olan cevap sayısının ve cevaplayanlar üzerindeki etkisinin göz önünde bulundurulmasını içerir. Sorular anlaşılabildi mi?, veriyi kullanılır biçimde elde etti mi?, ilave sorulara ihtiyaç var mı?, daha azıyla yapabilmek mümkün mü? sorularına yanıt aranır. İdeal olanı, analizi yürüten kişinin aynı zamanda tasarımında da yer almasıdır. Böylece cevaplardaki tutarsızlıklar doğru bir perspektife oturabilir. 4.1.4. Belgelerin İncelenmesi Belge incelemesi (fiziki, elektronik) kanıt toplamanın en yaygın şeklidir. Belgeler kurum için veya kurum dışı menşeli olabilir. Kurum dışı belgelere dayalı kanıtlar; kuruma gelen mektuplar, tedarikçi faturaları, kira sözleşmeleri, sözleşmeler, dışı denetim raporları, üçüncü şahsılardan elde edilen bilgiler olabilir. Kurum içi belgelere dayalı kanıtlar ise; muhasebe kayıtları; iş tanımları, planlar, bütçe ve iç denetim raporlardır. PERFORMANS DENETİMİ REHBERİ Sayfa | 55 4.1.5. Gözlem Olayları anlamanın ve takip edebilmenin en etkili yollarından biri doğrudan gözlemdir. Bu teknik, fiziksel varlıklarla ve çalışanların prosedürlere uyup uymadığıyla ilgili kanıt toplanmasına yardımcı olur. Süreçleri faaliyetteyken tetkik etmek, sorunların denetlenen kurumla münazaa edilmesi sırasında denetçiye yeterli anlama avantajı sağlar. Fakat tek bir gözlemin, belli bir süreç dahilinde meydana gelen olaylar hakkında hükme varmak için yeterli olmadığı unutulmamalıdır. Doğrudan gözlemde dikkat edilecek hususlar; Denetçi faaliyeti gözlemlemenin amacını, sürece dahil olan kurum personeline tanıştırıldığında açıklamalı, Denetçi, işin akışını veya çalışanların davranışlarını etkilemeyecek biçimde, onların süreçteki rolleri hakkındaki verileri toplamaya çalışmalı, Gözlemlenen her şey, kanıt teşkil edebileceğinden, kaydedilmeli, Yığını temsil edecek işlem ve kişiler incelenmelidir, fakat kişilerin gözlem altında farklı davrandıkları unutulmamalıdır. Fotoğraf ve video kaydı doğrudan gözlemin kalitesi arttırır. Doğrudan kamu hizmeti sunan kurumların faaliyetler gözlem metodu ile daha iyi değerlendirilebilir. 4.1.6. Alan Çalışmasının Planlanması Denetimin Planlanması aşamasında Ön Çalışma Raporu Başkanlık Makamına sunulduktan ve denetimin yürütülmesi aşaması olan Alan Çalışması safhasına adım atılır. Alan çalışması safhası; önceden belirlenen, kriterlere, kanıt ve denetimin sorularına yanıt aranılan, denetim bulgu-sonuçtavsiyelerinin üretildiği süreçtir. Bu süreci aşağıdaki şekilde tablolaştırmak mümkündür; Denetim kanıtlarının Kanıt Toplama Metotları Kullanılarak elde edilmesi Alan çalışması Programı hazırlanması Denetim verilerinden Bulgular Sonuçlar Öneriler üretilmesi Şekil 7: Alan Çalışmasının Planlanması Denetimin planlanması süreci tamamlandıktan ve Başkanlıktan denetimin yürütülmesine ilişkin onay alındıktan sonra, denetim ekibi, ayrıntılı bir alan çalışması programı hazırlar. Alan çalışması programının iş planından farkı, yalnızca alan çalışmasına dönük ve olabildiğince ayrıntılı bir şekilde hazırlanmasıdır. Alan çalışması programı, ön çalışma raporunda yer alan iş planının ayrıntılı olarak nasıl yürütüleceğini, ekip üyelerinin görev dağılımına göre yapacakları çalışmayı gösterir. Alan çalışması programı hazırlanırken aşağıdaki hususlar göz önünde bulundurulmalıdır: Denetim metotları: Her bir işin tamamlanmasında kullanılacak metotlar. Bazı kanıt toplama metotları diğerlerine nazaran daha fazla zamana ihtiyaç gösterirler. Zaman: Başkanlık onayında konulan zaman sınırı, Denetim alanının büyüklüğü: Denetim programları genellikle denetim konusunun getirdiği emek yükü ve karmaşıklığa göre şekillenmelidir. PERFORMANS DENETİMİ REHBERİ Sayfa | 56 Coğrafi Dağılım: Yerinde incelenecek şehirlerin yeri ve dağılımı denetim programını önemli ölçüde etkileyecek. Denetim ortamı: Denetlenen kurum yönetiminin denetime bakışı ve denetim alanının duyarlılığı denetim prosedürlerinin işleyişini etkileyebilecektir. Alan çalışması programı, yürütülen denetimin temel önceliklerini ve ekip üyelerinin görev dağılımını da göstermelidir. Bazı işlere başlayabilmek için bir diğerinin bitmesi ve bundan elde edilecek verilerin diğerlerinde kullanılması gerekebilecektir. Bu nedenle denetimin yürütülmesi aşamasının başlangıcında, işin tüm detaylarıyla profilinin çizilmesi önemlidir. 4.2. Görevlerin Tanımlanması Performans denetçisi, alan çalışmasını planlarken ilk olarak görevleri tespit edecek; bir başka ifade ile denetim kriterlerinin her birini bir görev olarak ele alınacaktır. 4.3. Görev bazında Kanıt Kaynaklarının ve Toplama Tekniklerinin Belirlenmesi Denetim Yaklaşımının Belirlenmesi bölümünde genel olarak kanıtların toplanmasında kullanılacak metotların belirlendiğinden söz edilmiştir. Bu bölümde ise, her bir görev için kanıt kaynakları ve uygulanacak denetim metotları belirlenmektedir. Denetçi kanıtlar için araştırma yaparken yaratıcı, esnek ve dikkatli olmalıdır. Denetim çalışması sırasında kanıt toplanan yerler inandırıcı olmalıdır. Bazı durumlarda toplanacak kanıtın doğal ortamı (yeri) hakkında uzmanlarla tartışmak ve onların görüşlerini de dikkate almak gerekebilir. Bu unsurların analiz edilmesi ve yorumlanması da denetçi tarafından titizlikle yapılmalıdır. Ayrıca denetçilerin farklı kaynaklardan veri toplaması da önemlidir. Çünkü denetlenen kurum, kurumun her birimi, uzmanlar ve konuyla ilgili diğer kesimler farklı bakış açılarına, görüş ve iddialara sahip olabilirler. Bu teknikler yaygın olarak kullanılanlarını kısaca; anket, mülakat, gözlem, belgelerin incelenmesi, kıyaslama, örnek olay, odak grupları ve akış şeması çıkarmak. 4.4. Ekip Üyeleri Arasında Görev Dağılımı Yapılması Program ve çizelgenin tamamlanmasının ardından ekip şefi denetçilere program, çizelgeyi ve görev sorumluluklarını bir toplantıya bildirir. 4.5. Alan Çalışması Takviminin Oluşturulması Ekip şefi denetim uygulamalarını bir eşgüdüm içerisinde yürütmek amacıyla bir alan çalışması takvimi hazırlar. Bunu yaparken de zamana dönük öncelikleri göz önünde bulundurur. Bazı işlere başlayabilmek için bir diğerinin bitmesi ve bundan elde edilecek verilerin diğerlerinde kullanılması gerekebilecektir. Çizelgede aşağıdakiler yer alabilecektir; İlk denetime başlama toplantısının tarihi, Belirlenen denetim işlerinin ve uygulamalarının zaman dilimi, Faaliyette uygulanacak metot/lar, Her bir uygulamaya veya faaliyete katılacak/sorumlu denetçilerin isimleri, Günlük faaliyetlerin başlangıç/bitiş saatleri, Denetlenen kurumla yapılacak toplantıların tarihi ve süreleri, Muhtemel ihtiyaçlar, (Ses kayıt cihazı, bilgisayar, önceden belirlenen sorunlar gibi), İş sonrası işle ilgili olarak doldurulan çalışma kâğıdına atıf ve faaliyet sonucu, Denetimi sonlandırma toplantısının tarih ve zamanı ile katılımcıların isimleri, Zaman çizelgesi ince hesaplanmış, ancak esnek uygulanabilir nitelikte olmalıdır. PERFORMANS DENETİMİ REHBERİ Sayfa | 57 4.6. Denetlenecek Kurumu Bilgilendirme Ekip şefi denetlenecek kuruma, denetim programının ilgili bölümlerini denetimi kolaylaştıracak önlemlerin alınması amacıyla yazılı ve/veya sözlü olarak bildirir. Bu bildirimde genel hatlarıyla, denetim ekibi üyelerinin hangi tarihlerde, kurumun hangi bölümlerini ziyaret edeceği ve denetlenen kurumdan beklenenler yer alacaktır. 4.7. Kanıtların Düzenlenmesi ve Analizi 4.7.1. Kanıtların Belgelenmesi ve Tasnifi Denetçinin denetim raporunda ortaya koyduğu bulgu ve sonuçları ve yaptığı denetimin, mevzuata ve uluslar arası standartlara uygunluğunu belgelemek için denetim çalışmaları sırasında elde etmiş olduğu denetim kanıtlarını sistematik olarak bir araya getirmesidir. Ayrıca yaptığı bütün çalışmalarını çalışma kâğıtlarına aktarmasıdır. Denetçiler denetim sonuçlarını desteklemek ve yürütülen denetimin süreçlerini açıkça sergilemek için kanıtları belge haline getirmelidir. Belgelendirme aşağıdaki unsurları kapsamalıdır. Planlamanın temel ilkeleri ve kapsamı, Denetim metotları ve süreçleri, İncelemenin tasarımı, Yapılan işler, Denetim bulgu ve sonuçları. Denetçi bu amaçla uygulanan denetim süreçlerinin planlamasını, kapsamını ve zamanlamasını, denetim kanıtlarına dayalı denetim sonuçlarını ve yeterince ayrıntılı ve sağlam denetim kanıtlarından ulaşmış olduğu sonuçları kayıt altına alan çalışma kâğıtları hazırlamalıdır. Çalışma Kâğıtları kanıta dayanan dokümantasyona erişimi kolaylaştıracak ve düzen altına alacak araçlardır ve alan çalışması ile denetim raporu arasındaki bağı kurmaktadır. Bu nedenle, raporda yer verilen denetim önerilerini destekleyen analiz, bulgu ve sonuçların üretilmesi amacıyla toplanan tüm kanıtlar çalışma kâğıtlarına bağlanmalıdır. Kaliteli denetim çıktılarının üretilmesini güvence altına alan çalışma kâğıtlarına denetçi gerekli özeni ve dikkati göstermek durumundadır. İyi bir çalışma kâğıdının nitelikleri: Çalışma kâğıtları eksiksiz ve doğru olmalıdır. Bulgu, sonuç ve kanıtlara destek sağlamalı ve yürütülen çalışmanın doğasını ve kapsamını ortaya koymalıdır. Çalışma kâğıtları açık ve öz olmalıdır. Çalışma kâğıtlarını kullanılan herhangi biri sözlü açıklama desteği olmadan yapılan çalışmanın doğasını ve kapsamını, ulaşılan sonuçları ve bu kâğıtların ne maksatla doldurulduğunu anlayabilmelidir. Anahtar rolü gören belgelere veya bunların fotokopilerine referans yapan bir indekse ve bir özete çalışma kâğıtlarında yer verilmelidir. Çalışma kâğıtları okunaklı olarak yalın bir dille kaleme alınmalıdır. Çalışma kâğıtlarının içeriği bilgiler görevlendirme yazısıyla belirlenen hedeflerle ilgili, kullanışlı, maddeten önemli ve yerinde konularla sınırlı tutulmalıdır. Çalışma kâğıtları tutarlı bir yapıda organize edilmelidir. Bu ise mantıklı ve izlenmesi kolay bir indeks yardımıyla sağlanabilir. Çalışma kâğıtlarının doldurulması ve indekslenmesi bilginin sürekli olarak tekrarlanması riskini azaltabilecek etkin bir çapraz referanslama sisteminin gelişimini sağlayacaktır. PERFORMANS DENETİMİ REHBERİ Sayfa | 58 Her bir destekleyici doküman ilgili çalışma kâğıtlarına ve gerekirse ayrıca denetim planına referansta bulunmalıdır. Bu denetimle ilgili tüm bilgiye kolaylıkla ulaşmayı sağlayacaktır. Eğer yukarıdaki özelliklere çalışma kâğıtları oluşturulurken uyulduysa bunların gözden geçirilmesi de kolay olacaktır. Çalışma kâğıtları hazırlanırken nihai kullanıcılar da göz önünde tutulmalıdır. Bu ilgili paydaşlardan ve kamuoyundan gelen soruların yanıtlanmasını kolaylaştırmayı ve denetim bulguları ile önerilerin temelini şekillendirmeyi de içerecektir. Çalışma kâğıtlarının yapısı denetim ilerledikçe gelişecek ve nihai ayrıntı derecesini denetimin doğası belirleyecektir. Çalışma kâğıtları kanıt niteliğinde bilgiler içerdiğinden bir “kâğıt”tan fazlasını ortaya koymaktadır. Kanıt biçimleri fotoğraf, ses kayıtları, video kasetleri veya diğer bir elektronik tarzda olabilir. Tüm bu kanıt biçimleri kâğıda da aktarılmalı, dökümü alınmalıdır. Denetçi çalışma kâğıtlarının güvenliğini sağlayacak uygun önlemleri almalı ve mesleki kayıtları belirli bir süre saklama kural ve gereklerini yerine getirmelidir. Kâğıt dışındaki birbirinden farklı denetim kanıtı türlerinin güvenliğini ve fiziki korumasını sağlamak için özel itina gösterilmesi gerekecektir. Her bir denetim görevinin sonrasında denetçi elde etmiş olduğu tüm kanıtları yazıya dökecektir. Yine de tüm kanıtların toplanması süreci sona erdiğinde bu çalışma kâğıtlarını denetim kriterleri temelinde bir araya getirecek, tasnif edecektir. 4.7.2. Kanıtları Özetleme ve Yeterliliğini Gözden Geçirme Denetim süresince çalışma kâğıtlarına düzenli olarak işlenen ve sonrasında denetim kriterleri temelinde tasnif edilen kanıtların bir sonraki aşamada özetlenmesi gerekecektir. Kanıt; rakamsal bilginin tablolaştırılması, nitel bilginin kodlanması suretiyle özetlenebilir. Ancak bu tasniften sonra kriterleri karşılamada ve desteklemede kullanabilecek yeterli miktarda kanıta ulaşıp ulaşılmadığı görülebilir. Bu incelemenin doğal bir sonucu olarak eğer yeterli kanıta ulaşılamadığı kanısına varılırsa, yeni kanıt arama yollarına gidilebilir. Ancak, yeterince kanıta ulaşmak fiili denetimin programlanması safhasında belirlenen kanıt toplama tekniklerine göre olası gözükmüyorsa yeni yöntemler denenir. Yeterli (miktarda) ve uygun (kalitede) kanıt kavramları birbiriyle ilişkilidir. Uygun Kanıt (Kanıtların Kalitesi) Bulguları destekleyen kanıtların uygun olması için, bilgi anlamlı, güvenilir, geçerli olmalıdır. Anlamlılık, kanıtın denetim amacı ve kriterleriyle açık ve mantıksal bir bağı olmasını ifade eder. Kanıtlar, denetimin amacına hizmet ediyor ve denetim bulgularını destekliyorsa anlamlıdır. Güvenirlilik, testin tekrarlanması veya bilginin başka kaynaktan elde edilmesi durumunda aynı sonuçlara ulaşılabilmesi ile ilgilidir. Elde edilen kanıtlar tümüyle objektif olmaları ve haklarında hiçbir şüphe bulunmaması gerekir. Geçerlilik (güncellik), elde edilen bilginin içeriği, kaynağı ve zamanı ile ilişkili olarak ne anlama geldiği ile ilgilidir. Denetim nadiren dokümantasyonun ya da bilginin doğruluğunun ispatlanmasını içerir. Denetim elemanın bu konuda eğitimli veya uzman olması beklenemez. Yine de, denetim elemanı, denetim kanıtı olarak kullanılacak bilginin (örneğin fotokopi, faks, elektronik ortamda üretilmiş dokümanlar vb.) geçerli olup olmadığını dikkate almak zorundadır. PERFORMANS DENETİMİ REHBERİ Sayfa | 59 Denetlenen kurumca üretilen bilginin kalitesi, o kurumun iç kontrollerinin güçlü olması ile doğrudan ilişkilidir. Denetim elemanın doğrudan gözlemi, incelemesi ve hesaplamasıyla elde edilen kanıtlar, dolaylı yöntemlerle elde edilen kanıtlardan genellikle daha güvenilirdir. Keza başka kanıt kaynaklarınca ya da kanıt türleri ile desteklenen kanıtların daha güvenilir olduğu açıktır. Yeterli Kanıt (Miktar) Bulguları destekleyen kanıtlar, denetim elemanı ve ilgili tarafları ikna edici ölçüde yeterli olmalıdır. Yeterli (miktar) ve uygun (kalite) kanıt kavramları birbiriyle ilişkilidir. Kanıtın miktarı, denetim raporunun içeriğine destek sağlayabildiği ölçüde yeterlidir. Denetim elemanı bulgu ve sonuçlara ulaşırken, elde edilen kanıtların miktarının, makul bir insanın bu bulgu ve sonuçların geçerli ve geliştirilen önerilerin uygun olduğu konusunda ikna edilmesini sağlayacak düzeyde olup olmadığını sorgulamalıdır. Kanıtın yeterliliği üzerine yargılara varılırken dikkate alınması gereken önemli faktörler; Kanıtın kalitesi; kanıtın anlamlılığı, güvenirliği ve geçerliliğini ifade eder, Gözlemin veya yargının anlamlılık düzeyi; genel olarak anlamlılık düzeyi arttıkça kanıtın karşılaması gereken standartlarda yükselir, Yanlış gözlem yapma veya geçersiz sonuçlara varma riski Gözlem ve sonuçların desteklenmesinde benzer yararlar sağlayan ilave kanıtların maliyeti. Denetim raporu üzerine denetlenen kurumla beraber mutabakat sağlanması, uygun ve yeterli kanıt gereksinimini ortadan kaldırmaz. Böyle bir kanıt, rapor taslağı çıkartılmadan önce mevcut olmalı ki, raporun gözlemleri, yargıları ve tavsiyeleri kanıtlara dayansın. Taslak raporun denetlenen kuruma gönderilmesinde ki amaç, rapordaki gerçeklerin tam olduğunun ve raporun adil bir perspektif sunduğunun doğrulanmasıdır. 4.7.3. Kanıtın geçerliliği ve özetlenmesi Kanıt analizine başlamadan önce denetim elemanı, kanıtın tam ve tutarlı olup olmadığının incelenmesi anlamına gelen “Kanıtın geçerliliğinin sınanması” işlemini uygulamalıdır. Kanıt rakamsal bilginin tablolaştırılması, nitel bilginin kodlanması suretiyle özetlenebilir. Uygulanacak analizlerin tipi ve miktarı yanıt aranmakta olan sorulara bağlı olacaktır. Denetim elemanı planlama aşamasında kararlaştırılan analiz tekniklerini uygulayacaktır. Denetim elemanlarınca yürütülen denetimlerde uygulanacak aşağıda yer alan çalışmalar da kanıt analizleri arasında yer alır: Denetim elemanın test edeceği bir tahmini bulguyu (varsayımı), kanıtın doğrulayıp doğrulamayacağını belirlemek üzere gözlemlenen gerçekliklerin kapsamlı bir incelemesini yapması. Örneğin; planlama safhasındaki inceleme sırasında denetim elemanı, yönetim raporlama sisteminin sorunları doğru bir şekilde ortaya koymuş olmadığını göstermek için bir takım kanıtlar toplamış olabilir. Analiz sırasında topladığı kanıtın bu olası bulguyu doğrulamada etkili olup olmadığına dair bir yargıya ulaşmaya çalışır. Standart ve normlardan sapmaların kabul edilebilir sınırlar içerisinde olup olmadığını veya raporlamaya değer zayıflıklar olup olmadığını öğrenmek amacıyla temel sistemler veya kontroller üzerinde yürütülen testlerin sonuçları hakkında ulaşılan yargılar. PERFORMANS DENETİMİ REHBERİ Sayfa | 60 Yalnızca bazen doğrudan ilgili olabilecek ek bilginin ışığı altında sağlıklı olarak yürütülebilecek bir gözlemler setinden çıkarılan sonuçları test etmek amacıyla değişik kaynaklardan toplanan ilgili veriler. Örneğin çocuk aşılama programını denetleyen bir denetim elemanı, oldukça etkileyici sayıda uygulanan aşılama rakamlarına ulaşıyor. Bu sonuçları bölgedeki toplam aşı tüketimine veya daha önce yürütülmüş olan bir çalışmadan çıkan çocuk ölüm oranlarıyla ilişkilendirmek suretiyle yorumlayabilir. Sonuç çıkarmayı veya bulgu toplamayı olası kılacak mantıksal bir dizilim veya ilişki içerisindeki bir denetim gözleminin, değişik bakış açılarını birbirine bağlamak. Denetim elemanı bir projenin tamamlanmasında gecikme gözlemleyebilir ve tüm diğer şeyler arasında gecikmenin maliyet ve fayda üzerindeki etkilerini inceleyebilir. Sonuçta tahminlerle karşılaştırarak projenin toplam karlılığını değerlendirebilir. Kayda değer eğilimlerin tanımlanması. Bir denetim elemanı ayrıntılı gözlemlemesi esnasında kayda değer önemlilikte eğilimlere işaret ederek bir arada görülen veya birbirine bağlı birtakım örnek olaylar keşfedebilir. Bulgu ve sonuçlara anlamlı bir perspektif sağlamak amacıyla karşılaştırmalar yapılması. Bu karşılaştırma değişik şekillerde olabilir: Planlanan veya tahmin edilenle gerçekleşen durumun karşılaştırması, idari performansın veya maliyetlerin benzer veya karşılaştırılabilir olan bir başka projeyle karşılaştırılması, genel kabul görmüş standartların karşılaştırması, vb. Olayların sonuçlarının değerlendirilmesi. Bir denetim elemanı bir durumu tatmin edici bulmazsa yalnızca bu duruma yol açan nedenleri ortaya çıkarmaya çalışmamalı, aynı zamanda eğer düzeltici önlem alınmazsa sonuçların ne olacağını da araştırmalıdır. 4.7.4. Kanıtları Yorumlama (Analiz Etme) Verilerin niceliksel ve niteliksel olarak analizi, performans denetiminin en önemli aşamalarından birisidir. Denetim elemanı, verileri analiz ederken, denetim amacını ve sorusunu göz önünde bulundurarak analize başlamalıdır. Bu yaklaşım denetim elemanına, verilerin düzenlenmesinde ve analize odaklanmada kolaylık sağlayacaktır. Kanıtların analiz edilmesinin amacı denetim kriterlerine yanıt bulmak, bir bilgi yığınını anlamlı ve kavranabilir bulgulara ve sonuçlara dönüştürmektir. Denetim elemanı, bilgilerin yorumlanmasında elde edilen sonuçların, denetim kriterleriyle veya genel olarak olması gereken ile karşılaştırmasını yapmalıdır. Bilginin derinlemesine ve kapsamlı olarak değerlendirilmesi son derece önemlidir. Mülakat yoluyla elde edilen bilgi veya verilerin analiz edilmesinde temel problem, farklı konularda nelerin söylenmiş olduğunun ayırt edilmesidir. Denetim elemanı verinin genel içeriğini, ifadelerin birbiriyle uyumu veya kaynağı aynı olan sorunları ya da konuları dikkate almalıdır. Bu anlamda sayısal olmayan verilerin analizi, denetlenen kurumun performansını değerlendirmede kullanılabilir. Analiz denetim elemanına, denetim süresince elde edilen veri kalabalığı durumundaki belgelerin süzgeçten geçirilmek suretiyle bulguları destekleyen esas kanıtların ortaya konmasında yardımcı olur. Uygulanacak analizlerin tipi ve miktarı, yanıt aranmakta olan sorulara ve denetimin konusuna bağlı olacaktır. Denetim elemanı, dokümanları inceleyerek, hem tanımlayıcı bilgi toplayabilir, hem de belgeleri ve konuyla ilgili her şeyi sistematik olarak analiz edebilir. Bilgi analizi akılcı, yaratıcı ve tekrarlanan bir süreç olup, rasyonel ve irrasyonel unsurları içerir. Bu PERFORMANS DENETİMİ REHBERİ Sayfa | 61 süreç yansımaları, tartışmaları, beyin fırtınalarını ve çoğunlukla nicel olmayan, içerik analizi, karşılaştırmalı analiz gibi teknikleri kapsar. 4.7.5. Kanıtları Gözden Geçirme Kanıtların yeterlilik, doğruluk ve güvenilirlik açısından test edilmesinin ardından kanıtlar gözden geçirilir. Doğruluğu ve güvenilirliği tartışılabilecek kanıtlar için ya yeni doğrulama metotları yürütülür ya da çalışma dışı bırakılır. 4.8. Denetim Bulgularının Tespit Edilmesi ve Önerilerin Geliştirilmesi Denetim bulguları, denetim süresince, denetim sonuçlarına ulaşmak için kanıt kaynaklarından toplanan verilerin yorumlanması ve analiz edilmesi sonucu, denetim elemanı tarafından tespit edilen olgulardır. Diğer bir ifadeyle bulgu, denetimler sırasında denetlenen kurumlar tarafından yapılan uygulamaların ortaya konmasıdır. Bulgular, denetim amaçlarını karşılamak, denetim sorularının cevabını bulmak ve geliştirilecek önerilere kaynak teşkil etmek amacıyla toplanan kesin, açık ve belirli göstergelerdir. Denetim bulguları belirlenirken, bulguların öneminin ve performans düşüklüğünün nedenlerinin de dikkate alınması gerekir. Ayrıca denetim elemanları, bulguların sonuçlarını da değerlendirmeye çalışmalıdırlar. Denetim Kanıtı; yapılan denetim sonucu elde edilen bulguları desteklemek için toplanan ve kullanılan bilgi ve belgelerin tümüdür. Denetim raporundaki sonuç ve öneriler bu tür kayıtlara dayanmalıdır. Bu nedenle, Performans denetçileri topladıkları kanıtların yapısına, kalitesine ve miktarına dikkatli karar vermelidir. Çalışma kâğıdı; denetçinin denetim süreci boyunca yapmış olduğu her türlü faaliyetin sonucunu belli bir format ve düzene göre yazıya döktüğü belgedir. Kanıt Analizi; Araştırılan konu ile ilgili olarak toplanan verilerin ve sonuçların anlamlı olup olmadığını ortaya koyan çalışmalardır. Denetim sonuçları, Denetim sırasında elde edilen bulgularla bağlantılı olarak, denetlenen kurum ya da faaliyetin eksiklik ve yetersizliklerinin doğurduğu ya da doğurabileceği etkilerdir. Diğer bir ifadeyle, denetim elemanlarının bulgulardan hareketle ulaştıkları çıkarımlardır. Denetim sonuçları, doğal olarak denetçinin kanaatini yansıtır. Ancak bu sonuçların kanıta dayalı, tarafsız, mantıklı ve tutarlı olması gerekir. Denetçiler; uygun, tutarlı, sağlam ve güvenilir kanıtlar elde etmiş olsalar da bu kanıtlar doğru bir şekilde tasnif edilmez, yapılandırılmaz ve analiz edilmezlerse bunlardan ihtiyaç duyulan sonuçları üretmek ve başarılı bir denetim sonucuna ulaşmak mümkün olmayacaktır. Denetim önerileri, denetim sırasında bulgular ile ortaya konan performans risklerinin ortadan kaldırılmasına yönelik olarak önerilen, uygulanabilir, yapıcı ve düzeltici önlemlerdir. Bir başka ifadeyle, denetim amacı ile bağlantılı olarak, denetlenen kuruma performansını nasıl artıracağı konusunda denetim elemanı tarafından önerilen uygulama ve yaklaşımlardır. Öneriler; Denetim konusu ve amacı ile ilgili olmalı, Denetim bulgu ve sonuçlarıyla uyumlu olmalı, Tespit edilen noksanlık veya yetersizliğin altında yatan nedenlerle bağlantılı olmalı, Kendi içerisinde bir mantık bütünlüğü oluşturacak şekilde, açık, kısa ve anlaşılır olmalı, PERFORMANS DENETİMİ REHBERİ Sayfa | 62 Ayrıntılarına girilmeden ifade edilmiş olmalı (örneğin nelerin yapılmasına ihtiyaç bulunduğu belirlenmeli, ancak bunların kurum yönetimince nasıl yapılacağı hususuna girilmemeli), Eylem odaklı olmalı (etken bir yapıda sunulmalı ve karşı eylemde bulunma sorumluluğunu taşıyan kurumu muhatap almalıdır), İçerik olarak yapıcı olmalı, Uygulanabilir olmalı (yasal ve diğer kısıtlamaları da dikkate alacak şekilde makul bir zaman dilimi içerisinde uygulanabilir olmalıdır), Maliyet etkin olmalı (uygulama maliyeti getireceği faydalardan yüksek olmamalı), Sonuç almaya yönelik olmalı (sonuç alınamayacak, makul olmayan önerilerden kaçınılmalı), Sonuçları izlenebilir olmalı, Birbiriyle uyumlu ve tutarlı olmalıdır. Öneriler, aynı zamanda mantıklı bir kurgu içinde tartışılmış, bilgi odaklı ve rasyonel olmalıdır. Denetim elemanları, doğru bulgu ve sonuçlara ulaşmak için, topladıkları kanıtların kalitesi, inandırıcılığı, miktarı ve özelliği konusunda gerekli özeni göstermek durumundadırlar. Kanıtların elde edilmesi ve analizi, bulgulara ulaşılması ve sorunlu alanlara ilişkin çözüm bulmaya yönelik önerilerin geliştirilmesine ilişkin süreçler aşağıdaki şekilde formüle edilebilir: Mevcut Durum (Olan) Denetim Kriteri (Olması gereken) Denetim Bulguları (Olanla olması gereken arasındaki fark) Bulguların Etki ve Sonuçlarının Belirlenmesi (Farkın sonuçları) Bulguların Sebeplerinin Belirlenmesi (Farka yol açan hususlar) Önerilerinin Geliştirilmesi (Mümkün olan durumlarda önerilerin muhtemel etkilerinin belirlenmesi) Şekil 8: 6 Aşamalı Denetim Modeli 4.9. Denetlenen Kurumla Görüşme Taslak denetim bulguları denetlenen kuruma ekip şefi tarafından götürülmeli, tartışılmalı ve sorumlu veya yetkili kişinin yorum ve yanıtları alınmalıdır. Denetlenen kurumun yorumları belgelenmeli ve analiz edilmelidir. Eğer denetlenen kurum taslak bulgularla uzlaşmazsa reddin nedeni tahlil edilmelidir. Denetim ekibi şefi ve gerekirse diğer ekip bireyleri elde edilen bulguları ve muhtemel önerileri denetlenen kurum temsilcisi veya temsilcileriyle yaptığı toplantıda gözden geçirir ve gerekirse düzeltmeler yapar. Denetlenen kurum idarecisinin veya ilgili görevlinin üzerinde onayı alınmış taslak denetim bulguları denetim ekibi tarafından derlenir. PERFORMANS DENETİMİ REHBERİ Sayfa | 63 BEŞİNCİ BÖLÜM Raporlama ve İzleme PERFORMANS DENETİMİ REHBERİ Sayfa | 64 PERFORMANS DENETİMİ REHBERİ Sayfa | 65 5. RAPORLAMA ve İZLEME Performans Denetimi, kamu kurumlarının ya da bu kurumların belirli faaliyet, program ve/veya projelerin verimlilik, etkinlik ve tutumluluk ilkeleri açısından objektif ve sistematik bir incelemesi olarak değerlendirilmesidir. Buna göre performans denetim raporları, kamu kaynaklarının verimli, etkin ve tutumlu kullanılmaları konusunda Kurum Başkanlığına objektif bilgi ve çözüm yolları getirilmesinde temel araçlardır. Denetimin sonunda, denetim ekibi tarafından elde edilen bulguların değerlendirilerek ulaşılan sonuçlar ve getirilen önerilerin bulunduğu bir rapor düzenlenir. Raporun içeriğinin kolay anlaşılabilir, ilgili denetim kanıtlarına dayanan bilgilere dayanan, tarafsız, doğru tam olması gerekir. Raporların kalitesi Başkanlığın saygınlığının ve güvenilirliğinin bir göstergesi olduğu gibi raporların kalitesinin düşük olması, başarılı bir denetimin değerini kaybetmesine neden olacaktır. Raporlar yazılırken bulgular yeterli denetim kanıtları ile desteklenmeli (doğruluk), bulgu ve sonuçların birbirini tam anlamıyla desteklemesi ve incelenen alanı tüm yönleriyle kapsayan yeterli bilgilerin bulunması (tamamlık), konuyla ilgili olarak olumlu ve olumsuz yönlerin ılımlı ve önyargısız ifadelerle sunulması (dengeli sunum), sistemdeki ve iç kontrollerdeki zayıflıkların yanı sıra iyi uygulama örneklerinin de açıklanarak gelişme olanaklarının vurgulanması (adil olma) ve öngörülen tedbirlerin uygulanabilirliği, güçlüklerin aşılması ve bunun alabileceği zaman konularında gerçekçi (gerçekçilik) olunmalıdır. Rapor, son şeklini almadan önce çeşitli aşamalardan geçer: a) Raporun ana hatlarının belirlenmesi (İlk Taslak Rapor) b) Taslak Rapor c) Taslak raporun denetlenen kurum yönetimi ile görüşülmesi d) Nihai/Kesin Rapor e) Raporun yayımlanması 5.1. Raporun Ana Hatlarının Belirlenmesi Raporlama süreci, denetlenen kuruluşla görüşmelerin yapıldığı andan itibaren başlar. Denetim için alanda inceleme yürütülürken elde edilen verilerin analiz edilmesi, sonuçların çıkarılması ve önerilerin geliştirilmesi raporlamaya yönelik işlemlerdir. Raporun ana hatlarının belirlenmesi aşaması İlk Taslak Rapor olarak da adlandırılmaktadır. Tam incelemenin sonuna doğru raporun yapısı, içeriği ve temel konular ile sonuçların bildirildiği İlk Taslak Rapor (genel çerçeve rapor) düzenlenir. Performans Denetim Raporunun içerik ve üslubu, yapısı, sistematiği ve şekli bu aşamada belirlenir. Raporda denetimin amacının, kapsamının ve varsa sınırlılıklarının tanımlanması, denetim ekibi tarafından oluşturulmuş olan kriterlerin tanımlanması gerekmektedir. Raporun ana hatları oluşturulurken denetim ekibi birlikte karar vermelidir. Gerekli görülmesi halinde tecrübeli denetçilerden ve konu hakkında sahibi olan diğer kişilerin de bu sürece dahil edilmesinde fayda olacaktır. PERFORMANS DENETİMİ REHBERİ Sayfa | 66 Denetim raporlarında anlatım, açık, özlü ve bütün olmalı, sayısal ve grafiksel verilerle desteklenmeli, bulgular ikna edici ve yapıcı tarzda sunulmalıdır. Raporun yapısına karar verirken, raporun okuyucularının da dikkate alınması önemlidir. Çünkü raporlar Kurum Başkanlığına sunulmakla birlikte, denetlenen kuruluşlara ve kamuoyuna da hitap eder. Bu nedenle raporun çatısı ya da ana hatları oluşturulurken, tüm muhataplarının göz önünde bulundurulması gerekir. İlk taslak raporda, son raporun muhtemel etkilerini belirten ve inceleme komisyonunca nasıl ele alınabileceğini belirten bir özet yer alır. İlk taslak rapor yönetim tarafından onaylandıktan sonra, kesin raporda tartışılması muhtemel konularda görüşlerin alınması amacıyla denetlenen kuruma gönderilebilir. Ancak burada dikkat edilmesi gereken husus tartışmaların temel konularla sınırlandırılması gerekliliğidir. Amaç, üzerinde görüş aykırılıkları bulunan hususların tespit edilmesi, raporun nihai halini almadan önce ortaya çıkabilecek engellerin öngörülmeye çalışılmasıdır. Denetim Ekibi ve Grup Şefi raporun ana hatlarını ayrıntılı bir şekilde gözden geçirir. Gözden geçirmede hedef kitle, denetim kriterleri ve denetimin amacı ile uyumluluk gözetilir ve gerekli görülürse raporun ana hatlarında değişikliğe gidilir. Gerek görülmesi halinde denetlenen kurumdan alınacak görüşler doğrultusunda da değişikliğe gidilebilir. 5.2. Raporda Verilerin Sunumu Verilerin okuyucuya aktarılmasında kullanılacak grafik ve tabloların türlerine, yerlerine ve hazırlanmasında dikkat edilecek hususlar Performans Denetim Raporu bilgi ve veri hazinesi oluşturmak için hazırlanmaz. Raporda denetimin amaç ve kapsamı içerisinde yer almayan hiçbir veriye yer verilmez. Raporda hangi verilerin yer alacağına raporun amacına ne kadar uygun olduğuna göre değerlendirilerek denetim ekibince karar verilecektir. Raporda yer alacak verilerin sunumunda okuyucunun istekleri de göz önünde bulundurulmalıdır. Rapora konulacak tablolar, grafikler ve şekiller önceden planlanmalı, bu tablo, grafik ve şekillerin raporun hangi bölümüne konulacağına karar verilmelidir. Raporda kullanılacak tablo, grafik ve şekiller amaca hizmet edecek şekilde seçilmeli ve kullanılmalıdır. İyi bir grafiğin çok miktarda bilgiyi kolayca ve ekonomik bir şekilde okuyucuya aktarması beklenir. Okuyucunun grafiğe baktığında verilerle ne anlatılmak istendiğini görmesi amaçlanmaktadır. Kullanılan tablo, grafik ve şekiller uygun şekilde kullanılmazsa okuyucunun kafası karışacağı gibi rapora olan ilgisini kaybetme riski bulunmaktadır. Kullanılan grafiklerin boyutlarının uygun olarak belirlenmesi, ne verilerin birbirleriyle alakasız duracak şekilde büyük, ne de birbirine girmiş vaziyette karışık olmaması gerekir. 5.3. Taslak Raporun Yazılması Alan çalışması sonucunda elde edilen verilerin, tutulan notların ve gözlemlerin bir sıraya konarak düzenlenmesiyle taslak rapor da biçimlenmeye başlar. PERFORMANS DENETİMİ REHBERİ Sayfa | 67 İlk Taslak Rapor (Genel Çerçeve Rapor) ve Taslak Rapor denetim gelişmelerinden yönetimi bilgilendirmek üzere düzenlenen ara raporlarıdır. İnceleme aşamasının sonunda denetim ekibi tarafından kesin raporun formatı olabilecek, yorumlara imkân veren taslak bir rapor hazırlanır. Denetim raporları, yapılan çalışmaların, elde edilen bulguların rapora yansıtılmasından ibaret değildir. Elde edilen bulgular bir düzen içerisinde değerlendirilmeli, bu değerlendirmeler sonucunda mantıksal çıkarımlar geliştirilmelidir. Burada dikkat edilecek husus konuyla ilgisi olmayan bulgulara yer verilmemesidir. Rapor taslağı, okuyucunun faaliyet ya da program unsurları (hedefler, stratejiler, performans göstergeleri, sonuçlar vb.) arasında olması gereken bağlantıları değerlendirmesine ve sorgulamasına yardımcı olacak şekilde yazılır. Denetim konusuna ilişkin önerilerin neler olabileceği raporun çatısını oluştururken değerlendirilmelidir. Öneriler, temel nedenlere ve problemin kaynağına ilişkin olmalıdır. Öner iler, okuyucunun anlayabileceği tarzda, açık ve net olmalı, mümkün olduğunca teknik kelimeler kullanılmadan yalın bir anlatım tercih edilmelidir. Yanlış anlamalara yer vermemek için rapor yazım aşamasında tarafsız bir değerlendirme almak için üçüncü kişilerden yardım istenebilir. Önerilerde, ne yapılması gerektiği, nerede, ne zaman, nasıl ve kim (hangi kurum/kuruluş) tarafından yapılması gerektiği ortaya konulmalıdır. Eğer problemin tespit edilen açık bir çözümü varsa bu çözüm doğrudan önerilir. Problemin çözümüne yönelik alternatif çözümler mevcutsa, bunlar liste halinde verilmeli ve her birinin avantaj ve dezavantajları gösterilmelidir. Önerilerde bulunulurken, önerilerin hayata geçirilmesini engelleyen her bir mali, yasal, uygulama ya da politika kaynaklı faktör dikkate alınmalıdır. Bu problemlerin daha önce neden çözülemediği, çözümüne yönelik uygulamalar geliştirilmiş ise çözümün yetersizliğinin nedenleri ve problemlerin çözümünün kurum/kuruluşun çalışmaları üzerindeki etkisi değerlendirilmelidir. Zira problemlerin çözüme kavuşturulmasının maliyetleri ve ne kadar zaman alacağı hesaba katılmasının önemi büyüktür. Raporların kaleme alınmasında yalın bir dil kullanılmalıdır. Bir başka deyişle; Uzun cümlelerden ziyade kısa cümleler kullanılmalı, Yalın cümle yapıları (özne-nesne-yüklem) tercih edilmeli, Karmaşık ifadelerden, uzun ve nadiren kullanılan kelimelerden, aşırı resmi ve anlaşılması güç ifadelerden kaçınılmalıdır. 5.3.1.Denetlenen Kurum/Kuruluşla Görüşme Hazırlanan taslak raporun görüşünü almak üzere denetlenen kurum/kuruluşa gönderilmesi gerekmektedir. Taslak rapor üzerinde yapılacak müzakere ulaşılan temel sonuçlar ve destekleyici kanıtlar üzerine olmalıdır. Denetlenen kurum/kuruluşun taslak hakkındaki görüşünü almak üzere Başkanlık aracılığı ile yazı yazılarak ya yüz yüze görüşmek üzere davet edilir ya da denetlenen kurum/kuruluşun görüşünü yazılı olarak iletmesi istenir. PERFORMANS DENETİMİ REHBERİ Sayfa | 68 İlgili görüşün yazılı olarak istenmesi durumunda denetlenen kurum/kuruluşa görüşünü hazırlamak üzere makul bir süre tanınması gerekir. Denetlenen kurum/kuruluşun en üst düzey yöneticisi, kurum/kuruluşun görüşünü Başkanlığa bu sürenin sonuna kadar sunması gerekmektedir. Denetim ekibi, yeni bilgi ve belgeler sunulması halinde veya itiraz ve eleştirileri yerinde bulduğu durumlarda denetlenen kurum/kuruluşun görüşlerini dikkate alarak taslak raporda gerekli görülen değişiklikleri yapar. Denetçi ile denetlenen kurum/kuruluşun görüşleri arasında belirgin farklılıklar varsa, karşı tarafın bakış açısı uygun bir şekilde rapora yansıtılarak, idarenin görüşlerinin denetçi tarafından kabul edilmeme nedenleri belirtilir. Bu durumda denetlenen kurum/kuruluşun görüşlerini yazılı olarak bildirmesi istenir. Taslak raporun denetlenen kurum/kuruluşla müzakeresi, denetim doğrulatılması niteliği taşımakta olup aşağıda belirtilen faydaları vardır. bulgularının Bütün önemli ve ilgili konuların raporda kapsandığından emin olunur. Denetim sonucunda elde edilen bulguların tartışmalı olup olmadığı ortaya çıkar. Sonuçların adil ve rapor içeriğinin dengeli olup olmadığı anlaşılır. Denetlenen kurum/kuruluşun görüşü dikkate alınır. Denetim sonuçları denetlenen kurum/kuruluş için sürpriz olmaktan çıkar. Denetlenen kurum/kuruluş tarafından düzeltici önlemlerin daha rapor yayımlanmadan alınması imkânı doğar. Denetlenen kurum/kuruluşun görüşü alındıktan sonra, denetim ekibi taslak raporu gözden geçirir ve son şeklini verir. Son şeklini alan taslak rapor, Kurum Başkanlığa sunulacak hale getirilmesini temin etmek amacıyla Grup Şefliği tarafından Başkanlığa sunulur. Başkanlığa sunulan taslak raporun görüşülmesi sırasında, gerekli sunum ve bilgilendirmeyi sağlamak amacıyla Başkanlıkta yapılan toplantılara denetim ekibi de katılır. Başkanlıkta yapılan eleştiriler ve getirilen öneriler denetim ekibince değerlendirilerek uygulanabilir bulunan hususlara ilişkin olarak taslak raporda eleştiri ve öneriler doğrultusunda gerekli düzenlemeler yapılır. Söz konusu eleştiri ve önerilere ilişkin düzeltme yapılamayan hususlar gerekçeleriyle birlikte belirtilerek düzeltilmiş taslak rapor Başkanlığa tekrar sunulur. Başkanlıkça kabul edilen taslak rapor, Başkan tarafından imzalandıktan sonra “Denetim Hizmetleri Daire Başkanlığı Performans Denetim Raporu” niteliğini kazanmış olur. Başkan tarafından imzalanarak Denetim Hizmetleri Daire Başkanlığı Performans Denetim Raporu niteliğini kazanan rapor Kurum Başkanlığına gönderilir. Kurum Başkanlığınca uygun görülmesi halinde rapor, çoğaltılarak denetlenen kurum/kuruluşa, diğer paydaşlara ve medyaya gönderilebilir. Devlet sırrı vb. nedenlerle yayınlanmayan raporlar sadece ilgili muhataplarına gönderilir ve belirlenmiş gizlilik ilkelerine uygun olarak kurum/kuruluşta arşivlenir. 5.4. Raporun Sonuçlandırılması Rapor; denetimin amacının, kapsamının ve inceleme metotlarının açıklanması ile başlar. Daha sonra verimlilik, etkinlik ve tutumluluk problemleri olarak denetim gözlemleri açıklanır, geçerlilikleri doğrulanır ve analiz edilir. Denetim bulguları değerlendirme ve önerilerle birlikte sunulur. PERFORMANS DENETİMİ REHBERİ Sayfa | 69 Rapor içeriği genellikle aşağıdaki bölümlemeye paralel olarak düzenlenmektedir; Giriş/Önsöz: Denetimin kapsamı ve metodolojisi ile denetim ekibinin bakış açısının anlaşılmasını sağlayacak denetim yaklaşımı, denetimin temel bulgular ve denetimle ulaşılan başlıca sonuçlar birkaç paragrafı geçmeyecek şekilde bu bölümde açıklanır. Yönetici Özeti, Sonuç ve Öneriler: Okuyucuların hepsinin raporun tamamını okuyacak vakit ayıramayabilecekleri düşüncesiyle denetimle ilgili olarak kısa ve öz bilgi verebilmek amacıyla yönetici özeti oluşturulur. Bu başlık altında denetimin amaç, kapsam ve metodolojisi hakkında kısa bir bilgi sunulduktan sonra, raporun her bir bölümü ayrı ayrı özetlenir. Özetlemede her bir bölümün 1 ya da 2 paragraf halinde yer alması tercih edilir. Raporda yer alan temel bulgu ve önerilere de bu başlık altında yer verilir. Bütün bu konular özetlenirken anlatılmak istenen hususların özünün de yansıtılmasına, önemli görülen noktaların da belirtilmesine özen gösterilir. Raporun Ana Bölümleri: Yürütülen denetim çalışması ile denetlenen konu ve kurum/kuruluşlar hakkında genel bilgiler verilerek, okuyucunun bu konunun neden denetlendiğini anlamasına yönelik hazırlanan giriş bölümünden sonra, denetim konularına ilişkin önemli bulgular ve öneriler alt bölümler halinde açıklanır. Ekler: Denetim konusuyla ilgili olarak okuyuculara daha fazla ve daha detaylı bilgi verilmek isteniyorsa raporun sonunda ekler kısmında bu hususlara yer verilebilir. Denetlenen kurum/kuruluştan yazılı görüş alınmışsa bu görüş de ekler bölümüne konulabilir. Sözlük: Hazırlanan denetim raporlarında kullanılan teknik terimlerin açıklanmasına yönelik olarak sözlük bölümünün oluşturularak raporun sonuna eklenmesinde fayda bulunmaktadır. Kaynaklar: Raporda kullanılan kaynaklar sırasıyla ve standart bir biçimde raporun sonunda belirtilebilir. 5.5. Rapor Sonucunda Oluşan Gelişmelerin İzlenmesi Performans Denetiminin amacı; kamu kurumlarının ya da bu kurumların belirli faaliyet, program ve/veya projelerin verimlilik, etkinlik ve tutumluluk ilkeleri açısından incelemeye tabi tutarak kamu kurum ve kuruluşlarda performansı ve hesap verme sorumluluğunu geliştirmektir. Bu bağlamda yapılan denetim sonucunda hazırlanan raporda yer alan bulgular ve öneriler doğrultusunda denetlenen kurum/kuruluşların harekete geçmesi ve bu doğrultuda adım atması büyük önem arz etmektedir. Denetim ekibince hazırlanan performans denetim raporunun Kurum Başkanlığına sunulması ve gerektiğinde kamuoyu ile paylaşılmasından sonra, raporun muhatapları üzerindeki etkinin değerlendirilebilmesi amacıyla izleme sürecinin başlatılması gerekir. İzlemenin amacı, denetim raporunun etkilerini değerlendirmek ve raporun gereklerini yerine getirmekle yükümlü olanların bu yükümlülüklerini doğru bir şekilde yerine getirmesini sağlamaktır. İzleme faaliyetleri ile denetim önerilerinin denetlenen kurumlarca uygulamaya geçirilmesinin teşvik edilmesi ayrıca Kurum Başkanlığına geri bildiririm sağlanması amaçları PERFORMANS DENETİMİ REHBERİ Sayfa | 70 da güdülmektedir. Bu şekilde denetlenen kurum/kuruluşun ilgili alandaki faaliyetlerine de ışık tutulmaktadır. Her faaliyette olduğu gibi izleme faaliyetinde de planlama büyük önem taşımaktadır. Planlama safhasında izleme faaliyetinin kapsamı, kullanılacak kaynak miktarı ve izleme programı belirlenir. Planlama aşamasında izlemeye hangi aşamada başlanacağı ve izlemenin ne kadar süreceği belirtilir. İzlemeye başlamadan önce denetim sonucu getirilen önerilerin denetlenen kurum/kuruluş tarafından ne zaman yerine getirilmeye başlanacağı ya da getirileceğinin yasal ve bürokratik süreçlerin de göz önünde bulundurularak değerlendirilmesi gerekir. Aksi takdirde izleme faaliyetinin beklenen faydaları görülemeyebilir. İzleme faaliyetlerinin hangi metotla yapılacağına yapılan denetim faaliyetinin konusuna, önemine, önerilerin uygulanabilirliğinin kolaylığı gibi hususlara dikkat edilerek karar verilir. İzleme, yazışmalar yoluyla, masa başında yapılabileceği gibi gerek duyulması halinde alana inilerek yeni bir denetim yapılması yoluyla da gerçekleştirilebilir. İzlemeye başlamanın en etkin yollarından birisi, denetlenen kurum/kuruluşlardan her bir denetim önerisi ile ilgili olarak alınan önlemlerin ilk etapta yazılı olarak istenmesidir. Kurumlardan gelen cevaplar sürecin diğer adımlarını somutlaştırılmasında yarar sağlayacaktır. İdeal olarak bir izleme raporunun şu hususları içermesi beklenir: Denetim sonucunda umulan fayda ile gerçekleşen faydanın karşılaştırılması. Denetim önerilerinin uygulanma derecesi. Denetlenen kurum/kuruluşun denetim önerilerini uygulamada zayıf olduğu noktalar ve nedenleri. Denetlenen kurum/kuruluşun önlemlerinin yetersiz olduğu konularda denetim ekibinin gerekli gördüğü önlemler. PERFORMANS DENETİMİ REHBERİ Sayfa | 71 ALTINCI BÖLÜM Kalite Güvencesi PERFORMANS DENETİMİ REHBERİ Sayfa | 72 PERFORMANS DENETİMİ REHBERİ Sayfa | 73 6. KALİTE GÜVENCESİ 6.1. Kalite Güvencesinin Unsurları Denetlenen kurum/kuruluş ve faaliyetlere ilişkin sistemlerin, süreçlerin ve uygulamaların kalitesini geliştirmeyi amaçlayan performans denetimlerinin kendi iç süreçlerinde de kalite kilit bir unsur konumundadır. Kaliteyi sağlayan temel unsurlar, denetim ekibinin çalışmalarında ve çıktılarında kaliteyi artırmak üzere gerçekleştirdiği her türlü kontrol çalışması, denetim ekibinin hiyerarşik üstleri tarafından yapılan gözetimler ve bunlar dışında yer alan diğer kalite değerlendirme faaliyetleridir. Denetim ekibi ve hiyerarşik üstleri tarafından gerçekleştirilen faaliyetler de kalite güvence sisteminin bir unsuru olmakla birlikte, bunların “kalite kontrol” çalışması olarak değerlendirilmesi, daha sistematik bir yaklaşım sağlayacaktır. Bu çerçevede kalite kontrolünü, denetimin yürütülmesi ve gözetimi ile sorumlu olanların, denetimin nihai çıktısı olan denetim raporunun kalitesini yükseltmek amacıyla, denetim sürecinin her aşamasında yürüttükleri kontrol ve geliştirme faaliyetleri olarak tanımlayabiliriz. Gözetim ise, denetim süresince yürütülen her tür faaliyetin, izlenen süreçlerin, gerçekleştirilen test ve analizlerin uygun kalitede olmasını sağlamaya ve bunların geliştirilmesine rehberlik etmeye yönelik kontrol ve yönlendirme çalışmaları olup, grup şefi ve üstleri tarafından gerçekleştirilir. Kalite güvencesi ise, denetim faaliyetlerini yüksek standartlarda sürdürmek ve nihai çıktılarının kalitesini güvence altına almak amacıyla oluşturulan politika, sistem ve prosedürlerdir. Başkanlığın her bir performans denetiminde uygulayabileceği prosedürler şunlardır: kalitenin artırılmasına yönelik olarak Denetim ekibinin gözden geçirmesi: Denetim ekibi, çalışmanın bitiminde bir öz değerlendirme yaparak çıkarılan derslerin, neyin başarıldığının, nerede başarısız olunduğunun tespiti için denetimi kendisi gözden geçirir. Denetimin gözetimi: Denetim ekibinin bağlı olduğu ekip şefi, grup şefi ve Başkan çeşitli aşamalarda denetim çalışmalarının kalitesini gözetlemek ve gerekli tedbirleri almakla yükümlüdür. Denetimin, deneyimli denetim elemanlarından oluşan ve denetim ekibinde yer almayan bir ekip tarafından gözden geçirilmesi: Bu ekip, denetim konusunun seçimi, denetim metodolojisi, denetim kanıtları, denetim bulgu, sonuç ve önerileri ile taslak rapor hakkında tavsiyelerde bulunur. Denetlenen kurum/kuruluştan geri-bildirim alınması: Denetim süresince üretilen her çıktı hakkında denetlenen kurum/kuruluşun görüşüne başvurulabilir. Denetim kriterlerinin ve taslak raporun mutlaka denetlenen kurum/kuruluşun mutabakat için görüşüne sunulması gerekir. Mutabakat sağlanamasa dahi, bunların kalitesi hakkında denetlenen kurum/kuruluştan önemli katkılar sağlanabilir. İş planı, raporun ana hatları, vb. hakkında denetlenen kurum/kuruluş görüşünün alınması da, kalite güvencesini artıracak bir uygulamadır. Başkanlığının İncelemesi: Denetim raporunun Başkanlıkça incelenmesi, raporun kalitesi hakkında önemli bir güvence oluşturur. Kalite güvencesine dönük düzenlemelerin iki unsuru vardır: Performans denetimlerinin ayrılmaz bir parçası olması gereken kalite güvencesinin sürekliliğinin sağlanması ve tamamlanan çalışmalar sonrasında kalite incelemesinin yapılması. PERFORMANS DENETİMİ REHBERİ Sayfa | 74 6.2. Kalite Kontrolü Yöneticiler ve denetim ekipleri, denetim çalışmalarını en yüksek kalite standartlarında gerçekleştirmekten sorumludur. Bunlar, denetimin kapsamına, karmaşıklığına, hassasiyetine, süresine ve çalışmayı gerçekleştiren personelin deneyimine göre en uygun kalite güvence metotlarını belirlerler. Kalite kontrol prosedürleri, bütün denetimlerin ilgili denetim standartlarına göre yürütülmesini temin etmek üzere tasarlanmalı; denetimin bütün aşamalarını kapsayıcı nitelikte olmalıdır. Kalite kontrolü, denetim ekibinin ve gözetim sorumluluğu bulunan yöneticilerin, denetimin uygun kalitede olmasını sağlamaya yönelik faaliyetlerdir. Bu faaliyetler, sorumlularına göre şu şekilde sınıflandırılabilir: 6.2.1. Denetçilerin Fonksiyonu Denetçiler, denetimin tüm süreçlerinde çalışma kâğıdı hazırlamak zorundadırlar. Çalışma kâğıtları, yürütülen çalışmaların kalitesi hakkında fikir verir ve kalite incelemelerinin temel altyapısını oluşturur (Çalışma kâğıtları hakkında ayrıntılı bilgi için bkz. Ek 1). Denetim ekibi, yürütülen her bir çalışmaya ilişkin sonuçları da sürekli gözden geçirmek, üretilen her türlü bilgi ve belgenin kalitesini kontrole tabi tutmak zorundadır. 6.2.2. Ekip Şefi ve Grup Şefinin Fonksiyonu Grup şefi, çalışmayı her kritik ve temel aşamadan sonra gözden geçirir. Ekip şefi, çalışma kâğıtlarını her bir görevin tamamlanmasından sonra kontrol eder. Denetimin günlük yönetimi, işin detaylı olarak planlanması, denetimin uygulanması, çalışanlara nezaret edilmesi, Başkanlığa raporlama, denetim raporunun hazırlanmasının yönetimini de kapsayan denetimin temel aşamalarının yürütülüp izlenmesinden sorumludur. Denetim süresince grup şefi ve ekip şefi ayrıca aşağıdaki hususları da güvence altına almak zorundadır: Plana uygun olarak denetimin yürütülmesi, Ayrıntılı denetim programını ve görevin temel unsurlarını kolayca izleyebilecek, iyi refere edilmiş, denetim test ve bulgularını yeterli düzeyde tanımlayan, uygun şekilde arşivlenmiş ve korunmuş olarak denetimin bütün süreçlerinin dokümante edilmesi, Yeterli ve uygun denetim kanıtı toplanması, Uygun yerde, uygun örneklemelerin, analitik prosedürlerin, veri toplama ve analiz tekniklerinin kullanılması, Tüm bulgu, sonuç ve önerileri destekleyen anlamlı, güvenilir ve yeterli denetim kanıtlarını içeren çalışma kâğıtlarının oluşturulması. Keza ekip şefi/grup şefi; ayrıntılı planlama, denetimin icrası, personelin gözetimi, Başkanlığa raporlama ile denetim raporunun hazırlığının gözden geçirilmesi dahil olmak üzere denetimin rutin biçimdeki yönetiminden sorumludur. Bu hususlar aşağıda belirtilmektedir; Denetim planlaması, PERFORMANS DENETİMİ REHBERİ Sayfa | 75 Uzmanlardan yararlanılması, Denetimin icrası, Gözetim, İş seyrinin raporlanması, Denetim programının izlenmesi. 6.2.3. Başkanlıkça Yapılan Gözden Geçirmeler Başkanlık, çalışma tekliflerini değerlendirerek önceliklere uygun olarak konu seçimine karar verme sürecinden başlamak üzere, başlıca tüm süreçlerde denetimi izleme ve yönlendirme araçlarına sahiptir. Ön çalışma raporu doğrultusunda seçilen konuda denetime devam edilip edilmemesine, edilecekse hangi metodoloji ile ne tür çalışmaların ne kadar sürede, hangi kaynaklarla ve nerelerde yürütüleceğini kararlaştırmaktadır. Bu seçimler, yapılacak çalışmaların kalitesi ile doğrudan ilişkilidir. 6.2.4. Diğer Gözden Geçirme Süreçleri Denetim ekibi, denetimin temel aşamalarında denetlenen kurum/kuruluşla birlikte değerlendirme toplantıları yapar. Ayrıca taslak rapor, içerdiği bulgular, sonuçlar ve öneriler hakkında nihai görüşlerini almak üzere denetlenen kurum/kuruluşa gönderilir. Bu aşamada kurum/kuruluşun görüşlerinin alınması, rapora son şekli verilmeden önce varsa yanlışlık ya da eksikliklerinin giderilmesini sağlar. Gerekli görüldüğü durumlarda denetimin temel aşamalarında (Başkanlık içinden veya dışından) önceden belirlenmiş ve denetim ekibinden bağımsız olan kişi veya kişilerin (referans ortağı gibi) görüş ve önerilerine de başvurulabilir. 6.3. Kalite Güvence Süreçleri Kalite güvence sistemleri, Başkanlık bünyesinde gerçekleştirilen işin meslekî gerekliliklerini ve standartlarını karşılamaya yetecek güvenceyle kurum/kuruluşu donatmak üzere tasarlanmış bir organizasyonel yapıdan, politikalardan ve prosedürlerden oluşur. Kalite güvencesi olarak hatırda tutulması gereken noktalar şunlardır: Kalite güvencesi devamlılık arz eden bir süreç olup bir defalık bir prosedür ya da çalışmanın tamamlanmasından sonra gerçekleştirilen bir etkinlik değildir. Kaliteyi özendirmek üzere alınacak önlem, incelemenin en erken aşamasında düşünülmelidir. Çalışma konusunun seçimini, araştırılacak soruları, tasarımı ve metodolojiyi doğrulamak amacıyla önemli aşamalarda alternatif görüşler araştırılmalıdır. Çalışmanın amaçlarına ulaştığını garanti etmek için gözden geçirmenin özellikle istendiği durumlarda, performans incelemesinin kritik noktaları tespit edilmelidir. Taslak rapor üzerinde yapılacak son gözden geçirme, rapor içeriğinin ve sunumunun genel olarak iyileştirilmesine yönelik yapıcı katkılar sağlayabilir. Bu gözden geçirmede, önerilerin uygulanabilir olmasından da emin olunmalıdır. Taslak raporların incelenmesi için yeterli zaman tanınmalıdır. Denetlenen kurum/kuruluşlarca yapılan değerlendirmelerdeki bulgulara olumlu karşılık verilmeli, ifade edilen yorum ve endişeleri anlaşılamadığı takdirde, ek açıklama talep edilmelidir. PERFORMANS DENETİMİ REHBERİ Sayfa | 76 Çalışmanın hangi yönlerinin daha başarılı olduğunun yanı sıra daha az başarılı olan yönlerinin de nedenleri üzerinde durulmalıdır. Bir denetim çalışmasında kaydedilen her aşama izlenmeli, eğer gecikme söz konusuysa gerekçeleri tespit edilmeli ve sonraki denetimlerde neler yapılabileceği değerlendirilmelidir. Geçmişe dönük değerlendirmeler de faydalı olabilir. Kalite güvencesi incelemelerinden edinilen derslerin pratik çalışmalar ve seminerler yoluyla aktarılması sağlanmalıdır. Bütün bunlara ek olarak, pozitif bir yaklaşım benimsenmelidir. Kalite güvence incelemeleri yapıcı olmalı ve deneyimlerden dersler çıkarma fırsatı olarak görülmelidir. Kalite incelemesinin sonuçları, gelecekteki çalışmalar için kalite güvencesinin sürekli kılınması konusunda yararlı bilgiler sağlar. Her denetim çalışması, aslında bu çalışmanın nasıl yapılması gerektiğini ortaya koyan ve bir sonraki çalışmayı destekleyen kesintisiz bir süreç oluşturmalıdır. Başkanlık Uzman Kişiler ^ Denetlenen Kurum/Kuruluş * + + x * * * * * * + + Ön Çalışma Raporu * * * * + x Alan Çalışması Programı * * * + + + Denetim Bulgu, Sonuç ve Önerileri * * * + + + Raporun Anahatları * * * + + x Taslak Rapor * * * * + * Denetimin Temel Aşamaları Ekip Ekip Şefi Grup Şefi Alan ve Konu Araştırması * * Çalışma Teklifi * Ön Çalışma İş Planı Tablo 9: 6: Kalite Kontrolü/Güvencesi İçin Gözden Geçirme Süreci ^ Başkanlık İçinden veya Dışından * uygulanması zorunlu olan süreçler + uygulanması gerekli olan süreçler x yararlı görülmesi durumunda uygulanabilecek süreçler PERFORMANS DENETİMİ REHBERİ Sayfa | 77 6.4. Kalitenin İnşa Edilmesi Kalite, iyi yönetim ve gözetim ile desteklenir. Etkin bir kalite kontrol ve güvence sistemi şu unsurları kapsar; Gerçekleştirilecek çalışmada görevlere en uygun, en doğru beceri ve deneyime sahip denetim elemanını seçmek, İncelemelerin kapsamı ve amacı içindeki rollerini ve görevlerini tam anlamıyla kavramaları için denetim elemanıyla sürekli iletişim halinde bulunmak, Neyin iyi gittiğini, neyin daha az başarılı olduğunu ve bunun nedenlerini, gelişme alanlarını ve bunların nasıl uygulanabileceğini belirlemek için denetim elemanıyla düzenli biçimde görüşmek, İnceleme ve sonuçları etkileyen kararlara nasıl ulaşıldığını göstermeye elverişli ipuçları bulunması için önemli kanıtları ve bunların yorumlarını kayda geçirmek, Problemleri önceden kestirmek ve gerekli önlemlerle ve çözüm yollarıyla erken aşamada yeterli müdahalede bulunmak amacıyla çalışmanın seyrini izlemek, Bütün sonuçların güvenilir ve kâfi miktarda kanıta dayandırıldığından ve bu kanıtlarla desteklendiğinden emin olmak üzere çalışmayı ayrıntılı biçimde ve zamanında gözden geçirmek. 6.5. Kaliteye Özendirme Kalite, eğitim ve yönlendirici ilkeler aracılığıyla ve çok sayıda metotla özendirilebilir. Performans denetimi kursları ve ayrıntılı rehberler aracılığıyla performans denetiminin genel ve teknik meseleleri hakkında denetim elemanına öğretici bilgiler sağlanabilir ve tavsiyelerde bulunulabilir. Bu çerçevede; İyi uygulama örnekleri, yeni teknikler ve uygulamadan çıkarılan dersleri yaymak suretiyle denetim elemanlarını desteklemek için seminerler, pratik çalışmalar ve diğer eğitim etkinlikleri düzenlenebilir, Yönlendirici ilkeler ve çeşitli konulardaki iyi uygulama örnekleri, performans denetiminin farklı süreçleri ya da uygulamaları için hazırlanmış ayrıntılı rehberlerde yer alabilir, Farklı denetim ekipleri ve gruplar arasında neyin daha iyi ve neyin daha az iyi çalıştığı konularında kapsamlı bir bilgi alış verişi sağlanabilir, Yeni teknikler ve metodolojiler hakkında fikir alışverişinde bulunmak amacıyla periyodik olarak kurum dışından uygulayıcı ve uzmanlar davet edilebilir. PERFORMANS DENETİMİ REHBERİ Sayfa | 78 PERFORMANS DENETİMİ REHBERİ Sayfa | 79 YEDİNCİ BÖLÜM SÖZLÜK PERFORMANS DENETİMİ REHBERİ Sayfa | 80 PERFORMANS DENETİMİ REHBERİ Sayfa | 81 7. SÖZLÜK Adalet (Eşitlik): Kamu kaynaklarının kullanımında adil ve tarafsız olmaya ilişkin olup, performans denetiminin unsurlarından birisini oluşturur. Yönetimin hakkaniyete uygun ve yansız davranmasını, ayrım gözetmeksizin hedef grupların çıktılardan/hizmetlerden yararlanması ya da bu çıktılardan/hizmetlerden dolayı üretilen faydaya herkesin ulaşmasını hedefler. Bağımsızlık: Denetim ekibinin herhangi bir dış müdahale ve yönlendirmeye maruz kalmadan görevlerini yerine getirmesi, yetkilerini tarafsız ve objektif bir şekilde kullanarak en doğru ve güvenilir sonuçlara ulaşmasıdır. Çalışma Kâğıtları: Denetim bulgularına, ulaşılan sonuçlara ve geliştirilen önerilere destek teşkil eden ve denetim süreci boyunca elde edilen her türlü bilgi ve belgedir. Denetimin Amacı: Denetim sonucunda neyin başarılmak istendiği ile bağlantılı olarak, denetimin ana sorusuna cevap oluşturacak hususlardır. Denetim Bulguları: Denetim süresince, denetim sonuçlarına ulaşmak için kanıt kaynaklarından toplanan verilerin yorumlanması ve analiz edilmesi sonucu, denetim elemanı tarafından tespit edilen olgulardır. Denetim Kanıtı: Denetim bulgularına, sonuçlarına ve önerilerine temel teşkil eden belgelendirilmiş ve anlamlı bilgidir. Denetim kanıtları yeterli, uygun ve makul olmalıdır. Denetimin Kapsamı: Denetimin konusu ve sınırlarıdır. Denetim Kriterleri: Denetim kriterleri; sistemlerin ve uygulamaların yeterliliğine, yürütülen faaliyetlerin verimlilik, tutumluluk ve etkinliklerinin değerlendirilmesine imkân tanıyan makul, ulaşılabilir ve karşılaştırma yapılabilmesini mümkün kılan performans ve kontrol standartlarıdır. Denetim Önerileri: Denetim amacı ile bağlantılı olarak, denetlenen kurum/kuruluşa performansını nasıl artıracağı konusunda denetim elemanı tarafından önerilen uygulama ve yaklaşımlardır. Denetim Sonuçları: Denetim sırasında elde edilen bulgularla bağlantılı olarak, denetlenen kurum/kuruluş ya da faaliyetin eksiklik ve yetersizliklerinin doğurduğu ya da doğurabileceği etkilerdir. Denetim sonuçları denetim elemanın kanaatini yansıtmakla birlikte, kanıta dayalı, tarafsız, mantıklı ve tutarlı olmalıdır. Etik: Yönetimin, kamu görevlerinin kamu fonlarını dürüst biçimde kullanmalarını güvence altına alacak prosedürler oluşturmuş olması ile kamu görevlilerinin güvenilirliği, göreve bağlılıkları ve başarı için motive edilmiş olmalarının değerlendirilmesini içeren performans denetiminin bir unsurudur. Etkinlik: Maliyetler dikkate alınmadan hedeflerin ne ölçüde başarıldığı ve bir faaliyetin planlanan etkisi ile gerçekleşen etkisi arasındaki ilişkidir. Etkinlik ölçülürken faaliyetin kısa ve uzun dönemli etkilerini ayrı ayrı dikkate almak gerekir. Gerekli Özen: Planlamaya, kanıtların toplanıp değerlendirilmesine, bulgu ve sonuçların kurgulanmasında ve önerilerin geliştirilmesinde gösterilen özen de dahil olmak üzere, yetişmiş bir denetim elemanının denetim görevinin karmaşıklığını dikkate alarak kendisinden uygulaması beklenen özen ve beceridir. PERFORMANS DENETİMİ REHBERİ Sayfa | 82 Gözetim: Denetim süresince yürütülen her tür faaliyetin, izlenen süreçlerin, gerçekleştirilen test ve analizlerin uygun kalitede olmasını sağlamaya ve bunların geliştirilmesine rehberlik etmeye yönelik kontrol ve yönlendirme çalışmalarıdır. Grup şefi ve üstleri tarafından gerçekleştirilen gözetim faaliyeti, aynı zamanda denetimin öngörülen program dahilinde ve tahsis edilen kaynaklarla, tutumlu, verimli ve etkin bir şekilde yürütülmesini güvence altına almayı da hedefler. Kamusal Hesap Verme Sorumluluğu: Kamu kaynaklarının yönetimi ile görevli kişi veya kurum/kuruluşların, bu kaynaklara ilişkin mali, idari ve program sorumlulukları nedeniyle hesap verme durumunda bulunmaları ve sorumluluğu yükleyenlere rapor verme zorunlulukları. İzleme: Denetim raporunun Bakanlığa sunulması ve gerektiğinde kamuoyuna açıklanmasından sonra, denetlenen kurum/kuruluşlar ve farklı kesimler nezdindeki etkilerini değerlendirmek için başlatılan bilgilenme, inceleme ve değerlendirme süreci olup, bazen yeni bir denetim yapılması şeklinde de gerçekleştirilebilir. İzleme, öncelikle denetlenen kurum/kuruluşların denetim raporunda yer alan öneriler doğrultusunda gerekli önlemleri almasını teşvik etmeye yöneliktir. Ancak bu önerilerin uygulama sonuçları (olumlu ve olumsuz yönleriyle) ile, gerek denetlenen kurum/kuruluş ve gerekse diğer tarafların (medya, akademik kuruluşlar, sivil toplum kuruluşları vb.) sergiledikleri yaklaşımların değerlendirilmesi, Başkanlığın sonraki çalışmalarında dikkate alması gereken önemli dersler de sağlayabilir. Kalite Güvencesi: Denetim faaliyetlerini yüksek standartlarda sürdürmek ve nihai çıktılarının kalitesini güvence altına almak amacıyla oluşturulan politika, sistem ve prosedürlerdir. Kalite Kontrolü: Denetimin yürütülmesi ve gözetimi ile sorumlu olanların, denetimin nihai çıktısı olan denetim raporunun kalitesini yükseltmek amacıyla, denetim sürecinin her aşamasında yürüttükleri kontrol ve geliştirme faaliyetleridir. Performans Denetimi: Kurum/kuruluşların ya da bunların belirli faaliyet, program ya da projelerinin verimlilik, etkinlik ve tutumluluk ilkeleri açısından objektif ve sistematik bir incelemesidir. Tutumluluk: Uygun çıktı kalitesini dikkate alarak bir faaliyette kullanılan kaynakların veya bunların maliyetlerinin en aza indirilmesidir. Verimlilik: Bir faaliyet için kullanılan girdiler ile üretilen çıktılar arasındaki ilişkiyi tanımlamak için kullanılmaktadır. Verimlilik üretimde kullanılan girdilerin sabit kalması koşuluyla belirli bir kalitede en fazla mal veya hizmetin üretilmesi ya da belirli bir miktar ve kalitedeki mal ve hizmeti üretmek için en az miktarda girdi kullanılmasıdır. PERFORMANS DENETİMİ REHBERİ Sayfa | 83
