+ Ölçme ve Değerlendirme Yrd.Doç.Dr. Kerem KILIÇER + Davranışların Ölçülmesi Öğretmenler her zaman belli bir amaç için öğretim yaparlar ve verdikleri öğretimin sonunda öğrencilerinin neyi, hangi düzeyde öğrendiklerini bilmek isterler. Bu nedenle öğretim sürecinde planlı bir biçimde sürekli hedeflere dayalı öğretim yapılmaktadır. Öğretim sürecinde hedefler, özelliklerine göre genel hedefler ve özel hedefler olmak üzere iki başlık altında incelenmektedir. + Davranışların Ölçülmesi Genel hedefler, daha geniş kapsamlı çok genel ve karmaşık öğrenci kazanımlarını içermektedir. Bilgiyi uygun ve çeşitli biçimlerde (harita, grafik, tablo, diyagram, zaman şeridi vb.) kullanır. Özel hedefler ise, öğretmenlerin derslerinde öğretimi planlarken yararlandıkları daha özel ve ayrıntılı hedeflerdir. İlk uygarlıkların bilimsel ve teknolojik gelişmelere katkılarına örnek verir. + Davranışların Ölçülmesi Eğitim sürecinde yapılan ölçmeler, daha çok okullardaki öğrenme süreçleri veya ürünleriyle ilgilidir. Okullardaki öğretim süreç ve ürünleri genellikle öğretim hedefi/kazanım/davranış olarak isimlendirilmektedir. Gerçekleştirilen öğretim süreçleri bu öğretim hedeflerine yöneliktir ve ölçme işlemi bu hedeflerin ne düzeyde kazandırıldığıyla ilgilidir. Eğitimde genel kabul görmüş hedeflerin/davranışların sınıflandırılması Bloom ve arkadaşları tarafından yapılan taksonomidir/sınıflandırmadır. + Bloom Taksonomisi 1956 yılında yapılan bu sınıflama üç alana, her alan da kendi içerisinde aşamalı olarak basitten karmaşığa doğru sıralanan basamaklara ayrılmaktadır. Bu ana alanlar şunlardır; A- BİLİŞSEL ALAN B- DUYUŞSAL ALAN C- PSİKOMOTOR (DEVİNİMSEL) ALAN + Bloom Taksonomisi Bilişsel Alan Değerlendirme Sentez Analiz Uygulama Kavrama Bilgi + Bloom Taksonomisi Bilişsel Alan Öğretmenler tarafından en çok kazandırılmaya ve değerlendirilmeye çalışılan hedefler bilişsel alan hedefleridir. Genel olarak bilişsel alan hedeflerinde bilginin anımsanması, okuduğunu anlama, yorumlama, uygulama, karşılaşın problemleri çözme, akıl yürütme, çıkarımda bulunma, çözümleme yapabilme, kritik düşünme gibi zihinsel süreçleri işe koşmayı gerektiren etkinliklerin baskın olduğu söylenebilir. Yapılan sınavların büyük bir bölümünde bilişsel alandaki öğrenmeler ölçülmektedir. + Bloom Taksonomisi Bilişsel Alan (Bilgi) En alt düzeyde yer alan bilgi basamağı, görünce tanıma veya sorunca söyleme davranışlarını içermektedir. Bilgi basamağında; kavram, olgu, sembol, sınıflama, kuram, araç ölçüt, teknik, ilke ve genellemelerin bilgisinin, ders esnasında öğretmenden veya ders kitabından alındığı gibi hatırlanması beklenmektedir. Bu alandaki davranışlar ölçülürken öğrencilerin bilgiyi olduğu gibi yansıtması beklenmektedir. Çoktan seçmeli, doğru-yanlış, eşleştirme, kısa yanıtlı, açık uçlu sınavlarda bu düzeye ait sorular sorulabilir. + Bloom Taksonomisi Bilişsel Alan (Bilgi) Kazanım Örnekleri; Çanakkale Savaşı’nın gerçekleştiği tarih aralığını bilir Karadeniz bölgesinin doğal kaynaklarını listeler. Solunum sistemini oluşturan yapı ve organların görevlerini yazar Bilişsel alandaki davranış basamaklarını sayar + Bloom Taksonomisi Bilişsel Alan (Bilgi) Örnek Soru: Ölçme sonuçlarının tesadüfi hatalardan arınırlık derecesi hangi kavramla açıklanır? A. Geçerlik B. Güvenirlik C. Kullanışlık D. Genellik E. Uygunluk + Bloom Taksonomisi Bilişsel Alan (Bilgi) Örnek Soru: Aşağıdakilerden hangisi Kuder ve Richardson’un bulduğu güvenirlik katsayılarından biridir? A. Kararlılık katsayısı B. Eşdeğerlik katsayısı C. İç tutarlık katsayısı D. Duyarlık katsayısı E. Uygunluk katsayısı + Bloom Taksonomisi Bilişsel Alan (Bilgi) Örnek Soru: “Ölçülecek özelliğin bir başka değişkenin herhangi bir niteliğinden faydalanarak sayı ya da sembollerle ifade edilmesi” durumunda hangi tür ölçme söz konusudur? A. Temel B. Doğrudan C. Dolaysız D. Türetilmiş E. Dolaylı + Bloom Taksonomisi Bilişsel Alan (Kavrama) Kavrama basamağında öğrenciden beklenen kazanım ezberleme veya hatırlama davranışı ile sınırlı değildir. Bunların üstünde kendisine sunulan bilgiyi anlamış, içselleştirmiş ve kendi cümleleriyle ifade edebilir hale gelmesidir. Bu basamakta öğrencilerden konuyu veya olayı açıklayabilmeleri, bilgiyi kendilerine özgü biçimde ifade etmeleri, kavramların birbirinden farkını anlayabilmeleri beklenmektedir. + Bloom Taksonomisi Bilişsel Alan (Kavrama) Kazanım Örnekleri; Grafikte verilenleri kendi cümleleriyle açıklayıp yazar. Metinde anlatılanları kendi cümleleriyle özetler. Çevre sorularına yaşadığı bölgeden örnek verir. Verilen sıralar. örnek bir durumda erozyonun aşamalarını + Bloom Taksonomisi Bilişsel Alan (Kavrama) Örnek Soru: Aşağıda verilen özelliklerin hangisi ölçme sonucunda elde edilen puanların güvenirliğiyle ilgili değildir? A. Ölçmelerin hatasızlığı B. Puanların hatalardan arınıklığı C. Puanların gerçek puana yakınlığı D. Aracın bireyleri yansıtma gücü E. Soruların amaca uygunluğu + Bloom Taksonomisi Bilişsel Alan (Kavrama) Örnek Soru: Bir öğretmen öğrencilerin teslim etmiş olduğu ödevleri üç hafta arayla iki kez puanlamış ve iki puanlama arasındaki korelasyonu hesaplamıştır. Öğretmenin ödevlere verdiği iki puan dizisi arasındaki korelasyonu hesaplamasının gerekçesi aşağıdakilerden hangisi olabilir? A. Soruların nasıl işlediğini belirlemek B. Öğrencilerin düştüğü hataları saptamak C. Soruların geçerli olup olmadığına karar vermek D. Güvenilir puanlar verip vermediğini görmek E. Öğrencilerin kopya çekip çekmediğini saptamak + Bloom Taksonomisi Bilişsel Alan (Uygulama) Uygulama basamağı, bilgi ve kavrama basamağından elde edilen yeterliklerin yeni bir problemle karşılaşıldığında bu problemin çözümünde işe koşulmasıdır. Bu basamakta öğrenci, edindiği bilgiyi kavramış ve yeni durumlara uygulayabilir düzeye gelmiştir. Ayrıca öğrenci daha önce karşılaştıklarına benzer veya hiç karşılaşmadığı yeni bir problemi çözebilir. NOT: Sınıfta daha önce çözülen bir soruyu sınavda tekrar soran bir öğretmen sadece bilgi basamağında öğrenme davranışı yoklamış olmaktadır. + Bloom Taksonomisi Bilişsel Alan (Uygulama) Kazanım Örnekleri; İki bilinmeyenli denklemlerle ilgili yeni bir problemi çözebilir. Harita üzerinde bir şehirden başka bir şehre gitmek için kullanılabilecek yolları gösterir Verilen yeni bir metinde noktalama işaretlerini işlevlerine uygun olarak yerleştirir. + Bloom Taksonomisi Bilişsel Alan (Uygulama) Örnek Soru: Güvenirlik katsayısı 0,90, standart sapması 2 olan bir ölçmenin standart hatası kaçtır? A. 1,41 B. 2,83 C. 4,18 D. 3,16 E. 0,63 Se Sx 1 rx + Bloom Taksonomisi Bilişsel Alan (Analiz) Analiz basamağında bir bütünün öğelerini, bu öğeler arasındaki ilişkileri, bütünün oluşturulma yollarını belirlemede kullanılana zihinsel beceriler ön plana çıkmaktadır. Bu basamakta öğrenme davranışı sergileyen bir öğrenci bir bütünü oluşturan öğeleri, öğeler arasındaki ilişkileri, temel ilkeleri, varsayımları bulabilir veya parçalardan bütün oluşturabilir. + Bloom Taksonomisi Bilişsel Alan (Analiz) Kazanım Örnekleri; Verilen bir metnin ana fikrini bulma Verilen bir cümleyi öğelerine ayırabilme Verilen örnekteki bir devletin yönetim uygulamalarından yola çıkarak yönetim biçimini bulabilme Verilen bir besin zincirindeki eksik unsuru bulabilme + Bloom Taksonomisi Bilişsel Alan (Analiz) Örnek Soru: Aşağıda verilen işlemlerin hangisinde değerlendirmenin öğeleri bir arada bulunmaktadır? A. Ali yazılı sınavında 5 sorunun 3’ünü yaparak 60 aldı B. Baha yılsonu ortalaması düşük olduğundan sınıfta kaldı C. Ceylan sınavda yaptığı her bir sorudan 10’ar puan aldı D. En az 65 alması gereken Bilge 70 alarak sınıfı geçti E. Öğrencilerin yarısından çoğu sınıf geçemedi + Bloom Taksonomisi Bilişsel Alan (Analiz) Örnek Soru: Bir tarih öğretmeni 1. üniteyi bitirdikten sonra bu üniteyle kazandırmaya çalıştığı tüm kazanımları birer soruyla yoklayacağı bir test geliştirmiştir. Bu testi öğrencilerine uygulamış ve yanıt kağıtlarına herhangi bir puan vermeksizin öğrencilerin sadece hangi soruları yanıtlayamadığını kontrol etmiştir. Bu öğretmenin uyguladığı testin amacı aşağıdakilerden hangisi olabilir? A. Öğrencilerin üniteyle kazandırılması amaçlanan davranışlardan ne kadarının kazanıldığının saptanması B. Öğrencilerin birbirine göre durumlarını saptayarak ileri öğrencilerin ödüllendirilmesi C. Her bir öğrencinin öğrenme eksikleri veya yanlışlarının belirlenmesi D. Öğrencilere uygulanan testteki soruların geçerlik ve güvenirlik değerlerinin hesaplanması E. Testin sorularının bir biriyle ilişkilerinin ortaya çıkarılarak ilişkisiz soruların testten atılması + Bloom Taksonomisi Bilişsel Alan (Sentez) Sentez basamağı öğrencilerin yaratıcılık becerilerini göstererek yeni ve özgün bir ürün oluşturacakları davranışları kapsamaktadır. Bu basamakta davranış sergileyen bir öğrenci belli bir amaca hizmet edecek parçaları bir araya getirerek, yepyeni bir ürün ortaya koymaktadır. Sanatçıların eserleri, öğrencilerin kompozisyonları, sairlerin şiirleri, yazarların kitapları birer sentez ürünüdür. Bu basamaktaki bilişsel beceriler, proje çalışmaları, uzun yazılı sınavlar veya performans ödevleriyle ölçülebilir. + Bloom Taksonomisi Bilişsel Alan (Sentez) Kazanım Örnekleri; Verilenlerden yola çıkarak bir matematik problemi oluşturur Verilen test planına uygun bir test geliştirir Doğal kaynakların bilinçsizce tüketilmesinin insan yaşamına etkisini tartışan bir kompozisyon yazar. + Bloom Taksonomisi Bilişsel Alan (Sentez) Örnek Soru: MEB 2. sınıf Türkçe dersi programını inceleyerek, kazanımlarla ilgili belirtke tablosunu oluşturunuz. Örnek Soru: Ölçme kuramlarının avantaj ve dezavantajlarını göz önünde bulundurarak, yeni bir kuramda bulunması gereken niteliklerin neler olması gerektiğini belirleyen bir çalışma hazırlayınız. + Bloom Taksonomisi Bilişsel Alan (Değerlendirme) En üst düzeydeki bilişsel beceriyi kapsayan değerlendirme basamağında, verilen veya geliştirilen ölçütlerle ürünler, düşünceler, kuramlar, yöntemler, teknikler vs. hem nicelikse hem de niteliksel özellikleri bakımından karşılaştırılarak bir yargıya varılmaktadır. Bu düzey davranışların ölçülmesinde öğrencilerden bir ürünü belli bir ölçütlere göre değerlendirmesi, değer yargısı geliştirmesi ve yine o ürün için değer biçmesi beklenmektedir. + Bloom Taksonomisi Bilişsel Alan (Değerlendirme) Kazanım Örnekleri; Bir ölçme aracını geçerlik ve güvenirlik ölçütlerine göre değerlendirir Bir araştırma raporunu konu özgünlüğü, raporlama ilkelerine uygunluk bakımından değerlendirir. Arkadaşının yazmış olduğu 23 Nisan ile ilgili bir kompozisyonu verilen ölçütlere (fikirleri organize etme, noktalama işaretlerini doğru kullanma, dil ve anlatım özellikleri ) göre değerlendirir. + Bloom Taksonomisi Duyuşsal Alan Bir Değerle Niteleme Örgütleme Değer Verme Tepkide Bulunma Alma + Bloom Taksonomisi Duyuşsal Alan Duyuşsal alan genel olarak; ilgi, tutum, motivasyon, akademik benlik, saygı, sevgi, hoşlanma, özgüven, değer verme, hoşgörü gibi duygusal eğilimlerle yakından ilişkili olan davranışlardan oluşmaktadır. Bireyde çok küçük yaşlarda ortaya çıkan duyuşsal alan davranışları bilişsel ve psiko-motor alandaki davranışların kazanılmasını kolaylaştırmakta ve bireyin gelecekte neler yapıp neler yapamayacağı tahmin edilebilmektedir. Tutum ölçeği, ilgi envanteri, değerlendirme ölçeği gibi ölçme araçları duyuşsal alan davranışlarını ölçmektedir. + Bloom Taksonomisi Duyuşsal Alan Kazanım Örnekleri (Türk Milli Eğitiminin Genel Hedefleri); Türk milletinin milli, ahlaki, insani, manevi ve kültürel değerini benimseme, koruma ve geliştirme Ailesini, vatanını, milletini sevme ve daima yüceltmeye çalışma Ahlak, ruh ve duygu bakımından dengeli ve sağlıklı şekilde gelişmiş kişilik ve karakter özelliklerine sahip olma İnsan haklarına saygı duyma + Bloom Taksonomisi Duyuşsal Alan (Alma) Duyuşsal alanın en alt düzeyinde yer alan alma basamağı; uyarıcıları fark etme, almaya/keşfetmeye açık olma ve kontrollü ve seçici dikkat gösterme davranışlarını kapsamaktadır. Bu düzeyde davranış sergileyen bir öğrenciden en azından birkaç uyarıcının farkında olması beklenmektedir. Bu durum gerçekleşirse uyarıcıyı dinleme ve etkinliğe katılmaya istekli olma davranışı gelmekte ve öğrenci uyarıcının bulunacağı diğer etkinlere katılmaktadır. + Bloom Taksonomisi Duyuşsal Alan (Tepkide Bulunma) Duyuşsal alanın ikinci basamağı olan tepkide bulunma; farkına varılan uyarıcılara karşı uygun tepkilerin gösterildiği basamaktır. Bu düzeyde davranış sergileyen bir öğrenci sınıf etkinliklerinde pasif olmaktan daha çok aktif rol almayı tercih etmektedir. Sunulan birkaç seçenek arasından kendi istediği etkinlikleri seçmekte ve o etkinliklere dahil olmaktadır. İçinde bulunduğu durumdan keyif alır ve eğelenir. + Bloom Taksonomisi Duyuşsal Alan (Değer Verme) Değer verme, bir inanç ya da tutum geliştirmenin başladığı basamaktır. Bu aşamada öğrenciler derse, öğretmene, konuya vb. değer vermekte ve değer verdiği şeye karşı bağlılık göstermektedir. Böylelikle değer verdiği şeye ilişkin inanç, fikir veya tutum geliştirmeye başlar + Bloom Taksonomisi Duyuşsal Alan (Örgütleme) Bu aşamada öğrenci fikirleri ilişkilendirir ve bir değerler sistemi içinde organize eder. Farklı değerleri birbirleriyle karşılaştırarak benzer ve farklı yönlerini ortaya çıkarır, değerler arasında ilişki kurar ve böylelikle bir değerler sistemi oluşturur. Bunun için farklı değerler birbirleriyle kıyaslanır benzerlik ve farklılıklar belirlenir, çatışmalar çözülür ve değerler sistemi oluşturacak birleştirmelere başlanır. + Bloom Taksonomisi Duyuşsal Alan (Bir Değerle Niteleme) Duyuşsal alanın en üt basamağı olan bu aşama; inanç ve ideallerin dünya görüşüne dönüşme aşamasıdır. Birey bu aşamada oluşturmuş olduğu dünya görüşüne, değerler sistemine bağlı olarak yaşamını sürdürür. Duyuşsal alanla ilgili davranışları ölçmek zor olsa da çeşitli araçlardan ve soru tiplerinden faydalanmak mümkündür. Bloom Taksonomisi Duyuşsal Alan 1- Öğretmen yetiştirme programında ölçme ve değerlendirme dersi almak zaman kaybıdır. 2- Ölçme ve değerlendirme dersi öğretmen olacaklar için yararlı bir derstir. 3- Elimde olsa, ölçme ve değerlendirme dersi almam 4- Yeni ölçme ve değerlendirme dersleri almaktan hoşlanırım. Kesinlikle Katılıyorum Katılıyorum Kısmen Katılıyorum Tutum İfadeleri Katılmıyorum Ölçme ve Değerlendirme Dersine Yönelik Tutum Ölçeği Kesinlikle Katılmıyorum + + Bloom Taksonomisi Psiko-motor Alan Yaratma Uyum Beceriye dönüştürme Mekanikleşme Kılavuzla Yapma Kurulma Algılama + Bloom Taksonomisi Psiko-motor Alan Psikomotor alan genel olarak bir organ tarafından yapılan veya vücut organlarının koordinasyonu ile gerçekleşen davranışları kapsamaktadır. Bu alanda kas-kemik ve zihin koordinasyonuyla ilgili beceriler baskındır. Psikomotor alandaki davranışlar doğrudan gözlem yapmaya elverişli olması nedeniyle gözlem formu, dereceleme ölçeği, kontrol listesi ya da puanlama yönergesi gibi ölçme araçları ile ölçülebilir. + Bloom Taksonomisi Psiko-motor Alan (Algılama) Psikomotor alanın en alt basamağında yer alan algılama basamağı, çevrenin duyular yardımıyla farkına varılması becerilerini kapsamaktadır. Tepkiler ancak uyarıcıların farkına varılmasından sonra oluşacağından psikomotor davranışların temelinde algılama vardır. Örnek Kazanımlar 1. Beden eğitimi dersinde yapılan vücut hareketlerini gözleyebilme 2. Müziği dans biçimine bağlama yeteneği 3. Çalışmakta olan bir makinenin sesinden, çalışma güçlüklerini tanıma + Bloom Taksonomisi Psiko-motor Alan (Kurulma) Bu basamak psikomotor bir davranışı gerçekleştirmek üzere hazırlanılması aşamasıdır. Zihinsel, bedensel ve duygusal olarak üç düzeyde kurulma gerçekleştirebilmektedir. Örnek Kazanımlar 1. Penaltı atışında kalecinin uygun pozisyona geçmesi 2. Araba kullanmak için uygun biçimde koltuğa oturma 3. Daktiloda yazı yazmak için büyük bir istek oluşturma 4. Kara kalemle bir resim yapmaya karşı olumlu bir duygu oluşturma + Bloom Taksonomisi Psiko-motor Alan (Kılavuzluk Yapma) Bu basamak belirli yönergeleri takip ederek veya bir uzmanın taklit edilerek psikomotor davranışların gerçekleştirilmesidir. Taklit etme, deneme- yanılma, yardımlı-yardımsız yapabilme, gösterme, söküp birleştirme, değiştirme, vurma, yazma, örme gibi süreçlerden oluşmaktadır. Örnek Kazanımlar 1. Bilgisayarla, öğretmen denetiminde bir konu ile ilgili sunu hazırlama. 2. Öğretmen denetiminde öğrencilerin portre çalışması yapması. 3. Bir dansın adımlarını usta sanatçıya bakarak yapmaya çalışma. + Bloom Taksonomisi Psiko-motor Alan (Mekanizma/Alışkanlık) Bu basamak psikomotor davranışların tekrar edile edile vücudun alıştığı davranışlara dönüşmesi aşamasıdır. Örnek Kazanımlar 1. Düzgün ve okunaklı bir yazı yazma becerisi gösterme 2. Pasta yapımında kullanılan malzemeleri uygun biçimde karıştırabilme + Bloom Taksonomisi Psiko-motor Alan (Beceri Haline Gelme) Bu basamak psikomotor davranışların artık mekanik bir beceri haline geldiği ve davranışların rahat ve başarılı bir şekilde tamamlandığı aşamadır. Belirli bir işi, kural ve standartlarına uygun yapabilme, inşa etme, ayırma, tamir etme, taslak oluşturma, başkasından yardım almadan icat etme, hareketli gösterme, mekanik olarak icat etme, otomatik sergileme gibi süreçlerden oluşur Örnek Kazanımlar: 1. On parmakla daktiloda yardımsız yazı yazabilme. 2. Dans figürünü, usta eğitici olmadan kendi kendine sergileyebilme + Bloom Taksonomisi Psiko-motor Alan (Uyum) Uyum basamağı psikomotor davranışlarda değişiklik yapma gerektiğinde bu değişikliğe bedensel, zihinsel ve duyuşsal olarak hazır olmasıdır. Kazanılan hareketi başka durumlara uyarlama, yeniden düzenleme, başkalaştırma ve kontrol etme gibi süreçlerden oluşur. Örnek Kazanımlar: 1. Basketbol oyununda kazandığı becerileri, hentbol oynarken rahatça kullanabilme 2. Bir müzik aletini çalmak için kazandığı becerilerle, diğer müzik aletlerini çalabilme + Bloom Taksonomisi Psiko-motor Alan (Yaratma) Bu aşamada özgün bir psikomotor davranış üretmenin gözlemlenmesi beklenmektedir. Yeni bir duruma uyum sağlamak, bir problemi çözmek için yeni bir hareket biçimi geliştirmek, yeni bir dans figürü ortaya çıkarmak, orijinal davranışlar sergilemek, şekil vermek vb. süreçlerden oluşur. Örnek Kazanımlar: 1. Yeni bir topa vuruş tekniği geliştirme. 2. Yeni bir araba sürme biçimi geliştirme 3. Farklı biçimde bir masa yapabilme + Bloom Taksonomisi Psiko-motor Alan Kontrol Listesi Gözlenecek Davranış 1- Engele geldiğinde doğru pozisyon aldı mı? 2- Serbest ayağı ileri uzattı mı? 3- Serbest ayağını iyice büktü mü? 4- Sıçrama ayağını hareket kesilmeden ileri aldı mı? 5- Sıçrama ayağını engele paralel hale getirdi mi? TOPLAM Evet Hayır + Bloom Taksonomisi Psiko-motor Alan Dereceleme Ölçeği 0: Hiç Gözlenmedi 1: Çok seyrek gözlendi 3: Sık sık gözlendi 4: Her zaman gözlendi Gözlenecek Davranış 1- Elleri sol el sağ elin üstüne gelecek biçimde yerleştirme 2- Bacakları omuz genişliğinde açma 3- Bacakları dizlerden bükme 4- Kolları dirsekten bükme 5- Bir ayağın diğerinden ileride olması TOPLAM 2: Bazen gözlendi 0 1 2 4 5 + Bloom Taksonomisi Psiko-motor Alan Puanlama Yönergesi Gözlenecek Davranışlar Puan A. Başlama Evresi (30 Puan) A1 Selamlama 3 A2 Jimnastik koşusu ile geliş 5 A3 Sıçrama 9 A4 Kolları omuz genişliğinde mindere koyma 13 B. Takla Evresi (40 Puan) B1 Çeneyi göğse değdirme TOPLAM 10 K. puan + KPSS-2013 + KPSS-2012
