Veri Derleme, Temizleme ve Kalite Kontrolü

Analiz öncesi veri setinin tanımlanması, eksik ve aykırı değerlerin yönetimi, birim uyumu, mevsimsellik, revizyonlar ve otomatik kontrol kuralları.

Veri setinin tanımlanması

Temizleme, veri setinin sınırlarını çizmekle başlar. Hangi ülkeler, hangi ürün grubu, hangi dönem ve hangi değerleme esası analize girecek? Bu sorular yanıtlanmadan yapılan temizlik, rastgele satır silmeye dönüşür.

Sınırlar yazılı olmalıdır. Örneğin "2015-2025 arası, HS 2 haneli, ilk 20 ülke, FOB ihracat" gibi bir tanım, dosyanın başında yer alır. Bu tanım, sonradan eklenen verinin analize uyup uymadığını da gösterir.

Kapsam dışı kayıtlar silinmez; ayrı bir sayfada işaretlenir. Böylece sonradan "bu ülke neden yok" sorusu yanıtlanabilir. Silinen kayıt geri getirilemez, işaretlenen kayıt ise her zaman denetlenebilir.

Eksik ve aykırı değer

Eksik değer, veri setinin en yaygın sorunudur. Eksikliğin türü önemlidir: rastgele mi, sistematik mi? Küçük ülkelerde veri hiç yayımlanmıyorsa eksiklik sistematiktir; bu durumda ortalama ile doldurma yanlış sonuç verir.

Aykırı değer ise gerçek bir olaydan da kaynaklanabilir, kayıt hatasından da. Bir aylık sıçrama, büyük bir tek seferlik sevkiyattan geliyorsa gerçektir ve korunmalıdır. Aynı sıçrama birim hatasından geliyorsa düzeltilmelidir.

Karar için kaynağa dönülür: beyanname, haber, firma açıklaması. Aykırı değer açıklanamıyorsa analizden çıkarılmaz; duyarlılık analiziyle etkisi gösterilir. Böylece sonuç, tek bir gözleme bağlı kalmaz.

Birim ve tanım uyumu

Farklı kaynaklardan gelen seriler farklı birimlerde olabilir: ton, kilogram, bin dolar, milyon avro. Birleştirmeden önce hepsi ortak birime çevrilir. Bu adım atlanırsa ortaya çıkan toplam anlamsız olur.

Tanım uyumu da gereklidir. Bir kaynak "demir-çelik" başlığı altında fasıl 72'yi, diğeri 72 ve 73'ü birlikte alıyor olabilir. Ürün kodları eşleştirilmeden yapılan karşılaştırma, elma ile armudu toplar.

Para birimi çevriminde kur rejimi belirtilmelidir: dönem ortalaması mı, dönem sonu mu, sabit kur mu? Kur seçimi, özellikle yüksek enflasyon dönemlerinde sonucu büyük ölçüde değiştirir.

Mevsimsellik ve takvim etkisi

Aylık dış ticaret verisi mevsimseldir. Tatiller, bayramlar ve yıl sonu sevkiyatları belirli aylarda yoğunlaşma yaratır. Bu etki giderilmeden yapılan ay-ay karşılaştırma yanıltıcıdır.

Takvim etkisi ayrı bir başlıktır: bir ayın iş günü sayısı değiştiğinde üretim ve sevkiyat da değişir. Şubat'ın 28 gün olması, ocak ile şubat arasındaki farkın bir kısmını açıklar.

Çözüm, mevsimsellikten arındırılmış seri kullanmak veya aynı ayı önceki yılın aynı ayıyla karşılaştırmaktır. Her iki yöntem de not edilmelidir; çünkü ikisi farklı sorulara yanıt verir.

Revizyonlar ve veri sürümü

Resmî istatistikler yayımlandıktan sonra revize edilir. Geç beyan, düzeltme veya yöntem değişikliği seriyi değiştirir. Bu nedenle analizde kullanılan sürüm sabitlenmelidir.

Revizyon, eski sonucu geçersiz kılar. Bir raporun iki farklı tarihte farklı sayı vermesi hata değildir; revizyonun sonucudur. Ancak bu durum, okuyucuya açıklanmadığında güven kaybı yaratır.

İyi uygulama, ham veriyi tarih damgasıyla arşivlemektir. Böylece "hangi tarihte hangi veriyle çalıştık" sorusu yanıtlanabilir. Yeniden üretilebilirlik, revizyon yönetiminin temelidir.

Otomatik kontrol kuralları

Temizlik, gözle değil kuralla yapılmalıdır. Basit kurallar büyük hataları yakalar: negatif değer olmamalı, miktar sıfır ise değer de sıfır olmalı, toplam alt kalemlerin toplamına eşit olmalı, ülke kodu geçerli olmalı.

Bu kurallar bir betiğe yazıldığında her yeni veri aynı denetimden geçer. Kural ihlalleri raporlanır; hangi satırın neden şüpheli olduğu görünür. Elle kontrol, veri büyüdükçe sürdürülemez.

Kuralların kendisi de gözden geçirilmelidir. Çok sıkı kural gerçek veriyi eler; çok gevşek kural hatayı kaçırır. Kural seti, geçmiş hatalardan öğrenilerek güncellenir.

Yeniden üretilebilirlik

Temizleme adımları belgelenmezse analiz kişiye bağlı kalır. Aynı veri, başka bir analist tarafından farklı biçimde temizlenir ve sonuç değişir. Bu nedenle her adım yazılmalı veya betikleştirilmelidir.

Belge üç soruyu yanıtlamalıdır: ne yapıldı, neden yapıldı, kaç kayıt etkilendi. Örneğin "12 aykırı değer, kaynakla doğrulandıktan sonra korundu" gibi bir not, sonraki analiste yeterli bilgiyi verir.

Sonuç dosyası ile temizleme günlüğü birlikte saklanır. Böylece bir hata bulunduğunda yalnız ilgili adım düzeltilir; tüm analiz baştan kurulmaz.

Veri sözlüğü ve kaynak notu

Temizlemenin kalıcı çıktısı, veri sözlüğüdür. Sözlük her sütun için ad, tanım, birim, kaynak, dönem ve olası değerleri listeler. Yeni bir analist, sözlüğü okuyarak veriyi yeniden çözebilir.

Sözlük, tanım tartışmalarını da bitirir. "İhracat" sütununun FOB mu, serbest bölgeler dâhil mi, hangi para biriminde olduğu yazılıysa, aynı terim farklı kişilerce farklı anlaşılmaz.

Kaynak notu, sözlüğün tamamlayıcısıdır: veri seti kodu, erişim tarihi, sürüm ve lisans. Bu not olmadan analiz, altı ay sonra aynı biçimde yeniden üretilemez.

Bu notlar hukuki danışmanlık değildir; güncel mevzuatı resmî kaynaktan kontrol edin.