Modul: CTT Scoring

Source: backend/app/services/ctt_scoring.py Lihat juga: Variabel & Rumus, Alur CTT

Tanggung Jawab

Implementasi Classical Test Theory scoring, kompatibel 100% dengan workflow Excel klien. Mencakup:

• Perhitungan p, Bobot, NM, NN
• Kategorisasi tingkat kesulitan
• Update statistik tryout (inkremental)
• Konversi silang CTT ↔ IRT

Rumus Inti

Setiap fungsi di module ini mengikuti rumus dari Excel klien secara eksak:

# Step 1: Tingkat Kesukaran
p = Σ Benar / Total Peserta            # calculate_ctt_p()

# Step 2: Bobot (weight)
Bobot = 1 - p                          # calculate_ctt_bobot()

# Step 3: Nilai Mentah
NM = (Total_Bobot_Siswa / Total_Bobot_Max) × 1000   # calculate_ctt_nm()

# Step 4: Nilai Nasional (normalized)
NN = 500 + 100 × ((NM - Rataan) / SB)  # calculate_ctt_nn()

Fungsi Publik

Fungsi Pure (matematika)

Fungsi Async (database)

Kategori Kesulitan

Standar CTT (dari PRD section 13.2):

def categorize_difficulty(p_value: float) -> str:
    if p_value < 0.30:
        return "sulit"
    elif p_value > 0.70:
        return "mudah"
    else:
        return "sedang"

Validasi terhadap Excel Klien

Acceptance criteria wajib (PRD FR-1.1):

• Hasil p-value harus match Excel klien sampai 4 desimal
• Bobot = 1 - p (persis)
• NM setara SUMPRODUCT Excel
• NN di-clip ke [0, 1000]

Validasi dilakukan dengan test yang membandingkan output fungsi Python vs hasil formula Excel pada dataset contoh.

Update Statistik Inkremental

Fungsi update_tryout_stats memperbarui tabel TryoutStats tanpa recompute penuh:

# Saat peserta baru selesai sesi (NM terhitung):
stats.participant_count += 1
stats.total_nm_sum += nm
stats.total_nm_sq_sum += nm * nm
stats.min_nm = min(stats.min_nm, nm)
stats.max_nm = max(stats.max_nm, nm)

# Rataan & SB dihitung dari running sums:
n = stats.participant_count
mean = stats.total_nm_sum / n
variance = (stats.total_nm_sq_sum / n) - (mean ** 2)
sb = sqrt(max(0, variance))   # clamp anti floating-point negatif

Kenapa inkremental? Saat peserta mencapai ribuan, recompute SELECT * FROM user_answers jadi lambat. Dengan running sums, update adalah O(1).

Konversi CTT ↔ IRT

Ketika IRT belum terkalibrasi, kita bisa estimasi awal b dari p:

def convert_ctt_p_to_irt_b(p_value: float) -> float:
    # Approximation: b ≈ -ln((1-p)/p)
    # Memetakan p ∈ (0, 1) → b ∈ (-∞, +∞), di-clip ke [-3, +3]
    b = -math.log((1 - p_value) / p_value)
    return max(-3.0, min(3.0, b))

Sebaliknya, theta IRT bisa dipetakan ke skala NN:

def map_theta_to_nn(theta: float) -> int:
    # θ ∈ [-3, +3] → NN ∈ [0, 1000]
    return round(500 + (theta / 3) * 500)

Edge Cases

Dependency

• math (log, sqrt)
• sqlalchemy async session
• Model: TryoutStats, Item, UserAnswer

Bacaan Lanjutan

• Konsep → Variabel & Rumus — definisi p, Bobot, NM, NN
• Konsep → Alur CTT — diagram alur
• Modul → Normalization — detail statistik Rataan & SB
• Modul → IRT Calibration — modul pasangan untuk skor IRT