Cara Menguji Kode Buatan AI: Praktik Terbaik

Tool generatif telah menjadikan menulis kode sebagai bagian yang mudah. Seorang agen bisa menghasilkan fitur yang berfungsi dalam hitungan menit, dan kecepatan itulah yang membuat pertanyaan pengujian menjadi mendesak: hambatannya telah berpindah dari mengetik kode ke memercayainya. Demonya berjalan, tetapi apakah ia bertahan?

Jawaban jujurnya adalah kode buatan AI perlu pengawasan lebih ketat daripada kode tulisan tangan, bukan lebih longgar, karena ia datang dengan percaya diri yang tak beralasan dan tanpa penulis yang memahami setiap baris. Panduan ini memaparkan strategi pengujian berlapis untuk merilisnya dengan aman, dan pola pikir yang membuat strategi itu bertahan.

Mengapa kode AI perlu pengujian lebih keras

Addy Osmani menyebutnya masalah 70 persen: AI membawa Anda sebagian besar jalan menuju sebuah fitur dengan sangat cepat, lalu 30 persen terakhir, yaitu edge case, error handling, dan integrasi, berubah menjadi perjuangan berat yang tersembunyi oleh kecepatan bagian pertama.

Ada paradoks pengetahuan di atasnya. Developer yang paling diuntungkan oleh kode AI adalah yang cukup berpengalaman untuk menangkap kesalahannya, sementara yang paling tidak berpengalaman adalah yang paling tidak siap mengujinya. Itu membentuk cara Anda seharusnya menguji:

• Jangan menyamakan berjalan dengan benar. Sebuah demo yang lolos menjalankan satu jalur yang dicoba penulisnya, bukan input yang benar-benar akan dikirim pengguna.
• Asumsikan percaya diri yang tak beralasan. Kodenya terbaca seolah seseorang memikirkannya matang, tetapi tidak ada manusia yang memvalidasi asumsi yang tertanam di dalamnya.
• Belanjakan anggaran review Anda di tempat AI lemah, pada 30 persen terakhir, alih-alih membaca ulang boilerplate yang sudah ditanganinya dengan baik.

Pendekatan pengujian berlapis

Tidak ada satu pengecekan pun yang menangkap segalanya, jadi tumpuk mereka. Test unit mematok perilaku, test integrasi menangkap sambungan, dan tooling statis menangkap kecerobohan yang terlewat test. Tujuannya adalah banyak sinyal murah dan cepat alih-alih satu suite yang berat.

Rangkai lapisan-lapisan itu ke dalam satu perintah yang dijalankan agen dan CI Anda, sehingga tak seorang pun bisa melewatkan sebuah langkah. Sebuah gerbang minimal terlihat seperti ini:

# Green tests are necessary, not sufficient
npm test -- --coverage    # behavior, plus what is left uncovered
npx tsc --noEmit          # types the model may have loosened
npm run lint              # dead code, unused vars, unsafe casts
npm run build             # it compiles in a production build

Di mana kode AI paling sering rusak

Arahkan test Anda ke kategori dengan rekam jejak terburuk. Menurut analisis Skyramp atas kode buatan AI, tingkat cacatnya berkumpul di beberapa tempat yang bisa diperkirakan.

• Error handling, kira-kira 3,4 kali lebih rawan cacat menurut Skyramp, tempat agen menulis happy path dan sekadar men-stub jalur kegagalan.
• Edge case, kira-kira 4,1 kali lebih rawan cacat menurut Skyramp, meliputi koleksi kosong, batas, dan tipe yang tak terduga.
• Concurrency, kira-kira 4,7 kali lebih rawan cacat menurut Skyramp, tempat race condition bertahan karena tidak pernah muncul dalam sebuah test manual yang cepat.
• Kode yang sensitif secara keamanan, tempat agen mungkin memilih default yang tidak aman yang lolos test fungsional tetapi gagal pada sebuah threat model.

Pertahankan manusia dalam loop

Test otomatis itu perlu tetapi mereka berbagi titik buta dengan kodenya: jika agen salah memahami kebutuhan, ia bisa menulis kode yang salah sekaligus test yang salah, dan keduanya akan cocok satu sama lain dengan sempurna.

Itulah mengapa seorang manusia tetap harus mengecek test terhadap maksud yang sebenarnya. Baca assertion-nya dan tanyakan apakah mereka mengkodekan apa yang seharusnya dilakukan fitur itu, bukan sekadar apa yang saat ini dilakukan kodenya.

Checklist untuk merilis kode AI

Sebelum perubahan tulisan AI di-merge, lewatkan ia melalui gerbang yang sama setiap kali. Konsistensi itulah yang mengubah kebiasaan ini menjadi keamanan.

• Jalankan seluruh test suite ditambah pengecekan tipe, lint, dan build produksi, dan perlakukan setiap kegagalan sebagai penghalang.
• Tambahkan test eksplisit untuk jalur kesalahan dan edge case yang dilewati agen.
• Baca diff-nya baris demi baris, dan tulis ulang apa pun yang tidak bisa Anda jelaskan kepada seorang rekan.
• Untuk perubahan berisiko, minta agen baru atau seorang kolega meninjau diff tanpa alur pikir penulis aslinya.

Kecepatan pembuatan kode AI itu nyata, tetapi ia memindahkan pekerjaan alih-alih menghilangkannya. 30 persen terakhir, bagian yang menentukan apakah fitur itu bertahan saat bersentuhan dengan pengguna sungguhan, tetap menjadi milik Anda. Uji kode AI seperti kontribusi tak tepercaya sebagaimana adanya, dan Anda mempertahankan kecepatannya tanpa mewarisi cacatnya.