Pertimbangkan perkiraan dengan fungsi nilai optimal, dimana adalah beberapa vektor parameter . Terutama yang palimg mudah adalah model bentuk

Dimana beberapa predefined fungsi dasar , dan muncul parameter linier yang tidak diketahui . Linearitas dalam penyederhanaan adalah perhitungan derivatif

dan juga untuk . Sekarang memilih satu set posisi yang

cukup besar dan mengevaluasi sisi kanan pada posisi itu.(menggunakan pendekatan untuk v dan meminimalkan lebih u), Prosedur ini menghasilkan nilai target untuk sisi kiri

Kemudian menyesuaikan parameter sehingga semakin dekat dengan nilai target tersebut. Perbedaan yang diminimalkan dengan prosedur penyesuaian parameter adalah belman error.

2.3 Formulasi infinite horizon

Sejauh ini kita fokus pada masalah finite – horizon. Ada dua dalam formulasi indnite – horizon digunakan dalam praktek, keduanya menghasilkan bentuk waktu - invariant dari persamaan HJB, salah satunya adalah formulasi diskon biaya, di mana total biaya untuk ( dalam nitely panjang ) posis - controllintasan yang didefinisikan sebagai

Dengan menjadi faktor diskon . Intuitif ini mengatakan bahwa biaya masa depan yang lebih murah ( apa pun artinya ) Di sini kita tidak memiliki harga akhir dan tingkat biaya

tidak lagi tergantung pada waktu.Persamaan HJB untuk fungsi nilai optimal menjadi.

Alternatif lain adalah rata-rata biaya pertahap formulasi , dengan total harga

Dalam hal ini persamaan HJB untuk fungsi nilai optimal adalah

Dimana adalah biaya rata-rata per tahap , dan v sekarang memiliki arti nilai fungsi diferential. Persamaan ( 10 ) dan ( 11 ) tidak bergantung pada waktu , yang membuat mereka lebih setuju untukperkiraan numerik dalam arti bahwa kita tidak perlu menyimpan salinan optimal. Fungsi nilai pada setiap titik waktu . Bentuk sudut pandang yang lain , bagaimanapun, ( 8 ) mungkin lebih mudah