HGRID247-DE : Ekstrak data Json menggunakan custom input Json

Question

Ekstrak data Json menggunakan custom input Json ada perbedaan total row record  anatara wc -l dengan hasil log hgrid

Answer 1

Mungkin begini penjelasannya

Saya punya file jsion yg isinya sbb:

{
 "kind": "youtube#videoCategoryListResponse",
 "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/S730Ilt-Fi-emsQJvJAAShlR6hM\"",
 "items": [
  {
   "kind": "youtube#videoCategory",
   "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/Xy1mB4_yLrHy_BmKmPBggty2mZQ\"",
   "id": "1",
   "snippet": {
    "channelId": "UCBR8-60-B28hp2BmDPdntcQ",
    "title": "Film & Animation",
    "assignable": true
   }
  },
  {
   "kind": "youtube#videoCategory",
   "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/UZ1oLIIz2dxIhO45ZTFR3a3NyTA\"",
   "id": "2",
   "snippet": {
    "channelId": "UCBR8-60-B28hp2BmDPdntcQ",
    "title": "Autos & Vehicles",
    "assignable": true
   }
  }]}

Kalau di cek file tersbeut denga wc -l maka akan menghasilkan 24, karena file tersebut terdiri dari 24 baris

Kalau HGrid JSonInputFormat dengan konfigurasi

configuration name  : hgrid247.json.member

configuration value : id

maka akan hgrid hanya akan membaca 2 record

Jadi untuk Json input tidak semua bisa cek antara yang dibaca oleh hgrid denga jumlah baris dari file json-nya.

Comments

betul pak tapi ini kondisinya ke tika di ekstrak total recodnya lebih besar di di hgrid, sedangkan yang di local lebih sedikit

---

cat ais20210113173719 |awk -F"," '{print $0}' |wc -l
4517251

di hgrid  :
TRA_Transformator_1:4518273 (input)

---

Configurasi penggunaan JSONInputFormat -nya bagaimana??

---

seperti ini pak :
https://chanthel.solusi247.com/index.php/s/EdLn6r4i5QRg8EB

Answer 2

Tolong di share sebagian dari input file (json).

dan juga configurasi dari JSONInputFormat

Comments

klo datanya kurang dari 1 GB tidak ada masalah pak sama total anatar wc -l dengan log hgrid nya .. apa ini harus kirim full datanya ?

---

sebagian saja, mugkin 20 s/d 100 baris

---

berikut filenya pak :
https://chanthel.solusi247.com/index.php/s/M66tgQL3P4MfJFH

---

Kalu file inputnya berisi 1 object json dalam 1 baris. Lebih baik dibaca menggukana HFS Source. Kemudian ditransformator berikutknya gunakan fungsi-transformasi JSONPathParser.

Answer 3

kalau dilihat isi (datanya) dari https://chanthel.solusi247.com/index.php/s/M66tgQL3P4MfJFH

Satu baris dalam file berisi satu object json.

Kalau input seperti ini sebaiknya dibaca pakai HFS source.

Kemudian untuk mengambil value dari object json gunakan funsi-transformasi JSONPathParser pada assembly/Transformator berikutnya.