+1 vote
in HGrid247 DE by (210 points)
Ekstrak data Json menggunakan custom input Json ada perbedaan total row record  anatara wc -l dengan hasil log hgrid

3 Answers

+1 vote
by (6.4k points)
selected by
 
Best answer
Mungkin begini penjelasannya

Saya punya file jsion yg isinya sbb:

{
 "kind": "youtube#videoCategoryListResponse",
 "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/S730Ilt-Fi-emsQJvJAAShlR6hM\"",
 "items": [
  {
   "kind": "youtube#videoCategory",
   "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/Xy1mB4_yLrHy_BmKmPBggty2mZQ\"",
   "id": "1",
   "snippet": {
    "channelId": "UCBR8-60-B28hp2BmDPdntcQ",
    "title": "Film & Animation",
    "assignable": true
   }
  },
  {
   "kind": "youtube#videoCategory",
   "etag": "\"m2yskBQFythfE4irbTIeOgYYfBU/UZ1oLIIz2dxIhO45ZTFR3a3NyTA\"",
   "id": "2",
   "snippet": {
    "channelId": "UCBR8-60-B28hp2BmDPdntcQ",
    "title": "Autos & Vehicles",
    "assignable": true
   }
  }]}

Kalau di cek file tersbeut denga wc -l maka akan menghasilkan 24, karena file tersebut terdiri dari 24 baris

Kalau HGrid JSonInputFormat dengan konfigurasi

configuration name  : hgrid247.json.member

configuration value : id

maka akan hgrid hanya akan membaca 2 record

Jadi untuk Json input tidak semua bisa cek antara yang dibaca oleh hgrid denga jumlah baris dari file json-nya.
by (210 points)
betul pak tapi ini kondisinya ke tika di ekstrak total recodnya lebih besar di di hgrid, sedangkan yang di local lebih sedikit
by (210 points)
cat ais20210113173719 |awk -F"," '{print $0}' |wc -l
4517251

di hgrid  :
TRA_Transformator_1:4518273 (input)
by (6.4k points)
Configurasi penggunaan JSONInputFormat -nya bagaimana??
by (210 points)
+1 vote
by (6.4k points)
Tolong di share sebagian dari input file (json).

dan juga configurasi dari JSONInputFormat
by (210 points)
klo datanya kurang dari 1 GB tidak ada masalah pak sama total anatar wc -l dengan log hgrid nya .. apa ini harus kirim full datanya ?
by (6.4k points)
sebagian saja, mugkin 20 s/d 100 baris
by (210 points)
by (6.4k points)
Kalu file inputnya berisi 1 object json dalam 1 baris. Lebih baik dibaca menggukana HFS Source. Kemudian ditransformator berikutknya gunakan fungsi-transformasi JSONPathParser.
0 votes
by (6.4k points)

kalau dilihat isi (datanya) dari https://chanthel.solusi247.com/index.php/s/M66tgQL3P4MfJFH

Satu baris dalam file berisi satu object json.

Kalau input seperti ini sebaiknya dibaca pakai HFS source.

Kemudian untuk mengambil value dari object json gunakan funsi-transformasi JSONPathParser pada assembly/Transformator berikutnya.

Welcome to Labs247 Community, where you can ask questions and receive answers from other members of the community.
...