Labs247 Community - Recent questions and answers in HGrid247 DE

Answered: [ASK] MongoDB to ORC - Issue konversi date HGRID-DE v3.4 DJP

Tue, 15 Jul 2025 06:36:15 +0000

Output yang diharapkan bagaimana??

coba di cek dulu output datanya sebelum di tulis ke orc (hasil dari pembacaan mongodb)

Answered: [REQUEST] Fitur create workflow from template di Hgrid DE

Fri, 25 Apr 2025 04:12:48 +0000

Terimakasih atas masukanya.

Kita usahakan untuk menambahkan fitur tersebut di HGrid247 DE

Answered: [REQUEST] Fitur search workflow di Hgrid DE

Thu, 02 Jan 2025 08:27:34 +0000

Oke Noted...

Answered: Condition within JOIN di HGRID

Tue, 26 Nov 2024 06:59:26 +0000

Untuk saat ini belum memungkinkan

Answered: [ASK] Bagaimanakah cara menggunaan function StandardDeviation di HGRID-DE?

Wed, 18 Sep 2024 02:39:18 +0000

link Contoh WF penggunaan StandardDeviation dan StandardDeviationPopulaton

https://chanthel.solusi247.com/index.php/s/FRYsDnwEZdBKyA5

Answered: [ASK ]Bagaimana cara untuk melakukan perhitungan rata-rata di HGRID DE

Thu, 05 Sep 2024 01:51:15 +0000

Fungsi BufferTansformation untuk menhandle masalah tersebut sudah saya buatkan.

Nama function tersebut hgridde.plugins.buffer.BufferTransAvgBuyPrice ada di archive hgrid_plugin.jar yang bisa didownload dari https://chanthel.solusi247.com/index.php/s/YCs6oTjwpZrTND9

copy hgrid_plugin.jar ke folder plugins dari aplikasi hgrid-de

Fungsi tersebut membuhkan pararamter index-filed_price,index-field_quatity,index-field_trx_type

Contoh wf bisa didownload dari https://chanthel.solusi247.com/index.php/s/wx2wQf7RoWsXz75

Contoh Input :

26503,Budi,Kacang,130,100000,13000000,Buy

42353,Budi,Kacang,90,20000,1800000,Sell

42354,Budi,Kacang,90,6000,540000,Sell

42355,Budi,Kacang,90,10000,900000,Sell

42356,Budi,Kacang,90,20000,1800000,Sell

42357,Budi,Kacang,90,44000,3960000,Sell

54990,Budi,Kacang,55,100000,5500000,Buy

68424,Budi,Kacang,62,100000,6200000,Sell

588460,Budi,Kacang,76,40600,3085600,Buy

590457,Budi,Kacang,77,59400,4514400,Buy

610921,Budi,Kacang,78,100,7800,Sell

612788,Budi,Kacang,78,100,7800,Sell

634824,Budi,Kacang,76,13500,1026000,Sell

647528,Budi,Kacang,76,36300,2758800,Sell

651866,Budi,Kacang,76,50000,3800000,Sell

Output :

Results of 'StdOtutput_1'

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

|1 |26503 |Budi |Kacang|130.0|100000.0|1.3E7 |Buy |100000.0 |130.0 |

|2 |42353 |Budi |Kacang|90.0 |20000.0 |1800000.0|Sell |80000.0 |130.0 |

|3 |42354 |Budi |Kacang|90.0 |6000.0 |540000.0 |Sell |74000.0 |130.0 |

|4 |42355 |Budi |Kacang|90.0 |10000.0 |900000.0 |Sell |64000.0 |130.0 |

|5 |42356 |Budi |Kacang|90.0 |20000.0 |1800000.0|Sell |44000.0 |130.0 |

|6 |42357 |Budi |Kacang|90.0 |44000.0 |3960000.0|Sell |0.0 |130.0 |

|7 |54990 |Budi |Kacang|55.0 |100000.0|5500000.0|Buy |100000.0 |55.0 |

|8 |68424 |Budi |Kacang|62.0 |100000.0|6200000.0|Sell |0.0 |55.0 |

|9 |588460 |Budi |Kacang|76.0 |40600.0 |3085600.0|Buy |40600.0 |76.0 |

|10|590457 |Budi |Kacang|77.0 |59400.0 |4514400.0|Buy |100000.0 |76.594 |

|11|610921 |Budi |Kacang|78.0 |100.0 |7800.0 |Sell |99900.0 |76.594 |

|12|612788 |Budi |Kacang|78.0 |100.0 |7800.0 |Sell |99800.0 |76.594 |

|13|634824 |Budi |Kacang|76.0 |13500.0 |1026000.0|Sell |86300.0 |76.594 |

|14|647528 |Budi |Kacang|76.0 |36300.0 |2758800.0|Sell |50000.0 |76.594 |

|15|651866 |Budi |Kacang|76.0 |50000.0 |3800000.0|Sell |0.0 |76.594 |

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

Answered: [ASK] Cara calculation & transpose di Hgrid DE

Tue, 27 Aug 2024 01:37:15 +0000

Untuk proses tersebut sudah saya buatkan UDF Tranformation-Fuction.

Nama UDF Fungsi tersebut hgridde.plugin.function.TransReferenceSum yang ada di hgrid_plugin.jar archive,

yang bisa didownload dari https://chanthel.solusi247.com/index.php/s/grEpAriN6sbifpD

Fungsi tersebut bisa dipanggil oleh Fungsi UDFTransfrom247 dengan parameter

file-referensi#field-delimiter#index-field-referensi#index-field-output

download file hgrid_plugin.jar dan simpan di folder plugins di aplikasi HGrid247.

Contoh file referensi (pertanggung2.txt) bisa didownload dari https://chanthel.solusi247.com/index.php/s/onLoAM8zDPDZg4m

Untuk conto WF bisa didownload dari https://chanthel.solusi247.com/index.php/s/A6wXyHGo794NW9o

Contoh proses :

input :

01010918000270MAF|1025

01012118000172MAF|10000

01012118001135MAF|10064

01012218000043MAF|2

03010918000106MAF|1537

referensi (pertanggung2.txt) :

10000|FLEXAS

1024|ALL RISK

512|BT

256|LSC

128|ESC

64|VI

32|BI

16|TS

8|CC

4|RSMD

2|EQVET

1|FSTWD

Output :

Results of 'StdOtutput_1'

|--|-----------------|------------------|-----------------|

|--|-----------------|------------------|-----------------|

|1 |01010918000270MAF|1025 |ALL RISK,FSTWD |

|2 |01012118000172MAF|10000 |FLEXAS |

|3 |01012118001135MAF|10064 |FLEXAS,VI |

|4 |01012218000043MAF|2 |EQVET |

|5 |03010918000106MAF|1537 |ALL RISK,BT,FSTWD|

|--|-----------------|------------------|-----------------|

Answered: [ASK] Cara split row di Hgrid DE

Tue, 20 Aug 2024 09:04:25 +0000

Gunakan Fungsi Reference ke File dan Fungsi SplitTranspose :

contoh input

IP070117000112MAF | 10001

IP070117000112MAG | 10003

contoh file reference (pertanggung.txt)

10001|FLEXAS,FSTWD

10003|FLEXAS,FSTWD,EQVET

ouput :

|1 |IP070117000112MAF |10001 |FLEXAS |

|2 |IP070117000112MAF |10001 |FSTWD |

|3 |IP070117000112MAG |10003 |FLEXAS |

|4 |IP070117000112MAG |10003 |FSTWD |

|5 |IP070117000112MAG |10003 |EQVET |

link download contoh WF https://chanthel.solusi247.com/index.php/s/inYenCdcAWk2tcR

link download contoh ref file https://chanthel.solusi247.com/index.php/s/NecfYHCG9DM3N7P

dense rank di Hgrid DE

Tue, 20 Aug 2024 02:23:48 +0000

Bagaimana cara untuk melakukan dense rank di hgrid DE
Contoh output yang diharapkan sebagai berikut:

Value	Rank
100	1
200	2
200	2
500	3
650	4
650	4
650	4
700	5
700	5

Terimakasih sebelumnya

Answered: [ASK] Erorr substring didalam switch case

Fri, 23 Feb 2024 06:25:40 +0000

contohnya seperti ini mas

Answered: clustering event alert dari data history alert.

Mon, 08 Jan 2024 08:07:12 +0000

Case ini dapat diselesaikan menggunakan HGrid247 DE v3.3, untuk sementara bisa menggunakan beta version yang bisa di download di https://chanthel.solusi247.com/index.php/s/wJX2adEFHNmonrc

Untuk workflow dan UDF bisa didownload di https://drive.google.com/drive/folders/1f9Hz94WsAf1xg6mb0qGDHszzZGf-KPHm?usp=sharing

Langkah yang harus dilakukan:

Copy file HGridUDF-1.0-SNAPSHOT.jar ke dalam folder HGrid247-3.3\plugins.
pada assembly UDFBuffer, ada 3 parameter yang harus diisi dan dipisahkan dengan tanda # yaitu index timestamp yang digunakan, interval waktu dalam menit, dan format tanggal.
clean project terlebih dahulu, baru compile wf TselAlert.

Answered: [Solved] HGridDE v3.2 MR - anomali LikeReference() mendapatkan result tidak sesuai

Wed, 29 Nov 2023 05:18:33 +0000

HGrid library untuk mapreduce engine sudah saya update.

Silahkan download dar:

https://chanthel.solusi247.com/index.php/s/WqdPBsazjTKXnWK

replace libray-file libMR/HGrid247Lib3.2.jar dengan file hasil download.

Jangan lupa clean project untuk menghapus dependency library yang lama.

Answered: [Solved] HGridDE v3.2 MR - anomali output fungsi Reference() mendapatkan null,null

Fri, 13 Oct 2023 03:11:32 +0000

Library untuk mapreduce hgrid versi 3.2 sudah saya fix.

silahkan download dari https://chanthel.solusi247.com/index.php/s/H42NnTGXkxBjpdG

replace file libMR/HGrid247Lib-3.2.jar dengan yang baru

Demimikan juga dengan library spark-dataset hgrid versi 3.2 sudah say fix

silahkan download dari https://chanthel.solusi247.com/index.php/s/ztGRcJyBiz3nypB

replace file libSpark2DS/HSpark247Lib-3.2-spark2.x-DS.jar dengan yang baru

Jangan lupa clean project untuk menghapus depedency dengan library yang lama.

Semoga membantu.

Answered: [Open] HGridDE v3.2 - Spark - Error "java.lang.ArrayIndexOutOfBoundsException" padahal jumlah argument sudah sesuai

Thu, 05 Oct 2023 03:53:15 +0000

Library untuk spark rdd hgrid versi 3.2 sudah saya fix.

silahkan download dari https://chanthel.solusi247.com/index.php/s/jEFiT8Fe4AHXT84

replace file libSpark2/HSpark247Lib-3.2-spark2.x.jar dengan yang baru

Jangan lupa clean project untuk menghapus depedency dengan library yang lama.

Semoga membantu.

Answered: [Solved] HGridDE v3.2-Spark "java.lang.ArrayIndexOutOfBoundsException: 0" terdapat 1 karakter "," pada file referensi

Thu, 05 Oct 2023 03:52:50 +0000

Answered: [Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang

Wed, 04 Oct 2023 10:42:35 +0000

Answered: HGridDE v3.2 - Deskripsi ambigu pada informasi JOIN Assembly

Wed, 26 Jul 2023 10:39:00 +0000

Terima kasih koreksinya.

Answered: HGridDE v3.2 - Tidak bisa memasukkan Free IF-THEN-ELSE Expression

Tue, 28 Jun 2022 07:27:05 +0000

coba download HGrid247-3.2.jar dari https://chanthel.solusi247.com/index.php/s/Y4kkBSJDgrf6EnT

Answered: HGRID247 DE : Error saat pengecekkan input/output field joiner dan arrange fields

Fri, 03 Jun 2022 09:30:46 +0000

coba pakai JDK 1.8

Answered: Tanya Output HGrid DE

Thu, 24 Mar 2022 04:18:03 +0000

Ada beberapa altenatif cara untuk mengontrol jumlah file ouput pada spark.

1. Dengan setting configurasi parameter spark.default.parallelism

   di-set sesuai dengan yang kita inginkan (default 200)

2. Dengan setting configurasi parameter spark.sql.shuffle.partitions

   di-set sesuai dengan yang kita inginkan (default 200)

3. Dengan repartion

    Pada spark Engine, untuk GroupBy Dialog di HGrid247-DE ada optisi

    Number Of Partition, silahkan diisi sesuai yang diinginkan.

Semoga bermanfaat.

Answered: [Solved] java.lang.IndexOutOfBoundsException in Quartile() function when got data source 2-3 rows after groupby

Fri, 28 Jan 2022 13:56:16 +0000

Untuk mengitung quartile, sample data mininal 4.

coba check di https://www.calculatorsoup.com/calculators/statistics/quartile-calculator.php

Found different result value between Hive Query & HGRID-AN vs HGRID-DE in Quartile(1) Function

Thu, 27 Jan 2022 11:45:08 +0000

Mohon bantuan pengecekkan apakah temuan berikut normal ?

Menemukan perbedaan hasil dari penggunaan fungsi Quartile(1) atau Percentile(25) dalam HGridDE 3.2 (spark & mapred) vs hasil dari Query Hive & HGridAN

Didapatkan nilai yg sama "2445044" pada output Quartal_1 dari hasil Query Hive & HgridAN, namun nilai output dari HGridDE berbeda

Query Hive:

select periode, key1,
min(cast(value_number as bigint)) min_val,
max(cast(value_number as bigint)) max_val,
cast(avg(cast(value_number as bigint)) as bigint) avg_val,
cast(percentile(cast(value_number as bigint),0.5) as bigint) med_val,
cast(percentile(cast(value_number as bigint),0.25) as bigint) q1_val,
cast(percentile(cast(value_number as bigint),0.75) as bigint) q3_val
from statistics_dataset_ok
group by periode, key1;

Source:
download_workflow_hgrid
download_dataset

Terima kasih

[Solved] Cannot link from Input Field to Aggregate-Function Median() - HGridDE 3.2

Tue, 18 Jan 2022 07:01:25 +0000

Hi Teman-teman,

Mohon masukan & caranya untuk penggunaan Aggregator-Function Median(), karena saya menemukan kendala tidak bisa menarik garis (garis tidak mau menempel) dari Input Field ke Median()

download workflow

Terima kasih

Answered: [Solved] Compilation Error using Agg-Function Quartile() in HgridDE 3.2 - Spark

Sat, 15 Jan 2022 04:15:41 +0000

Silahkan donload hgrid v 3.2 last updated dari https://chanthel.solusi247.com/index.php/s/7p27SCgQ2wHAWQE

Jangan lupa clean-project karena ada update library

Answered: Bagaimana mengetahui input - output dari workflow ?

Wed, 05 Jan 2022 12:14:20 +0000

betul,dengan clik kanan Input - Output Argument info

Answered: Bagaimana cara kerja MaxValue function pada transformator ?

Tue, 04 Jan 2022 02:01:31 +0000

Fungsi Transformasi MaxValue diproses di level map, jadi per record.

Fungsi MaxValue disini membandingkan mufltile fields dalam 1 record.

Untuk mencari Max value dalam multiple record, gunakan Aggregation

Answered: [Solved] Anomaly HGridDE v3.2 - Tidak bisa memasukkan Return Expression di SwitchCase-Calculation

Tue, 14 Dec 2021 06:37:14 +0000

HGrid247-3.2.jar sudah saya fixed.

Silahkan dowload dari :

https://chanthel.solusi247.com/index.php/s/w5J5jtqzzoQALZm

Answered: [Solved] Anomaly Spark HGrid3.0 ReplaceText() Function

Sun, 05 Dec 2021 03:34:49 +0000

HGrid 3.0 library untuk spark sudah saya fixed.

Silahkan donload dari
https://chanthel.solusi247.com/index.php/s/qCfrrWbgLD8nNs8

Silahakan file HSpark247Lib-3.0.jar dicopy ke folder libSpark1.

Silahakan file HSpark247Lib-3.0-spark2.x.jar dicopy ke folder libSpark2.


Kalau ingin menggunakan HGrid247 versi 3.2 updated, silahkan download dari :

https://chanthel.solusi247.com/index.php/s/ezmokK6bqMCfDMg

Fungsi ReplaceText sudah diupdate untuk semua engine.



Jangan lupa clean project, karena ada perubahan library.

Answered: Hi,, apakah HGRID DE saat ini support untuk melakukan summary seperti query Sum() Over Partition ()

Tue, 16 Nov 2021 06:22:43 +0000

HGrid DE menggunakan query sesuai dengan fiture query source-nya.

Untuk Hive-Source ya menggunakan query yang disupport hive

Untuk RDMBS ya menggunakan query yang disupport rdbms

Answered: HgridDE error membuka file jar di MacOS

Tue, 16 Nov 2021 01:04:28 +0000

Bisa dicoba dimarih kang:

Membuka app dengan aman di Mac - Apple Support (ID)

3 Ways to Fix "macOS cannot verify that this app is free from malware" (gadgetstouse.com)

Answered: Error membuka workflow di Hgrid v3.2

Mon, 01 Nov 2021 10:37:03 +0000

Kemungkinan ada character dalam file tersebut yang tidak sesuai dengan
UTF8 format.

Coba open file *.cs tersebut dengan notepad, kemudan dari notepad save
file tersebut.

Answered: HGRidDE - Tanya Fitur

Fri, 08 Oct 2021 08:18:34 +0000

Alternatif solusi :

addMonth(-3) ke current_date simpan ke field last_3_month

kemudian filter dengan kriteria

tanngal> last_3_month and

tanggal<=current_date

Contoh Flow nya

DataFeeder_1 :

Data Feeder : DataFeeder_1 Feeds constant data :

1|2|20220302
2|2|20200404
P|Z|20210702
3|y|20210901

Transformator_1 :
Transformator Transformator_1 transforms the output of 'DataFeeder_1' using the following transfromation function(s)

Input Field	Operation	Output Field	Type
line	RegexSplitter(Splitter=\|)	f1 f2 tanggal	String String String
	CurrentTimestamp	current_date	Timestamp

Transformator_2 :
Transformator Transformator_2 transforms the output of 'Transformator_1' using the following transfromation function(s)

Input Field	Operation	Output Field	Type
f1	No Operation	f1	String
f2	No Operation	f2	String
tanggal	StringToTimestamp(yyyyMMdd)	tanggal	Timestamp
current_date	AddMonth(-3)	last_3_mont	Timestamp
current_date	No Operation	current_date	Timestamp

Filter_1 :
Filter Filter_1 filters the output of 'Transformator_2' using the following criteria

  tanggal > [last_3_mont]  AND
  tanggal <= [current_date]

Transformator_3 :
Transformator Transformator_3 transforms the output of 'Filter_1' using the following transfromation function(s)

Input Field	Operation	Output Field	Type
f1	No Operation	f1	String
f2	No Operation	f2	String
tanggal	TimestampToString(yyyyMMdd)	tanggal	Timestamp

Std Output StdOtutput_1 writes the output of 'Transformator_3' to the standard output .

Answered: ERROR HGRID 3.0 ke atas

Sun, 29 Aug 2021 03:00:59 +0000

Error seperti ini pernah terjadi..

Error ini bukan pada HGrid nya :

Itu job berusaha mengakses file/folder tapi file/foldernya tidak ada, bisa karena kehapus oleh system.

Coba konsul dengan Cluster admin.

Answered: [Solved] HGRID247DE-Spark-"Include Source Name" Show Fullpath instead of Filename

Sun, 29 Aug 2021 02:58:40 +0000

Untuk versi 3.0 memang dibuat seperti itu

karena kemungkinan inputnya folder yang didalamnya ada folder-folder lain dengan kemungkinan nama file yang sama.

contoh

foler1 -- folder2 -- test2.txt

                         -- test1.txt

          --folder3 --test3.txt

                        -- test1.txt

Kalau tidak fullpath maka akan kehilangan informasi hirarki dari file test1.txt

Untuk mengambil nama filenya saja bisa di transformasi dengan fungsi Tail dengan parameter :

token : /

index : -1

Answered: HGrid247 DE 3.0 - Tidak bisa baca file .xlsx di Yava

Mon, 12 Jul 2021 02:45:14 +0000

Workflow yang dikompile dgn hgrid 2.3.8, dirun di Yava bisa membaca xlsx
Sedangakan Workflow yang dikompile dgn hgrid 3.0, dirun di Yava tidak bisa
membaca xlsx

Dugaan saya, di Yava sudah ada classpath library excel ( poi*-3.1.0) yang
compatible dgn hgrid 2.3.8

Sedangan hgrid 3.0 menggunakan library excel (poi*-4.1.0), jadi ada
library yang tidak match dengan yang ada di Yava dan yang dibutuhkan hgrid
3.0.

Caranya adalah memaksa Yava memakai library yang digunkan hgrid 3.0

Pada workflow property tambahkan

Property name : mapreduce.job.user.classpath.first
Property vaue : true


Jangan lupa clean project dan compile ulang workflow.

Answered: HGRID247 DE: Function ReferenceReplacement

Sat, 12 Jun 2021 06:13:03 +0000

<?xml version="1.0"?>
    <HGrid247 version="3.2">
        <Each>
            <name> Transformator_1623473991979</name>
            <ID> 1623473991979</ID>
            <label> Transformator_1</label>
            <prevPipe> </prevPipe>
           <type> EACH</type>
            <pipeName> Transformator_1623473991979</pipeName>
            <maxPrevNode> 0</maxPrevNode>
            <flowName> </flowName>
            <inFields> line</inFields>
            <outFields> line</outFields>
            <inFieldsType> String</inFieldsType>
            <outFieldsType> String</outFieldsType>
            <posx> 553.0</posx>
            <posy> 206.0</posy>
            <tinggi> 62</tinggi>
            <lebar> 90</lebar>
            <enabled> true</enabled>
            <enabledCounter> true</enabledCounter>
            <description> </description>
            <argumentSelector> </argumentSelector>
            <outputSelector> </outputSelector>
            <fieldDeclaration> </fieldDeclaration>
            <posxIR> 22</posxIR>
            <posyIR> 22</posyIR>
            <posxOR> 500</posxOR>
            <posyOR> 20</posyOR>
            <widhtIR> 200</widhtIR>
            <heightIR> 37</heightIR>
            <widthOR> 200</widthOR>
            <heightOR> 37</heightOR>
            <filterInstance> </filterInstance>
            <chaining> false</chaining>
        </Each>
        <Transform>
            <parentID> 1623473991979</parentID>
            <prevIDS> </prevIDS>
            <nextIDS> </nextIDS>
            <ID> 1623474012431</ID>
            <name> ReferenceReplacement</name>
            <package> cascading.solusi247.transform.special</package>
            <label> ReferenceReplacement(data/ref/ref_nama_depan.txt,0,1,|,,2,0)</label>
            <input> line</input>
            <output> line</output>
            <parameter> data/ref/ref_nama_depan.txt,0,1,pip_sign,,2,0</parameter>
            <posx> 283</posx>
            <posy> 202</posy>
            <inputCount> 3</inputCount>
            <outputCount> 2</outputCount>
            <codeString> </codeString>
            <expressionString> </expressionString>
            <defaultString> </defaultString>
            <extraInfo> </extraInfo>
            <udf> false</udf>
            <edited> false</edited>
            <freeCode> </freeCode>
        </Transform>
        <Pipe2Hfs>
            <fromID> 1623473991979</fromID>
            <toID> 1623476255830</toID>
        </Pipe2Hfs>
        <StdoutSink>
            <fields> </fields>
            <path> </path>
            <sinkMode> </sinkMode>
            <label> StdOtutput_1</label>
             <hfsName> StdOtutput_1623476255830</hfsName>
            <ID> 1623476255830</ID>
            <type> STDOUTPUTTAP</type>
            <posx> 785.0</posx>
            <posy> 225.0</posy>
            <inputdir> tmp</inputdir>
            <outputdir> tmp</outputdir>
            <testdir> </testdir>
            <tableHeader> </tableHeader>
            <outputWithDate>false</outputWithDate>
            <headerDelimited>    </headerDelimited>
            <outputFormat>hgrid247-#####</outputFormat>
            <fileType> Hfs</fileType>
            <fieldNames> </fieldNames>
            <enabled> true</enabled>
            <enabledCounter> true</enabledCounter>
            <argumentOrder> </argumentOrder>
            <description> </description>
            <schemeClass> </schemeClass>
            <delimiter> </delimiter>
            <fieldGroupPartition> </fieldGroupPartition>
            <incomingFields> line</incomingFields>
            <partDelimiter> </partDelimiter>
            <partIndex> </partIndex>
            <rejectedHfs> false</rejectedHfs>
            <beamrw> </beamrw>
            <compress> </compress>
            <sourceFields> </sourceFields>
            <sinkFields> </sinkFields>
            <numSinkPart> </numSinkPart>
        </StdoutSink>
        <MemorySource>
            <fields> line</fields>
            <path> </path>
            <sinkMode> </sinkMode>
            <label> DataFeeder_1</label>
             <hfsName> DataFeeder_1623473932274</hfsName>
            <ID> 1623473932274</ID>
            <type> MEMORYSOURCETAP</type>
            <posx> 208.0</posx>
            <posy> 194.0</posy>
            <inputdir> tmp</inputdir>
            <outputdir> </outputdir>
            <testdir> </testdir>
            <tableHeader> </tableHeader>
            <outputWithDate>false</outputWithDate>
            <headerDelimited>    </headerDelimited>
            <outputFormat>hgrid247-#####</outputFormat>
            <fileType> Hfs</fileType>
            <fieldNames> line</fieldNames>
            <enabled> true</enabled>
            <enabledCounter> true</enabledCounter>
            <argumentOrder> </argumentOrder>
            <description> </description>
            <schemeClass> </schemeClass>
            <delimiter> \\|</delimiter>
            <fieldGroupPartition> </fieldGroupPartition>
            <incomingFields> </incomingFields>
            <partDelimiter> </partDelimiter>
            <partIndex> </partIndex>
            <rejectedHfs> false</rejectedHfs>
            <beamrw> </beamrw>
            <compress> </compress>
            <sourceFields> </sourceFields>
            <sinkFields> </sinkFields>
            <numSinkPart> </numSinkPart>
            <tupleValue>A A HANIF A A
A. A. GD. AFIF
</tupleValue>
            <forever>true</forever>
        </MemorySource>
        <Hfs2Pipe>
            <fromID> 1623473932274</fromID>
            <toID> 1623473991979</toID>
        </Hfs2Pipe>
        <FlowProperty>
            <ReducerNumber> Default</ReducerNumber>
            <MapNumber> Default</MapNumber>
            <actionInputDir> L</actionInputDir>
            <compresstype> DefaultCodec</compresstype>
            <jobTrackerUrl> localhost:50030</jobTrackerUrl>
            <graphDisplay> false</graphDisplay>
            <mapOutputCompressed> false</mapOutputCompressed>
            <description> </description>
            <logPath> </logPath>
            <speculativeExecution> </speculativeExecution>
            <ingoreUnexistsPath> No</ingoreUnexistsPath>
            <combinedInput> false</combinedInput>
            <maxSplitSize> 128</maxSplitSize>
            <fileNdelimiter> No,|</fileNdelimiter>
            <reuseJVM> false</reuseJVM>
            <zoom> 1.0</zoom>
            <jobConf> </jobConf>
            <logLoc> Local</logLoc>
            <timeChar> EventTime</timeChar>
            <wmInterval> </wmInterval>
            <cpInterval> </cpInterval>
        </FlowProperty>
    </HGrid247>

Answered: HGrid247-DE Baca text hyperlink di file PDF

Sat, 12 Jun 2021 01:47:29 +0000

Ada sambil datanya??

Answered: ApplicationID Ketika flink run di YARN

Tue, 27 Apr 2021 08:47:05 +0000

untuk run di yarn application id harus disertkan.

Silahkan konsultasi dengan admin cluster untuk mendapatkan aplication-id yang valid.

Answered: HGRID247-DE : EXTRACT FILE XLS ERORR

Fri, 05 Mar 2021 02:18:16 +0000

Saya lihat excel-nya, sebenarnya bisa dibaca dengan custom input dengan input format ExcelInputFormat.

Namun jika mau menggunakan input-format StartWithPatternInputFormatExcel, silahkan diupdate library libCommon\mr-spark-labs247-2.3.8.jar dengan file dari https://chanthel.solusi247.com/index.php/s/xKmZQaYpAPxaxkb

Jangan lupa project hgridnya di clean, supaya depenency dengan library yang lama di putus.

Caranya clean project : arahkan mouse pada project, tekan tombol kanan mouse, lalu pilih pada pop-up menu 'Clean Project of MapReduce App.

Answered: HGRID247-DE : Ekstrak data Json menggunakan custom input Json

Thu, 14 Jan 2021 05:43:16 +0000

kalau dilihat isi (datanya) dari https://chanthel.solusi247.com/index.php/s/M66tgQL3P4MfJFH

Satu baris dalam file berisi satu object json.

Kalau input seperti ini sebaiknya dibaca pakai HFS source.

Kemudian untuk mengambil value dari object json gunakan funsi-transformasi JSONPathParser pada assembly/Transformator berikutnya.

HGRID247-DE : Konversi Unix Timestamp to String format (YYYYMMDD)

Wed, 13 Jan 2021 09:02:12 +0000

apa di HGRID247-DE tersedia fitur konversi UNIX Timestamp ke String (YYYYMMDD HH24:MI:SS) ? kalau tidak ada, apa ada solusinya? tq

Data Masking dan Enkripsi menggunakan HGrid247 DE

Tue, 15 Dec 2020 07:56:26 +0000

Bagaimana Proses Data Masking dan Enkripsi menggunakan HGrid247 DE?

Error Hgrid247-DE 3.0 ke Atlas

Mon, 14 Dec 2020 05:54:37 +0000

Mau bertanya tentang Hgrid247-DE 3.0 ke Atlas, saya sudah coba buat workflow dengan mengikuti step yang ada di bawah ini :

1. java -cp 'addLib/atlas/*' com.solusi247.atlas.lineage.AtlasHGrid247Type http://10.1.80.212:21000 username password
2. jalankan hgrid 3.0
3. setting atlas config pada hgrid. Menu Tools -> Atlas Client Config
4. bikin workflow seperti biasa
5. sebelum compile addlib atlas dulu dari hgrid
6. compile wf
7. jalankan jar dengan menambahkan arg param lineage=true
misal : hadoop jar testing_mr.jar testing.join_APG test/input/BDT_TNP2K.csv SELECT_SUBSTR_TANGGAL_PGI_1_4_TAHUN_sales_office_deskripsi_sale_202006090124.csv outjoinapg lineage=true

namun saat menjalankan workflow yang sudah di buat, proses hgrid tidak ter-record di Atlas, kira-kira apakah masih ada step yang kurang atau bagaimana?

Error buka aplikasi HGrid247-DE 3.0

Mon, 14 Dec 2020 03:25:01 +0000

Berikut errornya:

E:\App247\Hadoop\HGrid247-3.0>"C:\Program Files\Java\jdk1.8.0_111\bin\java" -jar HGrid247-3.0.jar

Exception in thread "main" java.lang.NoClassDefFoundError: org/meeee/lib/ParamUtil

at hgrid247.HGridWindow.getPlatformTarget(Unknown Source)

at hgrid247.HGridWindow.readInit(Unknown Source)

at hgrid247.HGridWindow.<init>(Unknown Source)

at hgrid247.Main.main(Unknown Source)

Caused by: java.lang.ClassNotFoundException: org.meeee.lib.ParamUtil

at java.net.URLClassLoader.findClass(URLClassLoader.java:381)

at java.lang.ClassLoader.loadClass(ClassLoader.java:424)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)

at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 4 more

Apakah ada yg pernah mengalami ?