Labs247 Community - Recent questions in Big Data

[ASK] MongoDB to ORC - Issue konversi date HGRID-DE v3.4 DJP

Tue, 15 Jul 2025 03:11:12 +0000

Halo team , minta tolong ada cara konversi dari tipe date MongoDB ke file ORC ?

Sumber data:
> view list

> view json

tapi hasil yang didapatkan di file orc menjadi berikut:
"createdat":"Mon Apr 14 19:14:48 WIB 2025"

Untuk tipedata yang dipakai di MongoDB Source parameter adl String dan disimpan juga ke String,
iseng pakai fungsi StringtoTimestamp & TimestamptoString kena failed Caused by: java.lang.RuntimeException: Unparseable date: 'Fri Oct 25 15:04:43 WIB 2024' of transformation [createdAt]->StringToTimestamp->[TimestampToString(yyyy-MM-dd HH:mm:ss)] at assembly 'Transformator_3_' at

Thanks

[REQUEST] Fitur create workflow from template di Hgrid DE

Thu, 24 Apr 2025 05:04:28 +0000

Halo team,
Barangkali bisa dimasukkan sebagai tambahan fitur helper, dimungkinkan ada shortcut yang bisa men-generate workflow berdasarkan template. template ini mungkin bisa berangkat dari kebutuhan misal:

template workflow menggunakan sink tertentu (e.g. kafka, orc, mongodb, dsb)
template fitur function tertentu (e.g. text-similarity, percentile, dsb)

cukup itu dulu, dan semoga selalu jaya jaya jaya

terima kasih Team

[REQUEST] Fitur search workflow di Hgrid DE

Tue, 24 Dec 2024 05:59:55 +0000

Request fitur search nama workflow di Hgrid DE untuk memudahkan pencarian ketika objects wf banyak

Terima kasih

Condition within JOIN di HGRID

Thu, 21 Nov 2024 04:07:47 +0000

Apakah bisa atau memungkinkan ditambahkan CONDITION di dalam operasi JOIN?

tab executor di spark UI tidak tampil

Thu, 14 Nov 2024 06:53:25 +0000

permisi kaka, jadi saya mau akses tab executor di ui spark. tetapi tidak muncul apa". jika di yava3.0 muncul. berikut evidencenya. image spark ui

Terimakasih

Bagaimana cara install dan configure Tez-UI di cluster Secure?

Thu, 24 Oct 2024 08:55:56 +0000

Pheonix Query Server Stuck ketika dicoba di akses

Thu, 24 Oct 2024 08:44:05 +0000

Phoenix Query Server stuck ketika di akses via sqlline-thin, dan tidak ada progress apa-apa. Berikut outputnya :

[hbase@yava-02.labs247.com root]$ /usr/yava/current/phoenix-client/bin/sqlline-thin.py yava-02.labs247.com:8765

Kerberos login from ticket cache successful

Setting property: [incremental, false]

Setting property: [isolation, TRANSACTION_READ_COMMITTED]

issuing: !connect -p driver org.apache.phoenix.queryserver.client.Driver -p user "none" -p password "none" "jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO"

Connecting to jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO

Error kerberos force admin principal when enable

Mon, 30 Sep 2024 08:14:12 +0000

ketika enable kerberos pada ambari selalu muncul pop up kredensial admin ,walau sudah benar user dan password berikut errornya

KerberosHelperImpl:2470 - Cannot validate credentials: org.apache.ambari.server.AmbariException: Unexpected error condition executing the kadmin command. STDERR: kadmin: Matching credential not found (filename: /tmp/ambari_krb_6519752404733791893cc) while initializing kadmin interface

[ASK] Bagaimanakah cara menggunaan function StandardDeviation di HGRID-DE?

Fri, 13 Sep 2024 03:52:49 +0000

Apakah ada sample flow penggunaan function StandardDeviation dan StdDevPop

di HGRID-DE

[ASK] Bagaimana cara menambahkan partisipan pada fitur conversation setelah room sudah dibuat?

Fri, 13 Sep 2024 01:40:05 +0000

[ASK] apakah storage user di chanthel dapat diupgrade ?

Fri, 30 Aug 2024 03:35:01 +0000

apakah storage user di chanthel dapat diupgrade ?

[ASK] produk apa saja yang dihasilkan oleh tim YAVA ?

Fri, 30 Aug 2024 03:25:52 +0000

produk apa saja yang dihasilkan oleh tim YAVA ?

[ASK] YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

Fri, 30 Aug 2024 03:23:53 +0000

YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

[ASK] apa saja fitur terbaru di chanthel 5.1.0 ?

Fri, 30 Aug 2024 03:22:17 +0000

apa saja fitur terbaru di chanthel 5.1.0 ?

[ASK] berapa banyak user yang bisa menggunakan fitur meeting online di chanthel?

Fri, 30 Aug 2024 03:20:42 +0000

berapa banyak user yang bisa menggunakan fitur meeting online nya?

[ASK ]Bagaimana cara untuk melakukan perhitungan rata-rata di HGRID DE

Fri, 30 Aug 2024 02:47:00 +0000

Bagaimana cara untuk melakukan perhitungan rata-rata suatu transaksi dengan formula menggunakan nilai hasil perhitungan rata-rata di record sebelumnya

SortNo.

Beli

Qty

CQty

rata-rata Beli

Type trx

100

1000

100

101

100

1100

100.0909091

102

500

600

100.0909091

200

800

99.81818182

Berikut untuk formula rata-rata beli untu type trx=B

dengan catatan:

untuk first record rata-rata Beli sudah tersedia valuenya dan
untuk type trx=S, rata-rata Beli as is dengan rata-rata beli type trx B sebelumnya(yg terakhir)

Mohon bantuanya, thanks

[ASK] Cara calculation & transpose di Hgrid DE

Wed, 21 Aug 2024 03:26:17 +0000

ijin bertanya terkait case berikut apakah bisa dilakukan di proses hgrid ,mohon bantuannya

source_data
nomor_polis|kode_pertanggungan
01010918000270MAF|1025
01012118000172MAF|10000
01012118001135MAF|10064
01012218000043MAF|2
03010918000106MAF|1537

reference kode_pertanggungan
kode_pertanggungan|jenis_pertanggungan
10000|FLEXAS
1024|ALL RISK
512|BT
256|LSC
128|ESC
64|VI
32|BI
16|TS
8|CC
4|RSMD
2|EQVET
1|FSTWD

result
jenis_pertanggungan |kode_pertanggungan
ALL RISK,FSTWD |1025 =>hasil perhitungan dari kode_pertanggungan 1024+1=1025
FLEXAS |10000
FLEXAS,VI |10064 =>hasil perhitungan dari kode_pertanggungan 10000+64=10064
EQVET | 2
ALL RISK,BT,FSTWD|1537 => hasil perhitungan dari kode_pertanggungan 1024+512+1=1537

[ASK] Cara split row di Hgrid DE

Tue, 20 Aug 2024 07:24:51 +0000

dense rank di Hgrid DE

Tue, 20 Aug 2024 02:23:48 +0000

Bagaimana cara untuk melakukan dense rank di hgrid DE
Contoh output yang diharapkan sebagai berikut:

Value	Rank
100	1
200	2
200	2
500	3
650	4
650	4
650	4
700	5
700	5

Terimakasih sebelumnya

[ASK] Cara cumulative sum di Hgrid DE

Fri, 16 Aug 2024 06:24:55 +0000

Untuk melakukan comulative sum di hgrid sepertia apa ya ?
sample data input:
A|1
A|2
A|3
A|4

ekspektasi output :
A|1|1
A|2|3
A|3|6
A|4|10

[ASK] Load data ke hive

Fri, 15 Mar 2024 08:09:32 +0000

saat load data menggunakan query LOAD DATA INPATH, muncul error seperti ini:

Caused by: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Load Data failed for hdfs://xxxxxx.labs247.com:8020/tmp/2024_03_15/userdev/application_1710473512908_0021/9e7258fa-163f-48af-b27c-0622530ff7d8/9e7258fa-163f-48af-b27c-0622530ff7d8_0_5 as the file is not owned by hive and load data is also not ran as hive

apakah ada workaround nya untuk case ini tanpa harus chown?

[ASK] Hive-Interactive LLAP mati secara random

Fri, 15 Mar 2024 02:34:42 +0000

Saat menggunakan hive-interactive llap pada yava 3.1, terjadi shutdown service llap. berikut log yg didapat

Dag submit failed due to Call interrupted stack trace: [org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1567), org.apache.hadoop.ipc.Client.call(Client.java:1519), org.apache.hadoop.ipc.Client.call(Client.java:1416), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:236), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:123), com.sun.proxy.$Proxy59.submitDAG(Unknown Source), org.apache.tez.client.FrameworkClient.submitDag(FrameworkClient.java:133), org.apache.tez.client.TezClient.submitDAGSession(TezClient.java:702), org.apache.tez.client.TezClient.submitDAG(TezClient.java:611), org.apache.hadoop.hive.ql.exec.tez.TezTask.submit(TezTask.java:544), org.apache.hadoop.hive.ql.exec.tez.TezTask.execute(TezTask.java:216), org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205), org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97), org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664), org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335), org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703), org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157), org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:224), org.apache.hive.service.cli.operation.SQLOperation.access$700(SQLOperation.java:87), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:316), java.security.AccessController.doPrivileged(Native Method), javax.security.auth.Subject.doAs(Subject.java:422), org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:329), java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511), java.util.concurrent.FutureTask.run(FutureTask.java:266), java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149), java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624), java.lang.Thread.run(Thread.java:748)] retrying...
FAILED: Operation cancelled
Exception in thread "HiveServer2-Handler-Pool: Thread-930" java.lang.IllegalStateException: Shutdown in progress, cannot remove a shutdownHook

[ASK] hive-site jceks permission denied

Thu, 14 Mar 2024 09:24:24 +0000

Saat run spark di Yava 3.1 Kerberized, muncul error seperti ini:

`Caused by: java.io.FileNotFoundException: /usr/yava/current/hive-client/conf/hive-site.jceks (Permission denied)`

error ini dapat diperbaiki dengan melakukan `chmod` file td di semua node.

tapi masalahnya, setiap hive di-restart, error ini muncul kembali. Apakah ada solusi permanen untuk case ini?

[ASK] Koneksi Spark 3.0.2 ke metastore Hive 3.x

Tue, 12 Mar 2024 04:28:31 +0000

Apakah spark versi 3.0.2 yang digunakan pada Yava 3.1 dapat langsung terkoneksi (via thfirf) ke metastore Hive 3.x ?

Jika bisa, apakah contoh code untuk baca / tulis managed table nya?

Jika tidak bisa, bagaimana cara spark / pyspark 3.0.2 dapat membaca / tulis ke managed table hive ?

[ASK] Erorr substring didalam switch case

Thu, 22 Feb 2024 03:21:31 +0000

Fungsi substr di dalam switchcase tidak berfungsi.

lenghprefix_lenght_p_p merupakan field yg berisi concat dari 2 field yg akan digunakan untuk index & lenghth, contoh isi field dapat dilihat pada link.

ketika dijalankan, akan error . Dev dilakukan di HGridDE v3.2 dengan engine Map Reduce. untuk capture contoh penggunaan substring dpt dilihat di Downlaod capture

clustering event alert dari data history alert.

Fri, 05 Jan 2024 02:41:58 +0000

Dapatkah HGrid247 DE menyelesaikan case menentukan klaster alert dari data history event alert.

Data tediri dari "Datetime Alert|Alert_ID|Alert_Type".
Dari data tersebut jika dalam interval n (bisa 5 menit atau range waktu yang ditetapkan ) secara asumsi dan kesepakatan dianggap merupakan cluster kejadian yang sama, sehingga dapat di tentukan:
- Kapan alert dimulai/muncul
- Kapan alert berahir
- berapa banyak jumlah alert dari cluster kejadian
Sebagai gambaran berikut simulasi datanya.

Privilege synchronizer hive when using ranger and enable plugin hive ranger

Fri, 01 Dec 2023 02:52:17 +0000

jadi, saya mengalami penambahan size dari table db metastore hive yang sangat significan karena ada processing syncronize privilege dari setiap user yang mengakses hive. table tersebut bernama TBL_COL_PRIVS. saya sudah mencoba mentruncate atau mendeletenya tetapi nanti akan regenerate kembali data syncronize privilege tersebut.

Terimakasih

[Solved] HGridDE v3.2 MR - anomali LikeReference() mendapatkan result tidak sesuai

Thu, 23 Nov 2023 04:49:29 +0000

Dear Labs247,
saya mendapatkan hasil anomali LikeReference() yang sependek saya tahu seharusnya fungsinya mirip dengan logic
field_text LIKE %string_search%
namun sebagian result mendapatkan hasil yang tidak sesuai justru mencari sebaliknya
string_search LIKE %field_text%

Berikut output LikeReference() terlihat muncul anomali pada ID ke 2 dan 4 :

ID | Text | Refs

Terlampir file csd silahkan download di sini

Terima kasih.

[Solved] HGridDE v3.2 MR - anomali output fungsi Reference() mendapatkan null,null

Wed, 11 Oct 2023 23:46:40 +0000

Dear Labs247,
mengacu ke thread berikut
[Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang
saya mendapatkan case yang sama saat running menggunakan Map Reduce.

Anomaly tersebut hanya terjadi pada hasil fungsi Reference(), tapi untuk fungsi lain seperti LikeReference() dan References() hasilnya aman.

Dapat dicek pada file output output_anomaly_comma_ref.txt kolom ke-4 muncul value null,null

Terlampir list csd, file input, ref dan hasil output yang dijalankan download

Terima kasih.

Hive llap YAVA 3.1 - java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

Fri, 06 Oct 2023 09:28:40 +0000

Pada saat melakukan starting hive llap aman, tetapi kemudian service hive llap stopped sendiri, dan telah dilakukan cek terhadap logs muncul seperti berikut

java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

sebelumnya sudah mencoba untuk restart dan mengganti config memory di hive llap tetapi masih belum start secara aman, apa yang bisa saya coba lagi ya untuk melakukan troubleshoot?

Spark history server UI not does not display job history

Tue, 03 Oct 2023 07:54:54 +0000

Pada YAVA 3.1 saat membuka spark history server tidak muncul complete application atau incomplete application. juga saat job spark running tidak bisa melihat jumlah executornya.
Berikut log yang muncul disaat akses spark history server

3/10/02 11:13:03 WARN HttpChannel: /api/v1/applications java.lang.NoClassDefFoundError: Could not initialize class org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider$BindingModel at org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider.<init>(WebTargetValueParamProvider.java:263) at org.glassfish.jersey.server.internal.inject.ValueParamProviderConfigurator.init(ValueParamProviderConfigurator.java:108) at org.glassfish.jersey.server.ApplicationHandler.lambda$initialize$0(ApplicationHandler.java:290) at java.util.Arrays$ArrayList.forEach(Arrays.java:3880)

Bagaimana agar complete / incomplete application nya muncul di spark history server ui nya? Terima kasih

[Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang

Tue, 03 Oct 2023 07:51:01 +0000

Mendapatkan anomali output fungsi Reference() jika value field yang dicari mengandung karakter koma

Contoh:
1. input: DESA PANTIANOM,KEC.BOJONG,KAB.PEKALONGAN
output Reference(): null,null,null
2. input: Nama Orang, S.Pd, M.Pd, M.Sc
output Reference(): null,null,null,null

Development dilakukan di HGridDE v3.2 dengan engine SPARK 2.x RDD
Untuk file csd, referensi dan cara eksekusi spark dapat lihat link download

[Solved] HGridDE v3.2-Spark "java.lang.ArrayIndexOutOfBoundsException: 0" terdapat 1 karakter "," pada file referensi

Tue, 03 Oct 2023 07:44:08 +0000

Kebutuhan: menggunakan file referensi untuk mendapatkan text yang dicari

Issue: Mendapatkan anomali "java.lang.ArrayIndexOutOfBoundsException: 0" ketika ada sebuah file referensi yang mengandung 1 karakter "," (comma)

Jika karakter "," dihapus pada file ref maka proses berjalan sukses. Development dilakukan di HGridDE v3.2 dengan engine SPARK 2.x RDD

Berikut file csd dan informasi lainnya download
Untuk file referensi yang dapat dites:

tanda_baca_tempat_usaha.txt (muncul error)
tanda_baca_tempat_usaha_without_comma (berhasil)

[Open] HGridDE v3.2 - Spark - Error "java.lang.ArrayIndexOutOfBoundsException" padahal jumlah argument sudah sesuai

Tue, 03 Oct 2023 07:25:50 +0000

Mendapatkan error java.lang.ArrayIndexOutOfBoundsException: 4 padahal jumlah argument yang diinput sudah sesuai dengan informasi pada opsi Input-Output argument info :

Spark-2.x RDD App. of CommaAnomalyRef
Needed Parameter :
Reference to ref_negara from alamat_lower of RunRefCheck
Reference to ref_tidak_tersedia from alamat_lower of RunRefCheck
Reference to ref_tanda_baca from alamat_lower of RunRefCheck
Reference to ref_nama_ljk from alamat_lower of RunRefCheck

Command spark-submit gagal:

$SPARK_HOME/bin/spark-submit --class Others.Issue.CommaAnomalyRef Others_spark2.jar \
/mnt/d/WorldBank/Data/ref_negara.txt \
/mnt/d/WorldBank/Data/ref_tempat_usaha_tdk_tersedia.txt \
/mnt/d/WorldBank/Data/tanda_baca_tempat_usaha_without_comma.txt \
/mnt/d/WorldBank/Data/nama_ljk_special.txt

Akan tetapi ketika ditambahkan 1 baris file referensi (tot menjadi 5 referensi) proses Spark berjalan sukses

Command spark-submit sukses:

$SPARK_HOME/bin/spark-submit --class Others.Issue.CommaAnomalyRef Others_spark2.jar \
/mnt/d/WorldBank/Data/ref_negara.txt \
/mnt/d/WorldBank/Data/ref_negara.txt \
/mnt/d/WorldBank/Data/ref_tempat_usaha_tdk_tersedia.txt \
/mnt/d/WorldBank/Data/tanda_baca_tempat_usaha_without_comma.txt \
/mnt/d/WorldBank/Data/nama_ljk_special.txt

Development dilakukan di HGridDE v3.2 dengan engine SPARK 2.x RDD

berikut file csd dan informasi lainnya download

solr error No registered leader was found after waiting for 4000s, saat recovering data collection

Tue, 03 Oct 2023 04:23:24 +0000

Saat recover data collection, setelah solr direstart, muncul error seperti ini :

Error while trying to recover, core-mediaonline_sharti replical.org.apache.solr.common.SolrException: No registered leader was found after waiting for 4000s, collection: mediaonline slice: shardl
at org.apache.solr.common.cloud.Stateleader.getLeaderRetry (2xStateReader.java:747)
at org.apache.solr.common.cloud.Stateleader.getLeaderRetry (StateReader.java:733)
at org.apache.solr.cloud.Recovery Strategy.dollecovery (Recovery Strategy.java:305)
at org.apache.solr.cloud.Recovery Strategy.run(RecoveryStrategy.java:221)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:256)
at org.apache.solr.common.util.Executoruti1DCAwareThreadPoolExecutor.lambda$execute(ExecutorUtil.java:229)
at java.util.concurrent.ThreadPoolExecutor.rumorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutorSorker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:750)

Apakah ada config yang harus ditambah? mungkin teman-teman ada yang pernah mengalami dan bisa solving, mohon bimbingannya, terima kasih sebelumnya

namenode downgrade

Tue, 03 Oct 2023 02:14:35 +0000

"java.lang.IllegalArgumentException: The "downgrade" option is no longer supported since it may incorrectly finalize an ongoing rolling upgrade."

jadi ketika saya nyoba downgrade sewaktu upgrade yava3.0 ke yava3.1 saya mendapat error demikian. apakah downgrade untuk namenode emang tidak di dukung?. jika terlanjur seperti ini apa yang bisa saya coba?

terimakasih

zeppelin yava 3.1 returned status_code=400 saat restart

Fri, 22 Sep 2023 02:38:55 +0000

saat restart zeppelin pada yava 3.1 muncul error returned status_code=400 saat curl notebook yang mengandung special char berikut log nya

File "/usr/lib/ambari-agent/lib/resource_management/libraries/providers/hdfs_resource.py", line 295, in _run_command

raise WebHDFSCallException(err_msg, result_dict)

resource_management.libraries.providers.hdfs_resource.WebHDFSCallException: Execution of 'curl -sS -L -w '%{http_code}' -X PUT -d '' -H 'Content-Length: 0' 'http://yava-edge01:50070/webhdfs/v1/usr/yava/current/zeppelin-server/notebook/admin@yava^-^HandsOn%20GG_2J3J25N6N.zpln?op=SETOWNER&owner=zeppelin&group=&user.name=hdfs'' returned status_code=400.

bagaimana agar notebook zeppelin yang mengandung special char bisa ter curl saat restart zeppelin ?

terima kasih

HGridDE v3.2 - Deskripsi ambigu pada informasi JOIN Assembly

Wed, 26 Jul 2023 05:18:56 +0000

Saya menemukan informasi yang ambigu pada deskripsi JOIN Assembly yang terdapat pada tools Hgrid-DE v3.2. Jadi pertanyaannya adalah yang manakah data pada 'left' atau 'right' yang seharusnya lebih besar ?

Proses pada yarn stuck

Wed, 21 Dec 2022 09:01:22 +0000

Sering kali yarn tidak menjalankan proses yg sudah dalam status ACCEPTED, padahal kondisi cluster sedang kosong dan tidak ada proses lain yg berjalan.

Solusi workaround yg biasa dilakukan adalah dengan restart YARN.

pertanyaan: apakah ada cara lain? atau ada konfigurasi yang perlu disesuaikan?

HGridDE v3.2 - Tidak bisa memasukkan Free IF-THEN-ELSE Expression

Tue, 28 Jun 2022 07:26:00 +0000

Selamat Sore,

Izin bertanya, saya mengalami masalah ketika ingin memasukkan Free IF-THEN-ELSE Expression di HgridDE v3.2-Beta Version namun ketika saya klik OK expressionnya tidak mau terisi. seperti gambar di bawah. Terima kasih

Setelah saya klik Show Rule

HGRID247 DE : Error saat pengecekkan input/output field joiner dan arrange fields

Fri, 03 Jun 2022 08:52:09 +0000

Selamat sore.

Mohon maaf izin bertanya, saya mendapati case pada HGRID247 DE saat mau melakukan pegecekkan pada input/output di field joiner serta mau arrange fields pada transformator. Saat di klik terdapat error sebagai berikut :

Apakah ada solusi untuk problem di atas ? Sudah dicoba dengan mengganti versi hgrid dan java masih belum bisa.

Terima kasih.

Cara update Apache Storm di Yava

Tue, 19 Apr 2022 03:10:16 +0000

Bagaimana cara update component Apache Storm di Yava ke versi yg lebih baru? Dalam kasus ini, saya ingin upgrade dari 1.2.2 ke 1.2.4 (minor upgrade).

Tanya Output HGrid DE

Thu, 24 Mar 2022 03:29:27 +0000

Izin bertanya,
Apa bisa Hgrid DE (spark) di setting supaya bisa mengeluarkan jumlah output file sesuai yang diinginkan?dan bagaimana/dimana cara settingnya?.Saat ini saya punya proses Hgrid DE - Spark mengeluarkan output sampai 60 ribu, sehingga menyebabkan i/o write filenya habis.

Terima kasih

[Solved] java.lang.IndexOutOfBoundsException in Quartile() function when got data source 2-3 rows after groupby

Thu, 27 Jan 2022 12:01:13 +0000

Mohon bantuannya dari temuan error:
Caused by: java.lang.IndexOutOfBoundsException: Index: 3, Size: 3

saat menggunakan fungsi Percentile() / Quartile() pada HGridDE 3.2 (spark & mapred) jika menemukan data source (setelah GroupBy) yang berjumlah 2-3 rows.

Berikut evidence komparasi antara Query Hive & HGridAN

Query Hive:

select periode, key1,
min(cast(value_number as bigint)) min_val,
max(cast(value_number as bigint)) max_val,
cast(avg(cast(value_number as bigint)) as bigint) avg_val,
cast(percentile(cast(value_number as bigint),0.5) as bigint) med_val,
cast(percentile(cast(value_number as bigint),0.25) as bigint) q1_val,
cast(percentile(cast(value_number as bigint),0.75) as bigint) q3_val
from statistics_dataset_nok
group by periode, key1;

Source:
download_dataset_nok
download_workflow_hgrid
download_error_log

Terima kasih

Found different result value between Hive Query & HGRID-AN vs HGRID-DE in Quartile(1) Function

Thu, 27 Jan 2022 11:45:08 +0000

Mohon bantuan pengecekkan apakah temuan berikut normal ?

Menemukan perbedaan hasil dari penggunaan fungsi Quartile(1) atau Percentile(25) dalam HGridDE 3.2 (spark & mapred) vs hasil dari Query Hive & HGridAN

Didapatkan nilai yg sama "2445044" pada output Quartal_1 dari hasil Query Hive & HgridAN, namun nilai output dari HGridDE berbeda

Query Hive:

select periode, key1,
min(cast(value_number as bigint)) min_val,
max(cast(value_number as bigint)) max_val,
cast(avg(cast(value_number as bigint)) as bigint) avg_val,
cast(percentile(cast(value_number as bigint),0.5) as bigint) med_val,
cast(percentile(cast(value_number as bigint),0.25) as bigint) q1_val,
cast(percentile(cast(value_number as bigint),0.75) as bigint) q3_val
from statistics_dataset_ok
group by periode, key1;

Source:
download_workflow_hgrid
download_dataset

Terima kasih

Grant Access

Tue, 18 Jan 2022 09:56:29 +0000

- Saya memiliki dokumen di salah satu folder di chanthel.
- Awalnya saya hanya grant edit ke 2 orang - si A dan B.
- karena ada kebutuhan untuk di update oleh PIC lain kemudian si A memberikan grant akses ke C.
- C kemudian komplain ke saya karena file nya tidak bisa di edit
- Pada saat saya akan memberikan akses ke C selalu gagal - notifnya file ini sudah di grant ke si C tp tidak muncul di list saya.

Apakah memang grant akses bisa diberikan oleh yang telah di grant seperti si A ke si C atau ini merupakah bugs.

imho, untuk bisa memberikan akses ke file seharusnya dari owner si file tsb. Jadi jika ini merupakan bugs sebaiknya field grant akses di disable jika dia bukan owner dari file tsb.
cmiiw

[Solved] Cannot link from Input Field to Aggregate-Function Median() - HGridDE 3.2

Tue, 18 Jan 2022 07:01:25 +0000

Hi Teman-teman,

Mohon masukan & caranya untuk penggunaan Aggregator-Function Median(), karena saya menemukan kendala tidak bisa menarik garis (garis tidak mau menempel) dari Input Field ke Median()

download workflow

Terima kasih

[Solved] Compilation Error using Agg-Function Quartile() in HgridDE 3.2 - Spark

Fri, 14 Jan 2022 07:42:25 +0000

Halo Semua,

Mohon pencerahannya teman-teman, saat ini menemukan error ketika compile dg engine Spark yaitu "Compilation Error" saat memakai Aggregate-Function Quartile().

Apakah penempatan atau caranya yang tdk sesuai atau ada kendala di tools nya ?

Terima kasih

Bagaimana mengetahui input - output dari workflow ?

Wed, 05 Jan 2022 02:34:23 +0000

Bagaimanakah cara mengetahui input - output dari workflow tanpa menjalankan worflow tersebut, apakah benar dengan menggunakan menu klik kanan Input - Output Argument info ini ? dikarenakan output nya ada expression condition

Bagaimana cara kerja MaxValue function pada transformator ?

Mon, 03 Jan 2022 07:42:04 +0000

Apakah ada yang mengetahui apakah bagaimana cara kerja MaxValue yang ada pada transformator. Apakah bekerja di-level map atau reduce ?

Saya ingin memastikan apabila melakukan proses data, misalkan ada 2 file dengan jumlah masing2 rekod 5. Apabila dicari MaxValue dari kolom tertentu, apakah output nya tetap 10 rekod atau hanya 1 rekod.

Thanks,