Labs247 Community - Recent questions and answers in Big Data

Answered: [ASK] MongoDB to ORC - Issue konversi date HGRID-DE v3.4 DJP

Tue, 15 Jul 2025 06:36:15 +0000

Output yang diharapkan bagaimana??

coba di cek dulu output datanya sebelum di tulis ke orc (hasil dari pembacaan mongodb)

Answered: [REQUEST] Fitur create workflow from template di Hgrid DE

Fri, 25 Apr 2025 04:12:48 +0000

Terimakasih atas masukanya.

Kita usahakan untuk menambahkan fitur tersebut di HGrid247 DE

Answered: [REQUEST] Fitur search workflow di Hgrid DE

Thu, 02 Jan 2025 08:27:34 +0000

Oke Noted...

Answered: Condition within JOIN di HGRID

Tue, 26 Nov 2024 06:59:26 +0000

Untuk saat ini belum memungkinkan

Answered: tab executor di spark UI tidak tampil

Fri, 15 Nov 2024 01:36:56 +0000

Bisa coba cara ini mas kholid,

Lakukan di semua node yg terinstall spark-client / spark-historyserver

1. Masuk ke dir spark/jars

cd /usr/yava/3.1.0.0-0000/spark2/jars

2. Download jar tambahan untuk Executor Metrics

wget https://repo1.maven.org/maven2/org/glassfish/jersey/core/jersey-client/2.30/jersey-client-2.30.jar

wgeta https://repo1.maven.org/maven2/org/glassfish/jersey/bundles/repackaged/jersey-guava/2.25.1/jersey-guava-2.25.1.jar

3. Restart All Service Spark dari AmbariUI

4. Rerun Jobs Spark, dan Monitoring jobs nya dari Spark Application UI

Answered: Bagaimana cara install dan configure Tez-UI di cluster Secure?

Mon, 28 Oct 2024 05:27:41 +0000

Secara garis besar step-step nya sebagai berikut :

1. Install, start and enable httpd

2. Create dir for extract file war.

3. Add configurations on service tez and hive.

Untuk cara install dan configure Tez-UI di secure cluster bisa coba referensi dari link berikut ini :

https://shorturl.at/6lFID
https://bit.ly/2Or5e8K
https://bit.ly/30RMhyR

Answered: Pheonix Query Server Stuck ketika dicoba di akses

Mon, 28 Oct 2024 05:15:56 +0000

Untuk pemecahannya bisa mencoba dari link berikut ini:
https://chanthel.solusi247.com/index.php/s/PoD8rCtqoe2jY5z

Answered: [ASK] Bagaimana cara menambahkan partisipan pada fitur conversation setelah room sudah dibuat?

Wed, 23 Oct 2024 03:59:04 +0000

Untuk saat ini tersedia fitur untuk menambahkan partisipan baru, melalui fitur pencarian atau tambah partisipan di sub-menu partisipan yang nantinya akan menampilkan hasil pencarian berdasarkan kata kunci yang dimasukan, setelahnya Anda bisa meng-klik partisipan yang akan ditambahkan. Tetapi hal ini bisa dilakukan apabila Anda seorang moderator room.

Answered: Error kerberos force admin principal when enable

Tue, 01 Oct 2024 03:59:31 +0000

Apakah sudah dicoba cek untuk hostname di setiap node dan server kerberosnya, disarankan untuk tidak menggunakan Uppercase dalam penamaan hostname

Answered: [ASK] Bagaimanakah cara menggunaan function StandardDeviation di HGRID-DE?

Wed, 18 Sep 2024 02:39:18 +0000

link Contoh WF penggunaan StandardDeviation dan StandardDeviationPopulaton

https://chanthel.solusi247.com/index.php/s/FRYsDnwEZdBKyA5

Answered: [ASK] produk apa saja yang dihasilkan oleh tim YAVA ?

Thu, 05 Sep 2024 06:27:13 +0000

Product yang di buat dan di kembangan oleh team YAVA sebagai berikut :

YAVA247 Data Management Platform yaitu Platform Big Data yang digunakan untuk menyediakan, mengelola dan memantau cluster yang berbasis Hadoop. Platform ini menggunakan kekuatan dari ekosistem Hadoop dan dirancang untuk mempercepat penerapan implementasi Hadoop.
YAVA Container (Tronton) yaitu Platform Aplikasi Container yang dibangun di atas Kubernetes dengan penambahan berbagai fitur untuk meningkatkan produktivitas dan keamanan.

Answered: [ASK ]Bagaimana cara untuk melakukan perhitungan rata-rata di HGRID DE

Thu, 05 Sep 2024 01:51:15 +0000

Fungsi BufferTansformation untuk menhandle masalah tersebut sudah saya buatkan.

Nama function tersebut hgridde.plugins.buffer.BufferTransAvgBuyPrice ada di archive hgrid_plugin.jar yang bisa didownload dari https://chanthel.solusi247.com/index.php/s/YCs6oTjwpZrTND9

copy hgrid_plugin.jar ke folder plugins dari aplikasi hgrid-de

Fungsi tersebut membuhkan pararamter index-filed_price,index-field_quatity,index-field_trx_type

Contoh wf bisa didownload dari https://chanthel.solusi247.com/index.php/s/wx2wQf7RoWsXz75

Contoh Input :

26503,Budi,Kacang,130,100000,13000000,Buy

42353,Budi,Kacang,90,20000,1800000,Sell

42354,Budi,Kacang,90,6000,540000,Sell

42355,Budi,Kacang,90,10000,900000,Sell

42356,Budi,Kacang,90,20000,1800000,Sell

42357,Budi,Kacang,90,44000,3960000,Sell

54990,Budi,Kacang,55,100000,5500000,Buy

68424,Budi,Kacang,62,100000,6200000,Sell

588460,Budi,Kacang,76,40600,3085600,Buy

590457,Budi,Kacang,77,59400,4514400,Buy

610921,Budi,Kacang,78,100,7800,Sell

612788,Budi,Kacang,78,100,7800,Sell

634824,Budi,Kacang,76,13500,1026000,Sell

647528,Budi,Kacang,76,36300,2758800,Sell

651866,Budi,Kacang,76,50000,3800000,Sell

Output :

Results of 'StdOtutput_1'

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

|1 |26503 |Budi |Kacang|130.0|100000.0|1.3E7 |Buy |100000.0 |130.0 |

|2 |42353 |Budi |Kacang|90.0 |20000.0 |1800000.0|Sell |80000.0 |130.0 |

|3 |42354 |Budi |Kacang|90.0 |6000.0 |540000.0 |Sell |74000.0 |130.0 |

|4 |42355 |Budi |Kacang|90.0 |10000.0 |900000.0 |Sell |64000.0 |130.0 |

|5 |42356 |Budi |Kacang|90.0 |20000.0 |1800000.0|Sell |44000.0 |130.0 |

|6 |42357 |Budi |Kacang|90.0 |44000.0 |3960000.0|Sell |0.0 |130.0 |

|7 |54990 |Budi |Kacang|55.0 |100000.0|5500000.0|Buy |100000.0 |55.0 |

|8 |68424 |Budi |Kacang|62.0 |100000.0|6200000.0|Sell |0.0 |55.0 |

|9 |588460 |Budi |Kacang|76.0 |40600.0 |3085600.0|Buy |40600.0 |76.0 |

|10|590457 |Budi |Kacang|77.0 |59400.0 |4514400.0|Buy |100000.0 |76.594 |

|11|610921 |Budi |Kacang|78.0 |100.0 |7800.0 |Sell |99900.0 |76.594 |

|12|612788 |Budi |Kacang|78.0 |100.0 |7800.0 |Sell |99800.0 |76.594 |

|13|634824 |Budi |Kacang|76.0 |13500.0 |1026000.0|Sell |86300.0 |76.594 |

|14|647528 |Budi |Kacang|76.0 |36300.0 |2758800.0|Sell |50000.0 |76.594 |

|15|651866 |Budi |Kacang|76.0 |50000.0 |3800000.0|Sell |0.0 |76.594 |

|--|-------|-------|------|-----|--------|---------|-------------------|-------------|-----------|

Answered: [ASK] berapa banyak user yang bisa menggunakan fitur meeting online di chanthel?

Wed, 04 Sep 2024 03:47:17 +0000

Terkait fitur Video Conference di Aplikasi Chanthel247 Versi 5.1.0, saat ini belum adanya limit user yang bisa menggunakan fitur tersebut.

Apabila menemukan kendala selama meggunakan Aplikasi Chanthel247, silahkan untuk menghubungi Admin terkait.

Answered: [ASK] apa saja fitur terbaru di chanthel 5.1.0 ?

Wed, 04 Sep 2024 03:40:56 +0000

Terkait update fitur terbaru di Versi 5.1.0, Chanthel sekarang bisa digunakan untuk Video Conference dan pengoptimalan di menu Calender.

Apabila menemukan kendala selama meggunakan Aplikasi Chanthel247, silahkan untuk menghubungi Admin terkait.

Answered: [ASK] apakah storage user di chanthel dapat diupgrade ?

Wed, 04 Sep 2024 03:36:49 +0000

Untuk Chanthel versi saat ini total storage bisa dilakukan penambahan storage user. Apabila akan melakukan penambahan storage, silahkan untuk menghubungi Admin terkait,,

Answered: [ASK] YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

Mon, 02 Sep 2024 03:41:11 +0000

untuk sekarang versi YAVA yang support di upgrade ke RHEL 8 adalah YAVA 3.1 RHEL 7 mas

Answered: [ASK] Load data ke hive

Fri, 30 Aug 2024 04:13:57 +0000

- secara default Hive3 dalam managed table bersifat ACID, artinya table dari properties nya itu bersifat transactional

perlu create policy di ranger plugin hive & hdfs, kemudian add user yang digunakan untuk proses load data kedalam permission policy ranger plugin hive & hdfs

Answered: [ASK] hive-site jceks permission denied

Fri, 30 Aug 2024 03:52:21 +0000

- Grant user yang digunakan untuk run spark job ke ranger policy hive & hdfs

- perlu update file hive-site.xml yang dibawa ketika run job spark dengan cara meng-takeout file config hive-site.xml dari path hdfs://x.x.x.x:8020/user/<user-spark-job>/conf kemudian mencopy file hive-site.xml dari bawaan config hive-server2 kedalam path hdfs://x.x.x.x:8020/user/<user-spark-job>/conf

Answered: [ASK] Cara calculation & transpose di Hgrid DE

Tue, 27 Aug 2024 01:37:15 +0000

Untuk proses tersebut sudah saya buatkan UDF Tranformation-Fuction.

Nama UDF Fungsi tersebut hgridde.plugin.function.TransReferenceSum yang ada di hgrid_plugin.jar archive,

yang bisa didownload dari https://chanthel.solusi247.com/index.php/s/grEpAriN6sbifpD

Fungsi tersebut bisa dipanggil oleh Fungsi UDFTransfrom247 dengan parameter

file-referensi#field-delimiter#index-field-referensi#index-field-output

download file hgrid_plugin.jar dan simpan di folder plugins di aplikasi HGrid247.

Contoh file referensi (pertanggung2.txt) bisa didownload dari https://chanthel.solusi247.com/index.php/s/onLoAM8zDPDZg4m

Untuk conto WF bisa didownload dari https://chanthel.solusi247.com/index.php/s/A6wXyHGo794NW9o

Contoh proses :

input :

01010918000270MAF|1025

01012118000172MAF|10000

01012118001135MAF|10064

01012218000043MAF|2

03010918000106MAF|1537

referensi (pertanggung2.txt) :

10000|FLEXAS

1024|ALL RISK

512|BT

256|LSC

128|ESC

64|VI

32|BI

16|TS

8|CC

4|RSMD

2|EQVET

1|FSTWD

Output :

Results of 'StdOtutput_1'

|--|-----------------|------------------|-----------------|

|--|-----------------|------------------|-----------------|

|1 |01010918000270MAF|1025 |ALL RISK,FSTWD |

|2 |01012118000172MAF|10000 |FLEXAS |

|3 |01012118001135MAF|10064 |FLEXAS,VI |

|4 |01012218000043MAF|2 |EQVET |

|5 |03010918000106MAF|1537 |ALL RISK,BT,FSTWD|

|--|-----------------|------------------|-----------------|

Answered: [ASK] Cara split row di Hgrid DE

Tue, 20 Aug 2024 09:04:25 +0000

Gunakan Fungsi Reference ke File dan Fungsi SplitTranspose :

contoh input

IP070117000112MAF | 10001

IP070117000112MAG | 10003

contoh file reference (pertanggung.txt)

10001|FLEXAS,FSTWD

10003|FLEXAS,FSTWD,EQVET

ouput :

|1 |IP070117000112MAF |10001 |FLEXAS |

|2 |IP070117000112MAF |10001 |FSTWD |

|3 |IP070117000112MAG |10003 |FLEXAS |

|4 |IP070117000112MAG |10003 |FSTWD |

|5 |IP070117000112MAG |10003 |EQVET |

link download contoh WF https://chanthel.solusi247.com/index.php/s/inYenCdcAWk2tcR

link download contoh ref file https://chanthel.solusi247.com/index.php/s/NecfYHCG9DM3N7P

dense rank di Hgrid DE

Tue, 20 Aug 2024 02:23:48 +0000

Bagaimana cara untuk melakukan dense rank di hgrid DE
Contoh output yang diharapkan sebagai berikut:

Value	Rank
100	1
200	2
200	2
500	3
650	4
650	4
650	4
700	5
700	5

Terimakasih sebelumnya

Answered: [ASK] Cara cumulative sum di Hgrid DE

Mon, 19 Aug 2024 06:58:21 +0000

Pakai Buffer Function 'Accumulation'

Atau BufferTransformation Function Sum, dengan emit method : EMIT FOR EVERY RECORD

Jangan lupa sebelum Buffer atau Buffer Transformation di Group dan di sort dulu

Answered: [ASK] Hive-Interactive LLAP mati secara random

Tue, 19 Mar 2024 07:23:51 +0000

Log diatas belum bisa di simpulkan penyebab terjadinya kegagalan start llapnya. Perlu di cek lebih jauh dari log yang tersedia di yarn. Jika sebelumnya LLAP di cluster berjalan normal (bisa di gunakan sebagaimana mestinya), maka perlu bisa di coba cara sebagai berikut :

Stop sementara proses yang menggunakan LLAP, bisa dari aplikasi atau service lain seperti zeppelin.
Stop komponen HiveInteractive dari service Hive yang ada di ambari.
Cek status service di node yang terinstall LLAP untuk memastikan bahwa service LLAP terhenti (bisa menggunakan ps -ef | grep llap).
Start kembali komponen HiveInteractive dari service Hive yang ada di ambari.
Coba kembali query LLAP menggunakan beeline untuk memastikan.

Semoga membantu

Answered: [ASK] Koneksi Spark 3.0.2 ke metastore Hive 3.x

Wed, 13 Mar 2024 03:34:36 +0000

Untuk penggunaan pyspark agar dapat write/read ke managed table hive bisa menambahkan config sql statement

spark.sql.extensions=com.qubole.spark.hiveacid.HiveAcidAutoConvertExtension

dan add jar di artifact dependency calcite-core-1.32.0.jar & spark-acid_2.12-3.0.1.3.0.7110.0-81.jar pada spark2 interpreter

Answered: [ASK] Erorr substring didalam switch case

Fri, 23 Feb 2024 06:25:40 +0000

contohnya seperti ini mas

Answered: clustering event alert dari data history alert.

Mon, 08 Jan 2024 08:07:12 +0000

Case ini dapat diselesaikan menggunakan HGrid247 DE v3.3, untuk sementara bisa menggunakan beta version yang bisa di download di https://chanthel.solusi247.com/index.php/s/wJX2adEFHNmonrc

Untuk workflow dan UDF bisa didownload di https://drive.google.com/drive/folders/1f9Hz94WsAf1xg6mb0qGDHszzZGf-KPHm?usp=sharing

Langkah yang harus dilakukan:

Copy file HGridUDF-1.0-SNAPSHOT.jar ke dalam folder HGrid247-3.3\plugins.
pada assembly UDFBuffer, ada 3 parameter yang harus diisi dan dipisahkan dengan tanda # yaitu index timestamp yang digunakan, interval waktu dalam menit, dan format tanggal.
clean project terlebih dahulu, baru compile wf TselAlert.

Answered: Privilege synchronizer hive when using ranger and enable plugin hive ranger

Fri, 01 Dec 2023 02:57:45 +0000

Setelah diskusi dengan tim developer, fitur hive.privilege.synchronuzer=false akan disupport di next release.

Answered: [Solved] HGridDE v3.2 MR - anomali LikeReference() mendapatkan result tidak sesuai

Wed, 29 Nov 2023 05:18:33 +0000

HGrid library untuk mapreduce engine sudah saya update.

Silahkan download dar:

https://chanthel.solusi247.com/index.php/s/WqdPBsazjTKXnWK

replace libray-file libMR/HGrid247Lib3.2.jar dengan file hasil download.

Jangan lupa clean project untuk menghapus dependency library yang lama.

Answered: [Solved] HGridDE v3.2 MR - anomali output fungsi Reference() mendapatkan null,null

Fri, 13 Oct 2023 03:11:32 +0000

Library untuk mapreduce hgrid versi 3.2 sudah saya fix.

silahkan download dari https://chanthel.solusi247.com/index.php/s/H42NnTGXkxBjpdG

replace file libMR/HGrid247Lib-3.2.jar dengan yang baru

Demimikan juga dengan library spark-dataset hgrid versi 3.2 sudah say fix

silahkan download dari https://chanthel.solusi247.com/index.php/s/ztGRcJyBiz3nypB

replace file libSpark2DS/HSpark247Lib-3.2-spark2.x-DS.jar dengan yang baru

Jangan lupa clean project untuk menghapus depedency dengan library yang lama.

Semoga membantu.

Answered: Hive llap YAVA 3.1 - java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

Mon, 09 Oct 2023 01:25:38 +0000

Ternyata error dikarenakan direktori /tmp tidak di set ke executeable sehingga menyebabkan error java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy karena jar snappy tidak bisa di di running

Referensi :

- https://github.com/confluentinc/kafka-connect-hdfs/issues/421

Answered: [Open] HGridDE v3.2 - Spark - Error "java.lang.ArrayIndexOutOfBoundsException" padahal jumlah argument sudah sesuai

Thu, 05 Oct 2023 03:53:15 +0000

Library untuk spark rdd hgrid versi 3.2 sudah saya fix.

silahkan download dari https://chanthel.solusi247.com/index.php/s/jEFiT8Fe4AHXT84

replace file libSpark2/HSpark247Lib-3.2-spark2.x.jar dengan yang baru

Jangan lupa clean project untuk menghapus depedency dengan library yang lama.

Semoga membantu.

Answered: [Solved] HGridDE v3.2-Spark "java.lang.ArrayIndexOutOfBoundsException: 0" terdapat 1 karakter "," pada file referensi

Thu, 05 Oct 2023 03:52:50 +0000

Answered: [Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang

Wed, 04 Oct 2023 10:42:35 +0000

Answered: Spark history server UI not does not display job history

Tue, 03 Oct 2023 08:05:30 +0000

Selamat sore Pak Myzard, dari log error yang ditampilkan Could not initialize class org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider$BindingModel , kemungkinan terjadi conflict pada dependensi yang dibutuhkan class tersebut, apakah bisa dilampirkan daftar library yang digunakan pada Spark History Server?

Answered: solr error No registered leader was found after waiting for 4000s, saat recovering data collection

Tue, 03 Oct 2023 07:23:34 +0000

Selamat siang Pak Fajar, dari log yang dilampirkan di atas, shard collection tidak aktif karena timeout. Hal yang perlu diperiksa dari cluster SOLR untuk kendala tersebut diantaranya :

- Memeriksa status service Zookeeper, karena state SOLR dimanage oleh ZK.

- Menaikan Heapsize service SOLR jika memungkinkan. Terkadang proses GC yang padat dapat mengganggu kestabilan service karena resource CPU digunakan untuk proses GC.

- Meningkatkan konfigurasi timeout koneksi ke Zookeeper untuk menambah toleransi keterlambatan koneksi antara ZK dan SOLR.

Regards,

Answered: namenode downgrade

Tue, 03 Oct 2023 07:16:08 +0000

Selamat siang Pak Kholid, sebelumnya kami ingin menginformasikan bahwa downgrade dari YAVA 3.1 ke YAVA 3.0 tidak disupport official, sehingga harapannya hal ini tidak terulang lagi untuk kedepannya.

Untuk mengatasai sementara kendala Namenode starting ketika downgrade, bisa dicoba untuk menerapkan patch berikut pada script ambari agent di semua node HDFS.

PATCH

Note : patch ini hanya bersifat sementara, setelah cluster dapat berjalan kembali harap segera upgrade ke YAVA 3.1

Answered: zeppelin yava 3.1 returned status_code=400 saat restart

Mon, 25 Sep 2023 04:02:50 +0000

Selamat siang Pak Myzard,

kami telah menerima dan mencoba mereka ulang kendala yang anda temui. Berikut kami lampirkan patch dari sisi ambari untuk mengatasi kendala tersebut.

Link Patch

Silahkan dicoba untuk terapkan patch tersebut pada cluster staging untuk verifikasi kendala yang anda temui sebelumnya.

Answered: HGridDE v3.2 - Deskripsi ambigu pada informasi JOIN Assembly

Wed, 26 Jul 2023 10:39:00 +0000

Terima kasih koreksinya.

Answered: Proses pada yarn stuck

Wed, 26 Jul 2023 08:11:44 +0000

oke mungkin sebelumnya di internal OJK sudah tahu rootcause nya.

FYI untuk tim lain issue ACCEPTED yg intermittent itu akan berubah ke FAILED dg detail errornya adalah Timed out, tracingnya harus dicaritau di logs proses nya.
Saat itu ditemukan error Retrying connect to server. Solusinya karena OJK tdk pakai service HBASE maka ada yg diconfig ulang di yarn nya yaitu create dir baru sbg berikut:

1. hbase.rootdir from /atsv2/hbase/data to /atsv2/hbase/data2
2. zookeeper.znode.parent from /atsv2-hbase-secure to /atsv2-hbase-secure2

Detail troubleshoot bisa contact ke tim support L1 Yava

Answered: HGridDE v3.2 - Tidak bisa memasukkan Free IF-THEN-ELSE Expression

Tue, 28 Jun 2022 07:27:05 +0000

coba download HGrid247-3.2.jar dari https://chanthel.solusi247.com/index.php/s/Y4kkBSJDgrf6EnT

Answered: Cara update Apache Storm di Yava

Tue, 14 Jun 2022 08:42:20 +0000

Untuk saat ini belum tersedia bundle upgrade terkait service yang di maksud, di karenakan upgrade seperti ini akan berpengaruh terhadap bundle version service compatible yava secara keseluruhan.

Answered: HGRID247 DE : Error saat pengecekkan input/output field joiner dan arrange fields

Fri, 03 Jun 2022 09:30:46 +0000

coba pakai JDK 1.8

Answered: Tanya Output HGrid DE

Thu, 24 Mar 2022 04:18:03 +0000

Ada beberapa altenatif cara untuk mengontrol jumlah file ouput pada spark.

1. Dengan setting configurasi parameter spark.default.parallelism

   di-set sesuai dengan yang kita inginkan (default 200)

2. Dengan setting configurasi parameter spark.sql.shuffle.partitions

   di-set sesuai dengan yang kita inginkan (default 200)

3. Dengan repartion

    Pada spark Engine, untuk GroupBy Dialog di HGrid247-DE ada optisi

    Number Of Partition, silahkan diisi sesuai yang diinginkan.

Semoga bermanfaat.

Answered: [Solved] java.lang.IndexOutOfBoundsException in Quartile() function when got data source 2-3 rows after groupby

Fri, 28 Jan 2022 13:56:16 +0000

Untuk mengitung quartile, sample data mininal 4.

coba check di https://www.calculatorsoup.com/calculators/statistics/quartile-calculator.php

Found different result value between Hive Query & HGRID-AN vs HGRID-DE in Quartile(1) Function

Thu, 27 Jan 2022 11:45:08 +0000

Mohon bantuan pengecekkan apakah temuan berikut normal ?

Menemukan perbedaan hasil dari penggunaan fungsi Quartile(1) atau Percentile(25) dalam HGridDE 3.2 (spark & mapred) vs hasil dari Query Hive & HGridAN

Didapatkan nilai yg sama "2445044" pada output Quartal_1 dari hasil Query Hive & HgridAN, namun nilai output dari HGridDE berbeda

Query Hive:

select periode, key1,
min(cast(value_number as bigint)) min_val,
max(cast(value_number as bigint)) max_val,
cast(avg(cast(value_number as bigint)) as bigint) avg_val,
cast(percentile(cast(value_number as bigint),0.5) as bigint) med_val,
cast(percentile(cast(value_number as bigint),0.25) as bigint) q1_val,
cast(percentile(cast(value_number as bigint),0.75) as bigint) q3_val
from statistics_dataset_ok
group by periode, key1;

Source:
download_workflow_hgrid
download_dataset

Terima kasih

Grant Access

Tue, 18 Jan 2022 09:56:29 +0000

- Saya memiliki dokumen di salah satu folder di chanthel.
- Awalnya saya hanya grant edit ke 2 orang - si A dan B.
- karena ada kebutuhan untuk di update oleh PIC lain kemudian si A memberikan grant akses ke C.
- C kemudian komplain ke saya karena file nya tidak bisa di edit
- Pada saat saya akan memberikan akses ke C selalu gagal - notifnya file ini sudah di grant ke si C tp tidak muncul di list saya.

Apakah memang grant akses bisa diberikan oleh yang telah di grant seperti si A ke si C atau ini merupakah bugs.

imho, untuk bisa memberikan akses ke file seharusnya dari owner si file tsb. Jadi jika ini merupakan bugs sebaiknya field grant akses di disable jika dia bukan owner dari file tsb.
cmiiw

[Solved] Cannot link from Input Field to Aggregate-Function Median() - HGridDE 3.2

Tue, 18 Jan 2022 07:01:25 +0000

Hi Teman-teman,

Mohon masukan & caranya untuk penggunaan Aggregator-Function Median(), karena saya menemukan kendala tidak bisa menarik garis (garis tidak mau menempel) dari Input Field ke Median()

download workflow

Terima kasih

[Solved] Compilation Error using Agg-Function Quartile() in HgridDE 3.2 - Spark

Fri, 14 Jan 2022 07:42:25 +0000

Halo Semua,

Mohon pencerahannya teman-teman, saat ini menemukan error ketika compile dg engine Spark yaitu "Compilation Error" saat memakai Aggregate-Function Quartile().

Apakah penempatan atau caranya yang tdk sesuai atau ada kendala di tools nya ?

Terima kasih

Bagaimana mengetahui input - output dari workflow ?

Wed, 05 Jan 2022 02:34:23 +0000

Bagaimanakah cara mengetahui input - output dari workflow tanpa menjalankan worflow tersebut, apakah benar dengan menggunakan menu klik kanan Input - Output Argument info ini ? dikarenakan output nya ada expression condition

Bagaimana cara kerja MaxValue function pada transformator ?

Mon, 03 Jan 2022 07:42:04 +0000

Apakah ada yang mengetahui apakah bagaimana cara kerja MaxValue yang ada pada transformator. Apakah bekerja di-level map atau reduce ?

Saya ingin memastikan apabila melakukan proses data, misalkan ada 2 file dengan jumlah masing2 rekod 5. Apabila dicari MaxValue dari kolom tertentu, apakah output nya tetap 10 rekod atau hanya 1 rekod.

Thanks,