Labs247 Community - Recent questions

[ASK] MongoDB to ORC - Issue konversi date HGRID-DE v3.4 DJP

Tue, 15 Jul 2025 03:11:12 +0000

Halo team , minta tolong ada cara konversi dari tipe date MongoDB ke file ORC ?

Sumber data:
> view list

> view json

tapi hasil yang didapatkan di file orc menjadi berikut:
"createdat":"Mon Apr 14 19:14:48 WIB 2025"

Untuk tipedata yang dipakai di MongoDB Source parameter adl String dan disimpan juga ke String,
iseng pakai fungsi StringtoTimestamp & TimestamptoString kena failed Caused by: java.lang.RuntimeException: Unparseable date: 'Fri Oct 25 15:04:43 WIB 2024' of transformation [createdAt]->StringToTimestamp->[TimestampToString(yyyy-MM-dd HH:mm:ss)] at assembly 'Transformator_3_' at

Thanks

[REQUEST] Fitur create workflow from template di Hgrid DE

Thu, 24 Apr 2025 05:04:28 +0000

Halo team,
Barangkali bisa dimasukkan sebagai tambahan fitur helper, dimungkinkan ada shortcut yang bisa men-generate workflow berdasarkan template. template ini mungkin bisa berangkat dari kebutuhan misal:

template workflow menggunakan sink tertentu (e.g. kafka, orc, mongodb, dsb)
template fitur function tertentu (e.g. text-similarity, percentile, dsb)

cukup itu dulu, dan semoga selalu jaya jaya jaya

terima kasih Team

[REQUEST] Fitur search workflow di Hgrid DE

Tue, 24 Dec 2024 05:59:55 +0000

Request fitur search nama workflow di Hgrid DE untuk memudahkan pencarian ketika objects wf banyak

Terima kasih

[ISSUE] [ODOO] Checklist yang di buat di dalam TASK sering tidak tersimpan

Tue, 24 Dec 2024 02:07:58 +0000

Setelah membuat checklist, sering kali tidak tersimpan otomatis saat kita membuka task bersangkutan,,mohon pencerahannya

[ISSUE] [ODOO] ]Member Odoo sering out dari project bersangkutan

Fri, 13 Dec 2024 08:27:37 +0000

Kenapa akun kita sering keluar sendiri dari project tersebut padahal kita tidak melakukan unfollow .Mohon bantuannya tim admin odoo

[ASK] apakah odoo adalah sejenis aplikasi ERP ?

Thu, 12 Dec 2024 01:30:53 +0000

Jika benar, apa saja proses ERP yang bisa berjalan di dalam odoo ?

[ASK] Fitur apa saja yang terdapat di odoo & bisa gunakan ?

Thu, 12 Dec 2024 00:31:32 +0000

Fitur dalam odoo sangat banyak. Kira - kira fitur apa saja yang sudah berjalan & bisa digunakan ?

[ASK] Produk seperti apakah Odoo yang dimiliki Solusi247 ?

Thu, 12 Dec 2024 00:29:57 +0000

- Produk seperti apakah Odoo tersebut ?

Condition within JOIN di HGRID

Thu, 21 Nov 2024 04:07:47 +0000

Apakah bisa atau memungkinkan ditambahkan CONDITION di dalam operasi JOIN?

tab executor di spark UI tidak tampil

Thu, 14 Nov 2024 06:53:25 +0000

permisi kaka, jadi saya mau akses tab executor di ui spark. tetapi tidak muncul apa". jika di yava3.0 muncul. berikut evidencenya. image spark ui

Terimakasih

Bagaimana cara install dan configure Tez-UI di cluster Secure?

Thu, 24 Oct 2024 08:55:56 +0000

Pheonix Query Server Stuck ketika dicoba di akses

Thu, 24 Oct 2024 08:44:05 +0000

Phoenix Query Server stuck ketika di akses via sqlline-thin, dan tidak ada progress apa-apa. Berikut outputnya :

[hbase@yava-02.labs247.com root]$ /usr/yava/current/phoenix-client/bin/sqlline-thin.py yava-02.labs247.com:8765

Kerberos login from ticket cache successful

Setting property: [incremental, false]

Setting property: [isolation, TRANSACTION_READ_COMMITTED]

issuing: !connect -p driver org.apache.phoenix.queryserver.client.Driver -p user "none" -p password "none" "jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO"

Connecting to jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO

Error kerberos force admin principal when enable

Mon, 30 Sep 2024 08:14:12 +0000

ketika enable kerberos pada ambari selalu muncul pop up kredensial admin ,walau sudah benar user dan password berikut errornya

KerberosHelperImpl:2470 - Cannot validate credentials: org.apache.ambari.server.AmbariException: Unexpected error condition executing the kadmin command. STDERR: kadmin: Matching credential not found (filename: /tmp/ambari_krb_6519752404733791893cc) while initializing kadmin interface

[ASK] Bagaimanakah cara menggunaan function StandardDeviation di HGRID-DE?

Fri, 13 Sep 2024 03:52:49 +0000

Apakah ada sample flow penggunaan function StandardDeviation dan StdDevPop

di HGRID-DE

[ASK] Bagaimana cara menambahkan partisipan pada fitur conversation setelah room sudah dibuat?

Fri, 13 Sep 2024 01:40:05 +0000

[ASK] apakah storage user di chanthel dapat diupgrade ?

Fri, 30 Aug 2024 03:35:01 +0000

apakah storage user di chanthel dapat diupgrade ?

[ASK] Produk seperti apakah iTops ?

Fri, 30 Aug 2024 03:31:53 +0000

[ASK] Produk seperti apakah YAVAI ?

Fri, 30 Aug 2024 03:31:15 +0000

[ASK] produk apa saja yang dihasilkan oleh tim YAVA ?

Fri, 30 Aug 2024 03:25:52 +0000

produk apa saja yang dihasilkan oleh tim YAVA ?

[ASK] YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

Fri, 30 Aug 2024 03:23:53 +0000

YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

[ASK] apa saja fitur terbaru di chanthel 5.1.0 ?

Fri, 30 Aug 2024 03:22:17 +0000

apa saja fitur terbaru di chanthel 5.1.0 ?

[ASK] berapa banyak user yang bisa menggunakan fitur meeting online di chanthel?

Fri, 30 Aug 2024 03:20:42 +0000

berapa banyak user yang bisa menggunakan fitur meeting online nya?

[ASK ]Bagaimana cara untuk melakukan perhitungan rata-rata di HGRID DE

Fri, 30 Aug 2024 02:47:00 +0000

Bagaimana cara untuk melakukan perhitungan rata-rata suatu transaksi dengan formula menggunakan nilai hasil perhitungan rata-rata di record sebelumnya

SortNo.

Beli

Qty

CQty

rata-rata Beli

Type trx

100

1000

100

101

100

1100

100.0909091

102

500

600

100.0909091

200

800

99.81818182

Berikut untuk formula rata-rata beli untu type trx=B

dengan catatan:

untuk first record rata-rata Beli sudah tersedia valuenya dan
untuk type trx=S, rata-rata Beli as is dengan rata-rata beli type trx B sebelumnya(yg terakhir)

Mohon bantuanya, thanks

[ASK] Cara calculation & transpose di Hgrid DE

Wed, 21 Aug 2024 03:26:17 +0000

ijin bertanya terkait case berikut apakah bisa dilakukan di proses hgrid ,mohon bantuannya

source_data
nomor_polis|kode_pertanggungan
01010918000270MAF|1025
01012118000172MAF|10000
01012118001135MAF|10064
01012218000043MAF|2
03010918000106MAF|1537

reference kode_pertanggungan
kode_pertanggungan|jenis_pertanggungan
10000|FLEXAS
1024|ALL RISK
512|BT
256|LSC
128|ESC
64|VI
32|BI
16|TS
8|CC
4|RSMD
2|EQVET
1|FSTWD

result
jenis_pertanggungan |kode_pertanggungan
ALL RISK,FSTWD |1025 =>hasil perhitungan dari kode_pertanggungan 1024+1=1025
FLEXAS |10000
FLEXAS,VI |10064 =>hasil perhitungan dari kode_pertanggungan 10000+64=10064
EQVET | 2
ALL RISK,BT,FSTWD|1537 => hasil perhitungan dari kode_pertanggungan 1024+512+1=1537

[ASK] Cara split row di Hgrid DE

Tue, 20 Aug 2024 07:24:51 +0000

dense rank di Hgrid DE

Tue, 20 Aug 2024 02:23:48 +0000

Bagaimana cara untuk melakukan dense rank di hgrid DE
Contoh output yang diharapkan sebagai berikut:

Value	Rank
100	1
200	2
200	2
500	3
650	4
650	4
650	4
700	5
700	5

Terimakasih sebelumnya

[ASK] Cara cumulative sum di Hgrid DE

Fri, 16 Aug 2024 06:24:55 +0000

Untuk melakukan comulative sum di hgrid sepertia apa ya ?
sample data input:
A|1
A|2
A|3
A|4

ekspektasi output :
A|1|1
A|2|3
A|3|6
A|4|10

[Video] Tutorial Yava247

Thu, 04 Apr 2024 09:22:36 +0000

Video Tutorial Yava247 Playlist:

https://youtube.com/playlist?list=PLuRNRFoU_AxX7SFF_kYTeBn-dOptuNVWS&si=jm0JUpsaHaUJsECz

[ASK] Load data ke hive

Fri, 15 Mar 2024 08:09:32 +0000

saat load data menggunakan query LOAD DATA INPATH, muncul error seperti ini:

Caused by: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Load Data failed for hdfs://xxxxxx.labs247.com:8020/tmp/2024_03_15/userdev/application_1710473512908_0021/9e7258fa-163f-48af-b27c-0622530ff7d8/9e7258fa-163f-48af-b27c-0622530ff7d8_0_5 as the file is not owned by hive and load data is also not ran as hive

apakah ada workaround nya untuk case ini tanpa harus chown?

[ASK] Hive-Interactive LLAP mati secara random

Fri, 15 Mar 2024 02:34:42 +0000

Saat menggunakan hive-interactive llap pada yava 3.1, terjadi shutdown service llap. berikut log yg didapat

Dag submit failed due to Call interrupted stack trace: [org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1567), org.apache.hadoop.ipc.Client.call(Client.java:1519), org.apache.hadoop.ipc.Client.call(Client.java:1416), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:236), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:123), com.sun.proxy.$Proxy59.submitDAG(Unknown Source), org.apache.tez.client.FrameworkClient.submitDag(FrameworkClient.java:133), org.apache.tez.client.TezClient.submitDAGSession(TezClient.java:702), org.apache.tez.client.TezClient.submitDAG(TezClient.java:611), org.apache.hadoop.hive.ql.exec.tez.TezTask.submit(TezTask.java:544), org.apache.hadoop.hive.ql.exec.tez.TezTask.execute(TezTask.java:216), org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205), org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97), org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664), org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335), org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703), org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157), org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:224), org.apache.hive.service.cli.operation.SQLOperation.access$700(SQLOperation.java:87), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:316), java.security.AccessController.doPrivileged(Native Method), javax.security.auth.Subject.doAs(Subject.java:422), org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:329), java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511), java.util.concurrent.FutureTask.run(FutureTask.java:266), java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149), java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624), java.lang.Thread.run(Thread.java:748)] retrying...
FAILED: Operation cancelled
Exception in thread "HiveServer2-Handler-Pool: Thread-930" java.lang.IllegalStateException: Shutdown in progress, cannot remove a shutdownHook

[ASK] hive-site jceks permission denied

Thu, 14 Mar 2024 09:24:24 +0000

Saat run spark di Yava 3.1 Kerberized, muncul error seperti ini:

`Caused by: java.io.FileNotFoundException: /usr/yava/current/hive-client/conf/hive-site.jceks (Permission denied)`

error ini dapat diperbaiki dengan melakukan `chmod` file td di semua node.

tapi masalahnya, setiap hive di-restart, error ini muncul kembali. Apakah ada solusi permanen untuk case ini?

[ASK] Koneksi Spark 3.0.2 ke metastore Hive 3.x

Tue, 12 Mar 2024 04:28:31 +0000

Apakah spark versi 3.0.2 yang digunakan pada Yava 3.1 dapat langsung terkoneksi (via thfirf) ke metastore Hive 3.x ?

Jika bisa, apakah contoh code untuk baca / tulis managed table nya?

Jika tidak bisa, bagaimana cara spark / pyspark 3.0.2 dapat membaca / tulis ke managed table hive ?

[ASK] Erorr substring didalam switch case

Thu, 22 Feb 2024 03:21:31 +0000

Fungsi substr di dalam switchcase tidak berfungsi.

lenghprefix_lenght_p_p merupakan field yg berisi concat dari 2 field yg akan digunakan untuk index & lenghth, contoh isi field dapat dilihat pada link.

ketika dijalankan, akan error . Dev dilakukan di HGridDE v3.2 dengan engine Map Reduce. untuk capture contoh penggunaan substring dpt dilihat di Downlaod capture

[Video] Sharing Session Produk-Produk Labs247

Thu, 11 Jan 2024 01:48:18 +0000

Dapat diakses di :

https://www.youtube.com/playlist?list=PLuRNRFoU_AxX_-Fu99VZpZbzg3Bs1c4n6

[Video] Proofreading Training

Thu, 11 Jan 2024 01:46:25 +0000

Recording Proofreading Training

https://www.youtube.com/playlist?list=PLuRNRFoU_AxXn3eYwJl_ijPJHmY6rtmqr

[Video] Sharing SessionInstalasi & Fungsional Medan247

Thu, 11 Jan 2024 00:45:04 +0000

Instalasi Medan247 :

https://youtu.be/cx2U8Hh1q_4?si=luYyxyBQ2jgHkHDT

Fungsional Medan247:

https://youtu.be/boSD8rG6Pl4?si=Zds-5BpUbIk2VWoE

clustering event alert dari data history alert.

Fri, 05 Jan 2024 02:41:58 +0000

Dapatkah HGrid247 DE menyelesaikan case menentukan klaster alert dari data history event alert.

Data tediri dari "Datetime Alert|Alert_ID|Alert_Type".
Dari data tersebut jika dalam interval n (bisa 5 menit atau range waktu yang ditetapkan ) secara asumsi dan kesepakatan dianggap merupakan cluster kejadian yang sama, sehingga dapat di tentukan:
- Kapan alert dimulai/muncul
- Kapan alert berahir
- berapa banyak jumlah alert dari cluster kejadian
Sebagai gambaran berikut simulasi datanya.

Privilege synchronizer hive when using ranger and enable plugin hive ranger

Fri, 01 Dec 2023 02:52:17 +0000

jadi, saya mengalami penambahan size dari table db metastore hive yang sangat significan karena ada processing syncronize privilege dari setiap user yang mengakses hive. table tersebut bernama TBL_COL_PRIVS. saya sudah mencoba mentruncate atau mendeletenya tetapi nanti akan regenerate kembali data syncronize privilege tersebut.

Terimakasih

[Solved] HGridDE v3.2 MR - anomali LikeReference() mendapatkan result tidak sesuai

Thu, 23 Nov 2023 04:49:29 +0000

Dear Labs247,
saya mendapatkan hasil anomali LikeReference() yang sependek saya tahu seharusnya fungsinya mirip dengan logic
field_text LIKE %string_search%
namun sebagian result mendapatkan hasil yang tidak sesuai justru mencari sebaliknya
string_search LIKE %field_text%

Berikut output LikeReference() terlihat muncul anomali pada ID ke 2 dan 4 :

ID | Text | Refs

Terlampir file csd silahkan download di sini

Terima kasih.

[Solved] HGridDE v3.2 MR - anomali output fungsi Reference() mendapatkan null,null

Wed, 11 Oct 2023 23:46:40 +0000

Dear Labs247,
mengacu ke thread berikut
[Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang
saya mendapatkan case yang sama saat running menggunakan Map Reduce.

Anomaly tersebut hanya terjadi pada hasil fungsi Reference(), tapi untuk fungsi lain seperti LikeReference() dan References() hasilnya aman.

Dapat dicek pada file output output_anomaly_comma_ref.txt kolom ke-4 muncul value null,null

Terlampir list csd, file input, ref dan hasil output yang dijalankan download

Terima kasih.

[Video] Tutorial HGRID247-DE

Mon, 09 Oct 2023 01:44:31 +0000

Playlist Tutorial : https://youtube.com/playlist?list=PLuRNRFoU_AxV20P_XxcA3Uv6-oPdpwU1t&si=E_lupFYPirJS2nMw

[Video] Sharing Session, Intslation, Upgrade & Preventive Maintenance HGrid247 AN v 3.2

Mon, 09 Oct 2023 01:42:56 +0000

Sharing Session : https://youtu.be/nR7Zm0C9j8Y?si=DIF24kEGodImg_Bz

Instalation : https://youtu.be/U3as-6Hh-1w

Upgrade : https://youtu.be/KmJ5w9QsJ9w

Preventive Maintenance : https://youtu.be/isgnZiIc3xs

[Video] Sharing session Chanthel247 v5

Mon, 09 Oct 2023 01:39:34 +0000

https://youtu.be/dzwG-rwL3KM?si=qM428KFpniqm8rOr

[Video] Sharing Session Redamcan-247

Mon, 09 Oct 2023 01:38:29 +0000

https://youtu.be/aUHu-Tissx4?si=bOmufi3ymgeFi_zb

[Video] Sharing session Yava247 v3 1 RHEL 7

Mon, 09 Oct 2023 01:34:06 +0000

Part 1 : https://youtu.be/qiKELtOHR0g?si=4yNZG2JMO-oAC2Kd

Part 2 : https://youtu.be/6cZTN-NsSZ4?si=YaCAYWMAtGBtXVhH

[Video] Sharing Session Millio-247

Mon, 09 Oct 2023 01:31:56 +0000

YiFlow247 : https://youtu.be/nSIx69Llj2k?si=FtYBD5iT51dTMgTl

Millio247 : https://youtu.be/-HLxlnDA6H0?si=Lj2QHjcWSlkOhrq7

Hive llap YAVA 3.1 - java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

Fri, 06 Oct 2023 09:28:40 +0000

Pada saat melakukan starting hive llap aman, tetapi kemudian service hive llap stopped sendiri, dan telah dilakukan cek terhadap logs muncul seperti berikut

java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

sebelumnya sudah mencoba untuk restart dan mengganti config memory di hive llap tetapi masih belum start secara aman, apa yang bisa saya coba lagi ya untuk melakukan troubleshoot?

Spark history server UI not does not display job history

Tue, 03 Oct 2023 07:54:54 +0000

Pada YAVA 3.1 saat membuka spark history server tidak muncul complete application atau incomplete application. juga saat job spark running tidak bisa melihat jumlah executornya.
Berikut log yang muncul disaat akses spark history server

3/10/02 11:13:03 WARN HttpChannel: /api/v1/applications java.lang.NoClassDefFoundError: Could not initialize class org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider$BindingModel at org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider.<init>(WebTargetValueParamProvider.java:263) at org.glassfish.jersey.server.internal.inject.ValueParamProviderConfigurator.init(ValueParamProviderConfigurator.java:108) at org.glassfish.jersey.server.ApplicationHandler.lambda$initialize$0(ApplicationHandler.java:290) at java.util.Arrays$ArrayList.forEach(Arrays.java:3880)

Bagaimana agar complete / incomplete application nya muncul di spark history server ui nya? Terima kasih

[Solved] HGridDE v3.2 Spark - anomali output fungsi Reference() menampilkan text null dengan delimiter koma berulang

Tue, 03 Oct 2023 07:51:01 +0000

Mendapatkan anomali output fungsi Reference() jika value field yang dicari mengandung karakter koma

Contoh:
1. input: DESA PANTIANOM,KEC.BOJONG,KAB.PEKALONGAN
output Reference(): null,null,null
2. input: Nama Orang, S.Pd, M.Pd, M.Sc
output Reference(): null,null,null,null

Development dilakukan di HGridDE v3.2 dengan engine SPARK 2.x RDD
Untuk file csd, referensi dan cara eksekusi spark dapat lihat link download

[Solved] HGridDE v3.2-Spark "java.lang.ArrayIndexOutOfBoundsException: 0" terdapat 1 karakter "," pada file referensi

Tue, 03 Oct 2023 07:44:08 +0000

Kebutuhan: menggunakan file referensi untuk mendapatkan text yang dicari

Issue: Mendapatkan anomali "java.lang.ArrayIndexOutOfBoundsException: 0" ketika ada sebuah file referensi yang mengandung 1 karakter "," (comma)

Jika karakter "," dihapus pada file ref maka proses berjalan sukses. Development dilakukan di HGridDE v3.2 dengan engine SPARK 2.x RDD

Berikut file csd dan informasi lainnya download
Untuk file referensi yang dapat dites:

tanda_baca_tempat_usaha.txt (muncul error)
tanda_baca_tempat_usaha_without_comma (berhasil)