Labs247 Community - Recent questions and answers in YAVA247

Answered: tab executor di spark UI tidak tampil

Fri, 15 Nov 2024 01:36:56 +0000

Bisa coba cara ini mas kholid,

Lakukan di semua node yg terinstall spark-client / spark-historyserver

1. Masuk ke dir spark/jars

cd /usr/yava/3.1.0.0-0000/spark2/jars

2. Download jar tambahan untuk Executor Metrics

wget https://repo1.maven.org/maven2/org/glassfish/jersey/core/jersey-client/2.30/jersey-client-2.30.jar

wgeta https://repo1.maven.org/maven2/org/glassfish/jersey/bundles/repackaged/jersey-guava/2.25.1/jersey-guava-2.25.1.jar

3. Restart All Service Spark dari AmbariUI

4. Rerun Jobs Spark, dan Monitoring jobs nya dari Spark Application UI

Answered: Bagaimana cara install dan configure Tez-UI di cluster Secure?

Mon, 28 Oct 2024 05:27:41 +0000

Secara garis besar step-step nya sebagai berikut :

1. Install, start and enable httpd

2. Create dir for extract file war.

3. Add configurations on service tez and hive.

Untuk cara install dan configure Tez-UI di secure cluster bisa coba referensi dari link berikut ini :

https://shorturl.at/6lFID
https://bit.ly/2Or5e8K
https://bit.ly/30RMhyR

Answered: Pheonix Query Server Stuck ketika dicoba di akses

Mon, 28 Oct 2024 05:15:56 +0000

Untuk pemecahannya bisa mencoba dari link berikut ini:
https://chanthel.solusi247.com/index.php/s/PoD8rCtqoe2jY5z

Answered: Error kerberos force admin principal when enable

Tue, 01 Oct 2024 03:59:31 +0000

Apakah sudah dicoba cek untuk hostname di setiap node dan server kerberosnya, disarankan untuk tidak menggunakan Uppercase dalam penamaan hostname

Answered: [ASK] produk apa saja yang dihasilkan oleh tim YAVA ?

Thu, 05 Sep 2024 06:27:13 +0000

Product yang di buat dan di kembangan oleh team YAVA sebagai berikut :

YAVA247 Data Management Platform yaitu Platform Big Data yang digunakan untuk menyediakan, mengelola dan memantau cluster yang berbasis Hadoop. Platform ini menggunakan kekuatan dari ekosistem Hadoop dan dirancang untuk mempercepat penerapan implementasi Hadoop.
YAVA Container (Tronton) yaitu Platform Aplikasi Container yang dibangun di atas Kubernetes dengan penambahan berbagai fitur untuk meningkatkan produktivitas dan keamanan.

Answered: [ASK] YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

Mon, 02 Sep 2024 03:41:11 +0000

untuk sekarang versi YAVA yang support di upgrade ke RHEL 8 adalah YAVA 3.1 RHEL 7 mas

Answered: [ASK] Load data ke hive

Fri, 30 Aug 2024 04:13:57 +0000

- secara default Hive3 dalam managed table bersifat ACID, artinya table dari properties nya itu bersifat transactional

perlu create policy di ranger plugin hive & hdfs, kemudian add user yang digunakan untuk proses load data kedalam permission policy ranger plugin hive & hdfs

Answered: [ASK] hive-site jceks permission denied

Fri, 30 Aug 2024 03:52:21 +0000

- Grant user yang digunakan untuk run spark job ke ranger policy hive & hdfs

- perlu update file hive-site.xml yang dibawa ketika run job spark dengan cara meng-takeout file config hive-site.xml dari path hdfs://x.x.x.x:8020/user/<user-spark-job>/conf kemudian mencopy file hive-site.xml dari bawaan config hive-server2 kedalam path hdfs://x.x.x.x:8020/user/<user-spark-job>/conf

Answered: [ASK] Cara cumulative sum di Hgrid DE

Mon, 19 Aug 2024 06:58:21 +0000

Pakai Buffer Function 'Accumulation'

Atau BufferTransformation Function Sum, dengan emit method : EMIT FOR EVERY RECORD

Jangan lupa sebelum Buffer atau Buffer Transformation di Group dan di sort dulu

Answered: [ASK] Hive-Interactive LLAP mati secara random

Tue, 19 Mar 2024 07:23:51 +0000

Log diatas belum bisa di simpulkan penyebab terjadinya kegagalan start llapnya. Perlu di cek lebih jauh dari log yang tersedia di yarn. Jika sebelumnya LLAP di cluster berjalan normal (bisa di gunakan sebagaimana mestinya), maka perlu bisa di coba cara sebagai berikut :

Stop sementara proses yang menggunakan LLAP, bisa dari aplikasi atau service lain seperti zeppelin.
Stop komponen HiveInteractive dari service Hive yang ada di ambari.
Cek status service di node yang terinstall LLAP untuk memastikan bahwa service LLAP terhenti (bisa menggunakan ps -ef | grep llap).
Start kembali komponen HiveInteractive dari service Hive yang ada di ambari.
Coba kembali query LLAP menggunakan beeline untuk memastikan.

Semoga membantu

Answered: [ASK] Koneksi Spark 3.0.2 ke metastore Hive 3.x

Wed, 13 Mar 2024 03:34:36 +0000

Untuk penggunaan pyspark agar dapat write/read ke managed table hive bisa menambahkan config sql statement

spark.sql.extensions=com.qubole.spark.hiveacid.HiveAcidAutoConvertExtension

dan add jar di artifact dependency calcite-core-1.32.0.jar & spark-acid_2.12-3.0.1.3.0.7110.0-81.jar pada spark2 interpreter

Answered: Privilege synchronizer hive when using ranger and enable plugin hive ranger

Fri, 01 Dec 2023 02:57:45 +0000

Setelah diskusi dengan tim developer, fitur hive.privilege.synchronuzer=false akan disupport di next release.

Answered: Hive llap YAVA 3.1 - java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

Mon, 09 Oct 2023 01:25:38 +0000

Ternyata error dikarenakan direktori /tmp tidak di set ke executeable sehingga menyebabkan error java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy karena jar snappy tidak bisa di di running

Referensi :

- https://github.com/confluentinc/kafka-connect-hdfs/issues/421

Answered: Spark history server UI not does not display job history

Tue, 03 Oct 2023 08:05:30 +0000

Selamat sore Pak Myzard, dari log error yang ditampilkan Could not initialize class org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider$BindingModel , kemungkinan terjadi conflict pada dependensi yang dibutuhkan class tersebut, apakah bisa dilampirkan daftar library yang digunakan pada Spark History Server?

Answered: namenode downgrade

Tue, 03 Oct 2023 07:16:08 +0000

Selamat siang Pak Kholid, sebelumnya kami ingin menginformasikan bahwa downgrade dari YAVA 3.1 ke YAVA 3.0 tidak disupport official, sehingga harapannya hal ini tidak terulang lagi untuk kedepannya.

Untuk mengatasai sementara kendala Namenode starting ketika downgrade, bisa dicoba untuk menerapkan patch berikut pada script ambari agent di semua node HDFS.

PATCH

Note : patch ini hanya bersifat sementara, setelah cluster dapat berjalan kembali harap segera upgrade ke YAVA 3.1

Answered: zeppelin yava 3.1 returned status_code=400 saat restart

Mon, 25 Sep 2023 04:02:50 +0000

Selamat siang Pak Myzard,

kami telah menerima dan mencoba mereka ulang kendala yang anda temui. Berikut kami lampirkan patch dari sisi ambari untuk mengatasi kendala tersebut.

Link Patch

Silahkan dicoba untuk terapkan patch tersebut pada cluster staging untuk verifikasi kendala yang anda temui sebelumnya.

Answered: Proses pada yarn stuck

Wed, 26 Jul 2023 08:11:44 +0000

oke mungkin sebelumnya di internal OJK sudah tahu rootcause nya.

FYI untuk tim lain issue ACCEPTED yg intermittent itu akan berubah ke FAILED dg detail errornya adalah Timed out, tracingnya harus dicaritau di logs proses nya.
Saat itu ditemukan error Retrying connect to server. Solusinya karena OJK tdk pakai service HBASE maka ada yg diconfig ulang di yarn nya yaitu create dir baru sbg berikut:

1. hbase.rootdir from /atsv2/hbase/data to /atsv2/hbase/data2
2. zookeeper.znode.parent from /atsv2-hbase-secure to /atsv2-hbase-secure2

Detail troubleshoot bisa contact ke tim support L1 Yava

Answered: Cara update Apache Storm di Yava

Tue, 14 Jun 2022 08:42:20 +0000

Untuk saat ini belum tersedia bundle upgrade terkait service yang di maksud, di karenakan upgrade seperti ini akan berpengaruh terhadap bundle version service compatible yava secara keseluruhan.

Answered: GSS initiate failed

Thu, 26 Aug 2021 10:12:47 +0000

Untuk mengatasi poblem di spark biasanya ada mekanisme untuk menambahkan parameter conf untuk mengindentifikasi config dari kinit kerberos. Untuk case ini bsa di coba menggunakan link berikut
https://stackoverflow.com/questions/40409112/hive-jdbc-kerberose-authentication-error-gss-initiate-failed

Answered: Zeppelin Intrepreter untuk R dan Python

Thu, 26 Aug 2021 10:06:25 +0000

Untuk support yang sudah di coba sejauh ini hanya untuk python intrepreter, untuk R sendiri belum di uji coba lebih lanjut, namun tidak menutup kemungkinan bisa di gunakan. Untuk konfigurasi intepreternya bisa merujuk ke link berikut ini :
https://zeppelin.apache.org/docs/0.8.1/interpreter/python.html
https://zeppelin.apache.org/docs/0.8.1/interpreter/r.html

Answered: Apakah kafka connect udah masuk didalam yava stack ?

Thu, 17 Dec 2020 09:07:37 +0000

kafka connect tidak di bundle ke dalam stack yava, untuk saat ini yava masih menggunakan kafka dari apache (https://kafka.apache.org)