Labs247 Community - Recent questions in YAVA247

tab executor di spark UI tidak tampil

Thu, 14 Nov 2024 06:53:25 +0000

permisi kaka, jadi saya mau akses tab executor di ui spark. tetapi tidak muncul apa". jika di yava3.0 muncul. berikut evidencenya. image spark ui

Terimakasih

Bagaimana cara install dan configure Tez-UI di cluster Secure?

Thu, 24 Oct 2024 08:55:56 +0000

Pheonix Query Server Stuck ketika dicoba di akses

Thu, 24 Oct 2024 08:44:05 +0000

Phoenix Query Server stuck ketika di akses via sqlline-thin, dan tidak ada progress apa-apa. Berikut outputnya :

[hbase@yava-02.labs247.com root]$ /usr/yava/current/phoenix-client/bin/sqlline-thin.py yava-02.labs247.com:8765

Kerberos login from ticket cache successful

Setting property: [incremental, false]

Setting property: [isolation, TRANSACTION_READ_COMMITTED]

issuing: !connect -p driver org.apache.phoenix.queryserver.client.Driver -p user "none" -p password "none" "jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO"

Connecting to jdbc:phoenix:thin:url=http://yava-02.labs247.com:8765;serialization=PROTOBUF;authentication=SPNEGO

Error kerberos force admin principal when enable

Mon, 30 Sep 2024 08:14:12 +0000

ketika enable kerberos pada ambari selalu muncul pop up kredensial admin ,walau sudah benar user dan password berikut errornya

KerberosHelperImpl:2470 - Cannot validate credentials: org.apache.ambari.server.AmbariException: Unexpected error condition executing the kadmin command. STDERR: kadmin: Matching credential not found (filename: /tmp/ambari_krb_6519752404733791893cc) while initializing kadmin interface

[ASK] produk apa saja yang dihasilkan oleh tim YAVA ?

Fri, 30 Aug 2024 03:25:52 +0000

produk apa saja yang dihasilkan oleh tim YAVA ?

[ASK] YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

Fri, 30 Aug 2024 03:23:53 +0000

YAVA versi berapa saja yang support upgrade ke RHEL 8 ?

[ASK] Cara cumulative sum di Hgrid DE

Fri, 16 Aug 2024 06:24:55 +0000

Untuk melakukan comulative sum di hgrid sepertia apa ya ?
sample data input:
A|1
A|2
A|3
A|4

ekspektasi output :
A|1|1
A|2|3
A|3|6
A|4|10

[ASK] Load data ke hive

Fri, 15 Mar 2024 08:09:32 +0000

saat load data menggunakan query LOAD DATA INPATH, muncul error seperti ini:

Caused by: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. org.apache.hadoop.hive.ql.metadata.HiveException: Load Data failed for hdfs://xxxxxx.labs247.com:8020/tmp/2024_03_15/userdev/application_1710473512908_0021/9e7258fa-163f-48af-b27c-0622530ff7d8/9e7258fa-163f-48af-b27c-0622530ff7d8_0_5 as the file is not owned by hive and load data is also not ran as hive

apakah ada workaround nya untuk case ini tanpa harus chown?

[ASK] Hive-Interactive LLAP mati secara random

Fri, 15 Mar 2024 02:34:42 +0000

Saat menggunakan hive-interactive llap pada yava 3.1, terjadi shutdown service llap. berikut log yg didapat

Dag submit failed due to Call interrupted stack trace: [org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1567), org.apache.hadoop.ipc.Client.call(Client.java:1519), org.apache.hadoop.ipc.Client.call(Client.java:1416), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:236), org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:123), com.sun.proxy.$Proxy59.submitDAG(Unknown Source), org.apache.tez.client.FrameworkClient.submitDag(FrameworkClient.java:133), org.apache.tez.client.TezClient.submitDAGSession(TezClient.java:702), org.apache.tez.client.TezClient.submitDAG(TezClient.java:611), org.apache.hadoop.hive.ql.exec.tez.TezTask.submit(TezTask.java:544), org.apache.hadoop.hive.ql.exec.tez.TezTask.execute(TezTask.java:216), org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205), org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97), org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664), org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335), org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709), org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703), org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157), org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:224), org.apache.hive.service.cli.operation.SQLOperation.access$700(SQLOperation.java:87), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:316), java.security.AccessController.doPrivileged(Native Method), javax.security.auth.Subject.doAs(Subject.java:422), org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1878), org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:329), java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511), java.util.concurrent.FutureTask.run(FutureTask.java:266), java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149), java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624), java.lang.Thread.run(Thread.java:748)] retrying...
FAILED: Operation cancelled
Exception in thread "HiveServer2-Handler-Pool: Thread-930" java.lang.IllegalStateException: Shutdown in progress, cannot remove a shutdownHook

[ASK] hive-site jceks permission denied

Thu, 14 Mar 2024 09:24:24 +0000

Saat run spark di Yava 3.1 Kerberized, muncul error seperti ini:

`Caused by: java.io.FileNotFoundException: /usr/yava/current/hive-client/conf/hive-site.jceks (Permission denied)`

error ini dapat diperbaiki dengan melakukan `chmod` file td di semua node.

tapi masalahnya, setiap hive di-restart, error ini muncul kembali. Apakah ada solusi permanen untuk case ini?

[ASK] Koneksi Spark 3.0.2 ke metastore Hive 3.x

Tue, 12 Mar 2024 04:28:31 +0000

Apakah spark versi 3.0.2 yang digunakan pada Yava 3.1 dapat langsung terkoneksi (via thfirf) ke metastore Hive 3.x ?

Jika bisa, apakah contoh code untuk baca / tulis managed table nya?

Jika tidak bisa, bagaimana cara spark / pyspark 3.0.2 dapat membaca / tulis ke managed table hive ?

Privilege synchronizer hive when using ranger and enable plugin hive ranger

Fri, 01 Dec 2023 02:52:17 +0000

jadi, saya mengalami penambahan size dari table db metastore hive yang sangat significan karena ada processing syncronize privilege dari setiap user yang mengakses hive. table tersebut bernama TBL_COL_PRIVS. saya sudah mencoba mentruncate atau mendeletenya tetapi nanti akan regenerate kembali data syncronize privilege tersebut.

Terimakasih

Hive llap YAVA 3.1 - java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

Fri, 06 Oct 2023 09:28:40 +0000

Pada saat melakukan starting hive llap aman, tetapi kemudian service hive llap stopped sendiri, dan telah dilakukan cek terhadap logs muncul seperti berikut

java.lang.NoClassDefFoundError: Could not initialize class org.xerial.snappy.Snappy

sebelumnya sudah mencoba untuk restart dan mengganti config memory di hive llap tetapi masih belum start secara aman, apa yang bisa saya coba lagi ya untuk melakukan troubleshoot?

Spark history server UI not does not display job history

Tue, 03 Oct 2023 07:54:54 +0000

Pada YAVA 3.1 saat membuka spark history server tidak muncul complete application atau incomplete application. juga saat job spark running tidak bisa melihat jumlah executornya.
Berikut log yang muncul disaat akses spark history server

3/10/02 11:13:03 WARN HttpChannel: /api/v1/applications java.lang.NoClassDefFoundError: Could not initialize class org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider$BindingModel at org.glassfish.jersey.server.internal.inject.WebTargetValueParamProvider.<init>(WebTargetValueParamProvider.java:263) at org.glassfish.jersey.server.internal.inject.ValueParamProviderConfigurator.init(ValueParamProviderConfigurator.java:108) at org.glassfish.jersey.server.ApplicationHandler.lambda$initialize$0(ApplicationHandler.java:290) at java.util.Arrays$ArrayList.forEach(Arrays.java:3880)

Bagaimana agar complete / incomplete application nya muncul di spark history server ui nya? Terima kasih

namenode downgrade

Tue, 03 Oct 2023 02:14:35 +0000

"java.lang.IllegalArgumentException: The "downgrade" option is no longer supported since it may incorrectly finalize an ongoing rolling upgrade."

jadi ketika saya nyoba downgrade sewaktu upgrade yava3.0 ke yava3.1 saya mendapat error demikian. apakah downgrade untuk namenode emang tidak di dukung?. jika terlanjur seperti ini apa yang bisa saya coba?

terimakasih

zeppelin yava 3.1 returned status_code=400 saat restart

Fri, 22 Sep 2023 02:38:55 +0000

saat restart zeppelin pada yava 3.1 muncul error returned status_code=400 saat curl notebook yang mengandung special char berikut log nya

File "/usr/lib/ambari-agent/lib/resource_management/libraries/providers/hdfs_resource.py", line 295, in _run_command

raise WebHDFSCallException(err_msg, result_dict)

resource_management.libraries.providers.hdfs_resource.WebHDFSCallException: Execution of 'curl -sS -L -w '%{http_code}' -X PUT -d '' -H 'Content-Length: 0' 'http://yava-edge01:50070/webhdfs/v1/usr/yava/current/zeppelin-server/notebook/admin@yava^-^HandsOn%20GG_2J3J25N6N.zpln?op=SETOWNER&owner=zeppelin&group=&user.name=hdfs'' returned status_code=400.

bagaimana agar notebook zeppelin yang mengandung special char bisa ter curl saat restart zeppelin ?

terima kasih

Proses pada yarn stuck

Wed, 21 Dec 2022 09:01:22 +0000

Sering kali yarn tidak menjalankan proses yg sudah dalam status ACCEPTED, padahal kondisi cluster sedang kosong dan tidak ada proses lain yg berjalan.

Solusi workaround yg biasa dilakukan adalah dengan restart YARN.

pertanyaan: apakah ada cara lain? atau ada konfigurasi yang perlu disesuaikan?

Cara update Apache Storm di Yava

Tue, 19 Apr 2022 03:10:16 +0000

Bagaimana cara update component Apache Storm di Yava ke versi yg lebih baru? Dalam kasus ini, saya ingin upgrade dari 1.2.2 ke 1.2.4 (minor upgrade).

GSS initiate failed

Mon, 12 Jul 2021 08:04:07 +0000

jika ada error seperti ini saat spark mau connect ke hive:

Caused by: org.apache.thrift.transport.TTransportException: GSS initiate failed

kenapa ya?
FAQ:
Sudah kinit ? sudah ..
Bisa pakai beeline dari command line? bisa..

tapi gak bisa via spark. apakah perlu kinit disetiap node nya ? mohon pencerahannya.

Zeppelin Intrepreter untuk R dan Python

Thu, 14 Jan 2021 06:28:44 +0000

Apakah Yava support zeppelin dengan intrepeter R dan Python ?
Bagaimana cara install dan konfigurasinya ?

Apakah kafka connect udah masuk didalam yava stack ?

Thu, 17 Dec 2020 06:53:51 +0000

Apakah Kafka connect sudah ternasuk kedalam stack nya yava ?