0 votes
in YAVA247 by (1.4k points)

jika ada error seperti ini saat spark mau connect ke hive:

Caused by: org.apache.thrift.transport.TTransportException: GSS initiate failed

kenapa ya?
FAQ:
Sudah kinit ? sudah ..
Bisa pakai beeline dari command line? bisa..

tapi gak bisa via spark. apakah perlu kinit disetiap node nya ? mohon pencerahannya.

1 Answer

0 votes
by (540 points)
Untuk mengatasi poblem di spark biasanya ada mekanisme untuk menambahkan parameter conf untuk mengindentifikasi config dari kinit kerberos. Untuk case ini bsa di coba menggunakan link berikut
https://stackoverflow.com/questions/40409112/hive-jdbc-kerberose-authentication-error-gss-initiate-failed
by (1.4k points)
jadi seperti ini ya?

```
spark-submit \
    --files key.conf#key.conf,v.keytab#v.keytab \
    --driver-java-options "-Djava.security.auth.login.config=./key.conf" \
    --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=./key.conf" \
...
```

sumber:

https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/developing-spark-applications/content/running_spark_streaming_jobs_on_a_kerberos-enabled_cluster.html
by (540 points)
Ya, bisa di coba terlebih dahulu untuk memastikan. Tapi jika masih terkendala, mungkin perlu di jabarkan terlebih dahulu job yang akan di jalankan, karena error di atas bisa saja terjadi di job2 lain yang mirip.
Welcome to Labs247 Community, where you can ask questions and receive answers from other members of the community.
...