You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user@hadoop.apache.org by Philippe Kernévez <pk...@octo.com> on 2017/01/01 12:22:22 UTC
HDFS client with Knox
kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
En particulier depuis un client HDFS.
Je peux faire (ça marche) :
a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls
webhdfs://node1:50070/apps
c) CURL sur mon WebHDFS : curl "
http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS"
d) CURL sur Knox : curl -u admin:admin-password -k "
https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"
Par contre comment faire avec Knox ? J'ai 2 pb :
a) Comment faire une authent basique, je ne trouve pas de moyen de passer
un login/password à la commande (soit elle est sans sécu, soit avec
Kerberos)
b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas
exister...
--
Philippe Kernévez
Directeur technique (Suisse),
pkernevez@octo.com
+41 79 888 33 32 <+41%2079%20888%2033%2032>
Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com
Re: HDFS client with Knox
Posted by Ulul <ha...@ulul.org>.
Hi
Philippe is asking about using basing auth with knox and using SSL with
webhdfs
a) this is exactly what you do with your d) : you pass
admin:admin-password credentials to knox, basic auth bing curl default.
If your question is about knox authenticating to hdfs, that's normal :
HDFS has only "no security" or kerberos
b) You can find swebhdfs
http://hortonworks.com/blog/deploying-https-hdfs/ but I'd say it's more
experimental than poduction grade. And the idea behind knox is that you
have an SSL encrypted stream between your client and knox, as you did in
d), and then clear streams between knox and HDFS servers, the cluster
being protected by a firewall of some kind. Please note that Knox
creates a bottleneck through which all data is flowing so don't use it
for massive data transfer
Ulul
On 01/01/2017 15:46, Ted Yu wrote:
> Can you phrase your post in English ?
>
> 2017-01-01 4:22 GMT-08:00 Philippe Kern�vez <pkernevez@octo.com
> <ma...@octo.com>>:
>
> kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
> En particulier depuis un client HDFS.
> Je peux faire (�a marche) :
> a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
> b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls
> webhdfs://node1:50070/apps
> c) CURL sur mon WebHDFS : curl
> "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS
> <http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS>"
> d) CURL sur Knox : curl -u admin:admin-password -k
> "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS
> <https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS>"
>
> Par contre comment faire avec Knox ? J'ai 2 pb :
> a) Comment faire une authent basique, je ne trouve pas de moyen de
> passer un login/password � la commande (soit elle est sans s�cu,
> soit avec Kerberos)
> b) Comment indiquer que le protocole est en SSL, webhdfss ne
> semble pas exister...
>
> --
>
>
> Philippe Kern�vez
>
>
>
> Directeur technique (Suisse),
>
>
> pkernevez@octo.com <ma...@octo.com>
> +41 79 888 33 32 <tel:+41%2079%20888%2033%2032>
>
>
>
> Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
> OCTO Technology http://www.octo.com
>
>
>
>
>
>
Re: HDFS client with Knox
Posted by Philippe Kernévez <pk...@octo.com>.
Hi all,
Sorry for that bad quality post.
I accidentally send a draft during my holidays (with a bad connexion). I
will send you a detail message (in english) as soon as I can.
I will update it with your answer.
Regards,
Philippe
2017-01-01 15:46 GMT+01:00 Ted Yu <yu...@gmail.com>:
> Can you phrase your post in English ?
>
> 2017-01-01 4:22 GMT-08:00 Philippe Kernévez <pk...@octo.com>:
>
>> kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
>> En particulier depuis un client HDFS.
>> Je peux faire (ça marche) :
>> a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
>> b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls
>> webhdfs://node1:50070/apps
>> c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/v1
>> /apps?op=LISTSTATUS"
>> d) CURL sur Knox : curl -u admin:admin-password -k "
>> https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"
>>
>> Par contre comment faire avec Knox ? J'ai 2 pb :
>> a) Comment faire une authent basique, je ne trouve pas de moyen de passer
>> un login/password à la commande (soit elle est sans sécu, soit avec
>> Kerberos)
>> b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas
>> exister...
>>
>> --
>>
>>
>> Philippe Kernévez
>>
>>
>>
>> Directeur technique (Suisse),
>>
>>
>> pkernevez@octo.com
>> +41 79 888 33 32 <+41%2079%20888%2033%2032>
>>
>>
>>
>> Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
>> OCTO Technology http://www.octo.com
>>
>>
>>
>>
>>
>>
>
--
Philippe Kernévez
Directeur technique (Suisse),
pkernevez@octo.com
+41 79 888 33 32
Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com
Re: HDFS client with Knox
Posted by Ted Yu <yu...@gmail.com>.
Can you phrase your post in English ?
2017-01-01 4:22 GMT-08:00 Philippe Kernévez <pk...@octo.com>:
> kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
> En particulier depuis un client HDFS.
> Je peux faire (ça marche) :
> a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
> b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls
> webhdfs://node1:50070/apps
> c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/
> v1/apps?op=LISTSTATUS"
> d) CURL sur Knox : curl -u admin:admin-password -k "
> https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"
>
> Par contre comment faire avec Knox ? J'ai 2 pb :
> a) Comment faire une authent basique, je ne trouve pas de moyen de passer
> un login/password à la commande (soit elle est sans sécu, soit avec
> Kerberos)
> b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas
> exister...
>
> --
>
>
> Philippe Kernévez
>
>
>
> Directeur technique (Suisse),
>
>
> pkernevez@octo.com
> +41 79 888 33 32 <+41%2079%20888%2033%2032>
>
>
>
> Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
> OCTO Technology http://www.octo.com
>
>
>
>
>
>