Flarf Community Index du Forum
ProfilSe connecter pour vérifier ses messages privés Membres Groupes S’enregistrer Connexion

spark xml parsing with spark streaming
Poster un nouveau sujet   Répondre au sujet    Flarf Community Index du Forum » Gaming » Left 4 Dead 2
Sujet précédent | Sujet suivant  
Auteur Message
Shawnturner
Invité

Hors ligne




MessagePosté le: Ven 10 Nov - 16:17 (2017)    Sujet du message: spark xml parsing with spark streaming Répondre en citant

Hi,


I am trying to parse an xml files using spark xml databricks package. I am using spark 2.2.0 and i do spark streaming to get the path of the XML file. Once i get the xml file i just get the sparksession.sqlcontext() and use read the xml file as follows , Its taking more than 30-45 mins to load the xml, This xml is about 5-10 MB max. And weird thing is that if i don't do spark streaming and just run this code on simple java program with sparksession. It works in minutes. May i know what am i missing?


Thank You!!!




I didn't find the right solution from the Internet.
References
https://forums.databricks.com/questions/...-streaming.html


motion graphics animations


...
Revenir en haut
Publicité






MessagePosté le: Ven 10 Nov - 16:17 (2017)    Sujet du message: Publicité

PublicitéSupprimer les publicités ?
...
Revenir en haut
Poster un nouveau sujet   Répondre au sujet    Flarf Community Index du Forum » Left 4 Dead 2
Montrer les messages depuis:   
 
 
Toutes les heures sont au format GMT + 2 Heures
Sauter vers:  

Page 1 sur 1



Index | Panneau d’administration | faire son forum | Forum gratuit d’entraide | Annuaire des forums gratuits | Signaler une violation | Conditions générales d'utilisation
Flarf community
Avec la participation de:
pacOver, Unholy, MaTrixRaZgriz and Cold-FX