Spark dataframe. Spark фреймворк. архитектура spark sql. spark api для определяемых пользователем процедур. spark java.