Home

Awesome

<h1 id="id1">utils4s</h1>

公众号: 公众号

Build StatusJoin the chat at https://gitter.im/jacksu/utils4s

Issues 中包含我们平时阅读的关于scala、spark好的文章,欢迎推荐

utils4s包含各种scala通用、好玩的工具库demo和使用文档,通过简单的代码演示和操作文档,各种库信手拈来。

同时欢迎大家贡献各种好玩的、经常使用的工具库。

开源中国地址

QQ交流群 432290475(已满),请加530066027 <a target="_blank" href="http://shang.qq.com/wpa/qunwpa?idkey=cea04391fbc7ae1c55b78476174b518a0ba3fdc040cd6abeadd1e85826c51f3b"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="Scala Spark" title="Scala Spark"></a> 或者点击上面gitter图标也可以参与讨论

作者博客专注大数据、分布式系统、机器学习,欢迎交流

微博:jacksu_

<h2 id="id2">scala语法学习</h2>

说明:scala语法学习过程中,用例代码都放在scala-demo模块下。

利用IntelliJ IDEA与Maven开始你的Scala之旅

快学scala电子书(推荐入门级书)

scala理解的比较深

scala99问题

scala初学者指南(这可不是初学者可以理解的欧,还是写过一些程序后再看)

scala初学者指南英文版

scala学习用例

scala入门笔记

Databricks风格

scala/java 通过maven编译(Mixed Java/Scala Projects)

<h2 id="id21">common库</h2>

日志操作log4s

单元测试scalatest

日期操作lama)(注:只支持日期操作,不支持时间操作)

日期时间操作nscala-time)(注:没有每月多少天,每月最后一天,以及每年多少天)

json解析json4s

resources下文件加载用例

文件操作better-files

单位换算squants

线性代数和向量计算(breeze)

分布式并行实现库akka(akka)

Twitter工具库twitter util

日常脚本工具

<h2 id="id22">BigData库</h2> <h3 id="id221">Spark</h3> <h4 id="id2211">Spark core</h4> [spark远程调试源代码](http://hadoop1989.com/2016/02/01/Spark-Remote-Debug/)

spark介绍

一个不错的spark学习互动课程

spark 设计与实现

aliyun-spark-deploy-tool---Spark on ECS

<h4 id="id2212">Spark Streaming</h4>

Spark Streaming使用Kafka保证数据零丢失

spark streaming测试用例

spark streaming源码解析

基于spark streaming的聚合分析(Sparkta)

<h4 id="id2213">Spark SQL</h4>

spark DataFrame测试用例

Hive Json加载

SparkSQL架构设计和代码分析

<h4 id="id2213">Spark 机器学习</h4>

spark机器学习源码解析

KeyStoneML KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.

spark TS

<h4 id="id2214">Spark zeppelin</h4>

Z-Manager--Simplify getting Zeppelin up and running

zeppelin--a web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.

helium--Brings Zeppelin to data analytics application platform

<h4 id="id2215">Spark 其它</h4>

spark专题在简书

databricks spark知识库

spark学习知识总结

Spark library for doing exploratory data analysis in a scalable way

图处理(cassovary)

基于spark进行地理位置分析(gagellan)

spark summit east 2016 ppt

<h3 id="id222">ES</h3>

ES 非阻塞scala客户端

<h3 id="id223">Beam</h3> [Apache Beam:下一代的数据处理标准](http://geek.csdn.net/news/detail/134167) <h2 id="id23">贡献代码步骤</h2> 1. 首先 fork 我的项目 2. 把 fork 过去的项目也就是你的项目 clone 到你的本地 3. 运行 git remote add jacksu git@github.com:jacksu/utils4s.git 把我的库添加为远端库 4. 运行 git pull jacksu master 拉取并合并到本地 5. coding 6. commit后push到自己的库( git push origin master ) 7. 登陆Github在你首页可以看到一个 pull request 按钮,点击它,填写一些说明信息,然后提交即可。 1~3是初始化操作,执行一次即可。在coding前必须执行第4步同步我的库(这样避免冲突),然后执行5~7既可。 <h2 id="id24">贡献者</h2> [jjcipher](https://github.com/jjcipher)