Awesome
データサイエンス100本ノック(構造化データ加工編)
Overview
- データサイエンス100本ノック(構造化データ加工編)を実践するための演習問題とデータ、および環境構築のためのスクリプト一式
- 演習問題はSQL、Python、Rで共通
- 言語によっては向かない設問もあるが、「この言語のときはこう書けば実現できる」という技術習得を目指すことを優先
- 個人情報のように見える項目は全てダミーデータを利用
- 大学、企業など組織でのご利用にあたっては、「データサイエンティスト協会スキル定義委員」の「データサイエンス100本ノック(構造化データ加工編)」を利用していることを明示いただければ自由に利用してOK
- データサイエンス100本ノック(構造化データ加工編)の解説本が販売されています
- データサイエンス100本ノック(構造化データ加工編)の利用に関するご質問等について、個別での対応は受けかねますので予めご了承ください
- データサイエンス100本ノック(構造化データ加工編)の利用により生じるいかなる問題についても、当協会は一切の責任を負いかねますのであらかじめご了承ください
Description
- Dockerfile(
dockerfiles/notebook/Dockerfile
,dockerfiles/notebook/Dockerfile
) docker-compose.yml
- スーパーの架空購買データと架空個人情報(csv)
- データベースを初期設定するための各種スクリプト
- 設問と解答例のノートブックファイルおよびHTMLファイル
Requirement
- Local
- Docker Desktop(Windows 10/11, macOS)
- Apple M1チップ搭載のMacの場合は Docker Desktop 4.4.2 以降
- WindowsのHome EditionでもWSL2をインストールすることでDocker Desktopが使えるようになりました!
- Cloud Service
Install
git clone git@github.com:The-Japan-DataScientist-Society/100knocks-preprocess.git
cd 100knocks-preprocess
docker compose up -d --build --wait
※ macOSでユーザーのホームディレクトリ配下以外にファイル群を配置する場合、Dockerの共有設定が別途必要となります
※ Windowsでgitを利用する場合、デフォルト設定でのインストールを行うとスクリプトの改行コードを変えられてしまい、データベースを正しく構築できないことがあります (参考)
※ 改行を変えないよう設定するか、ZIPをダウンロードして利用してください
※ コンテナは作成されたがデータベースに接続できない、という場合の多くはディレクトリに対するアクセス権限設定の問題となります
※ インストールの説明は doc
配下の説明資料も参照してください
Usage
- ブラウザで以下のURLにアクセスします
How to contribute
開発に協力していただける場合は本リポジトリをcloneし、 https://pre-commit.com/ の手順に従って pre-commit
をインストールしてください。
これにより、 .pre-commit-config.yaml
の設定に基づいて、コミット時にクレデンシャルが含まれていないかの検査が行われるようになります。
Document
doc
配下にデータサイエンス100本ノック(構造化データ加工編)の説明資料と設問PDF、設問HTML、解答例HTMLを配置work
配下に設問notebookを配置work/answer
配下に解答例notebookを配置work/data
配下に使用したデータを配置
Link
本コンテンツの内容やセットアップ手順について解説いただいているサイト、Dockerについて基本から学べるサイト
Author
The Data Scientist Society
LICENSE
docker/doc/100knocks_guide.pdf
は協会ロゴ等が含まれるため、CC-BY-NDとなります- その他ファイルはMITライセンスに従います