Awesome
Assemblyline 4 - Core
This repository provides cores services for Assemblyline 4.
Image variants and tags
| Tag Type | Description | Example Tag |
|---|---|---|
| latest | The most recent build (can be unstable). | latest |
| build_type | The type of build used. dev is the latest unstable build. stable is the latest stable build. | stable or dev |
| series | Complete build details, including version and build type: version.buildType. | 4.5.stable, 4.5.1.dev3 |
Components
Alerter
Create alerts for the different submissions in the system.
docker run --name alerter cccs/assemblyline-core python -m assemblyline_core.alerter.run_alerter
Archiver
Archives submissions and their results & files into the archive.
docker run --name archiver cccs/assemblyline-core python -m assemblyline_core.archiver.run_archiver
Dispatcher
Route the files in the system while a submission is tacking place. Make sure all files during a submission are completed by all required services.
docker run --name dispatcher cccs/assemblyline-core python -m assemblyline_core.dispatching
Expiry
Delete submissions and their results when their time-to-live expires.
docker run --name expiry cccs/assemblyline-core python -m assemblyline_core.expiry.run_expiry
Ingester
Move ingested files from the priority queues to the processing queues.
docker run --name ingester cccs/assemblyline-core python -m assemblyline_core.ingester
Metrics
Generates metrics of the different components in the system.
Heartbeat Manager
docker run --name heartbeat cccs/assemblyline-core python -m assemblyline_core.metrics.run_heartbeat_manager
Metrics Aggregator
docker run --name metrics cccs/assemblyline-core python -m assemblyline_core.metrics.run_metrics_aggregator
Statistics Aggregator
docker run --name statistics cccs/assemblyline-core python -m assemblyline_core.metrics.run_statistics_aggregator
Scaler
Spin up and down services in the system depending on the load.
docker run --name scaler cccs/assemblyline-core python -m assemblyline_core.scaler.run_scaler
Updater
Make sure the different services get their latest update files.
docker run --name updater cccs/assemblyline-core python -m assemblyline_core.updater.run_updater
Workflow
Run the different workflows in the system and apply their labels, priority and status.
docker run --name workflow cccs/assemblyline-core python -m assemblyline_core.workflow.run_workflow
Documentation
For more information about these Assemblyline components, follow this overview of the system's architecture.
Assemblyline 4 - Core
Ce dépôt fournit des services de base pour Assemblyline 4.
Variantes et étiquettes d'image
| Type d'étiquette | Description | Exemple d'étiquette |
|---|---|---|
| dernière | La version la plus récente (peut être instable). | latest |
| build_type | Le type de compilation utilisé. dev est la dernière version instable. stable est la dernière version stable. | stable ou dev |
| séries | Le détail de compilation utilisé, incluant la version et le type de compilation : version.buildType. | 4.5.stable, 4.5.1.dev3 |
Composants
Alerter
Crée des alertes pour les différentes soumissions dans le système.
docker run --name alerter cccs/assemblyline-core python -m assemblyline_core.alerter.run_alerter
Archiver
Archivage des soumissions, de leurs résultats et des fichiers dans l'archive.
docker run --name archiver cccs/assemblyline-core python -m assemblyline_core.archiver.run_archiver
Dispatcher
Achemine les fichiers dans le système durant une soumission. S'assure que tous les fichiers de la soumission courante soient complétés par tous les services requis.
docker run --name dispatcher cccs/assemblyline-core python -m assemblyline_core.dispatching
Expiration
Supprimer les soumissions et leurs résultats à l'expiration de leur durée de vie.
docker run --name expiry cccs/assemblyline-core python -m assemblyline_core.expiry.run_expiry
Ingester
Déplace les fichiers ingérés des files d'attente prioritaires vers les files d'attente de traitement.
docker run --name ingester cccs/assemblyline-core python -m assemblyline_core.ingester
Métriques
Génère des métriques des différents composants du système.
Heartbeat Manager
docker run --name heartbeat cccs/assemblyline-core python -m assemblyline_core.metrics.run_heartbeat_manager
Agrégateur de métriques
docker run --name metrics cccs/assemblyline-core python -m assemblyline_core.metrics.run_metrics_aggregator
Agrégateur de statistiques
docker run --name statistics cccs/assemblyline-core python -m assemblyline_core.metrics.run_statistics_aggregator
Scaler
Augmente et diminue les services dans le système en fonction de la charge.
docker run --name scaler cccs/assemblyline-core python -m assemblyline_core.scaler.run_scaler
Mise à jour
Assure que les différents services reçoivent leurs derniers fichiers de mise à jour.
docker run --name updater cccs/assemblyline-core python -m assemblyline_core.updater.run_updater
Workflow
Exécute les différents flux de travail dans le système et appliquer leurs étiquettes, leur priorité et leur statut.
docker run --name workflow cccs/assemblyline-core python -m assemblyline_core.workflow.run_workflow
Documentation
Pour plus d'informations sur ces composants Assemblyline, suivez ce overview de l'architecture du système.