本期推荐的是一个开源的基于流图的并行计算框架——CGraph。
本工程实现了一套无任何第三方依赖的跨平台图流程计算框架。通过 GPipeline (流水线)底层调度,实现了依赖元素依次顺序执行、非依赖元素并发执行的调度功能。
使用者只需继承 GNode (节点)类,实现子类的 run() 方法,并根据需要设定依赖关系,即可实现任务的图化执行。
同时,使用者还可以通过设定各种包含多节点信息的 GGroup (组),自行控制图的条件判断、循环和并发执行逻辑。
此外,还可以通过添加 GAspect (切面)的方式,实现以上各种元素功能的横向扩展,或是通过引入各种 GAdapter (适配器)对单个节点功能进行加强。
编译说明
- 本工程支持MacOS、Linux和Windows系统,无任何第三方依赖。使用CLion作为IDE的开发者,打开CMakeLists.txt文件作为工程,即可编译通过。
- Linux环境开发者,在命令行模式下,输入以下指令,即可编译通过。
$ git clone https://github.com/ChunelFeng/CGraph.git
$ cd CGraph
$ cmake . -Bbuild
$ cd build
$ make -j8
- Windows环境中,使用Visual Studio作为IDE的开发者,clone本工程前请优先设置换行符类型。
$ git config --global core.autocrlf true # 设置Windows平台支持的CRLF换行符形式
$ git clone https://github.com/ChunelFeng/CGraph.git
$ ... ... # 接下来操作同Linux命令行环境,即可生成相应的*.sln文件
- 提供基于Ubuntu 20.04.3的Docker镜像。输入以下指令,即可获取并进入。
$ docker pull chunelfeng/cenv # 获取docker镜像
$ docker run -it --name CGraphEnv chunelfeng/cenv # 开启docker容器,并进入
- 提供online版本的编译调试环境,点击进入页面:https://gitpod.io/#/github.com/ChunelFeng/CGraph,输入以下指令,即可编译通过,并查看执行结果。
$ ./CGraph-build.sh # 编译CGraph工程,生成的内容在同级/build/文件夹中
$ ./build/T00-HelloCGraph # 运行第一个实例程序,并且在终端输出 Hello, CGraph.
使用DEMO
MyNode1.h
#include "../../src/CGraph.h"
class MyNode1 : public CGraph::GNode {
public:
CStatus run () override {
CStatus status;
CGraph::CGRAPH_ECHO("[%s], enter MyNode1 run function. Sleep for 1 second ... ", this->getName().c_str());
CGRAPH_SLEEP_SECOND(1)
return status;
}
};
MyNode2.h
#include "../../src/CGraph.h"
class MyNode2 : public CGraph::GNode {
public:
CStatus run () override {
CStatus status;
CGraph::CGRAPH_ECHO("[%s], enter MyNode2 run function. Sleep for 2 second ... ", this->getName().c_str());
CGRAPH_SLEEP_SECOND(2)
return status;
}
};
main.cpp
#include "MyGNode/MyNode1.h"
#include "MyGNode/MyNode2.h"
using namespace CGraph;
int main() {
/* 创建一个流水线,用于设定和执行流图信息 */
GPipelinePtr pipeline = GPipelineFactory::create();
GElementPtr a, b, c, d = nullptr;
/* 注册节点,其中MyNode1和MyNode2必须为GNode的子类,否则无法通过编译 */
CStatus status = pipeline->registerGElement<MyNode1>(&a, {}, "nodeA"); // 将名为nodeA,无执行依赖的node信息,注册入pipeline中
status += pipeline->registerGElement<MyNode2>(&b, {a}, "nodeB"); // 将名为nodeB,依赖a执行的node信息,注册入pipeline中
status += pipeline->registerGElement<MyNode1>(&c, {a}, "nodeC");
status += pipeline->registerGElement<MyNode2>(&d, {b, c}, "nodeD"); // 将名为nodeD,依赖{b,c}执行的node信息,注册入pipeline中
if (!status.isOK()) {
return; // 对以上所有CGraph接口的返回值做判定
}
/* 执行流图框架 */
status = pipeline->process();
GPipelineFactory::remove(pipeline);
return 0;
}
如上图所示,图结构执行的时候,首先执行a节点。a节点执行完毕后,并行执行b和c节点。b和c节点全部执行完毕后,再执行d节点。
—END—
开源协议:MIT