聊聊如何利用Testcontainers进行集成测试

极客专门说后端2024-06-11 14:14:01  142

1、何为Testcontainers?

Testcontainers是一个库,它为引导本地开发和测试依赖关系提供了简单而轻量级的API,并将真实的服务封装在Docker容器中。使用Testcontainers,您可以编写依赖于您在生产中使用的相同服务的测试,而不需要mock或内存服务。

用比较直白的话就是testcontainers 能够让你实现通过编程语言去启动Docker容器,并在程序测试结束后,自动关闭容器

2、Testcontainers有哪些优势?

每个Test Group都能像写单元测试那样细粒度地写集成测试,保证每个集成单元的高测试覆盖率。

Test Group间是做到依赖隔离的,也就是说它们不共享任何一个Docker容器。

保证了生产环境和测试环境的一致性,代码部署到线上时不会遇到因为依赖服务接口不兼容而导致的bug 。

Test Group可以并行化运行,减少整体测试运行时间。相比较有些 in-memory的依赖服务实现没有实现很好的资源隔离,比如端口,一旦并行化运行就会出现端口冲突 。

得益于Docker,所有测试都可以在本地环境和

CI/CD环境中运行,测试代码调试和编写就如同写单元测试。

支持市面上主流的语言以及平台,比如java、go、python等

3、使用Testcontainers有哪些注意点

Testcontainers基于Docker,所以使用Testcontainers前需要依赖Docker环境。

Testcontainers 提供的环境不能应用于生产环境、只能用于测试环境等场景

4、Testcontainers连接docker的策略

Testcontainers在运行时将会尝试按如下顺序使用以下策略连接到 Docker 守护程序:

环境变量:

– DOCKER_HOST

– DOCKER_TLS_VERIFY

– DOCKER_CERT_PATH

每个变量的作用:

DOCKER_HOST to set the url to the docker server.

DOCKER_CERT_PATH to load the tls certificates from.

UseDOCKER_TLS_VERIFY to enable or disable TLS verification.

默认值

DOCKER_HOST=https://localhost:2376

DOCKER_TLS_VERIFY=1

DOCKER_CERT_PATH=~/.docker

我们可以通过环境变量修改以上值,示例

System.setProperty("DOCKER_HOST","tcp://192.168.0.1:2375")

注: 通过程序修改,我们必须确保System.setProperty,在Testcontainers启动容器之前就已经设置,否则无法生效

以上内容可以在官网https://java.testcontainers.org/supported_docker_environment/查到更详细的介绍

下面就以Testcontainers集成redis,并通过junit5进行单元测试为例进行演示

示例

1、项目中pom引入junit5 gav

1.9.2 5.9.2 org.junit.jupiter junit-jupiter-engine ${junit-jupiter.version} test org.junit.jupiter junit-jupiter-api ${junit-jupiter.version} test org.junit.vintage junit-vintage-engine ${junit-jupiter.version} test org.junit.platform junit-platform-commons ${junit-platform.version} test

注: 如果使用高本版的springboot,则可以直接引入

org.springframework.boot spring-boot-starter-test test org.junit.platform junit-platform-commons ${junit-platform.version} test

即可

2、项目中pom引入testcontainers gav

1.17.3 org.testcontainers testcontainers ${testcontainers.version} org.testcontainers junit-jupiter ${testcontainers.version} test

当然也需要引入redis客户端 gav,因为这个大家应该都知道,就不介绍了

3、在我们的单元测试中,让testcontainers运行redis容器

示例代码如下

@Container private static GenericContainer redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6")) .withExposedPorts(6379);

上面的代码的意思是创建镜像为redis:6.2.6容器,并将6379端口暴露出来

同时在测试类上,需要添加@Testcontainers(disabledWithoutDocker = true)

注解

@Testcontainers(disabledWithoutDocker = true)public class RedisTest { @Container private static GenericContainer redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6")) .withExposedPorts(6379);}

4、将我们业务程序能和容器集成

private Jedis jedis; @BeforeEach public void setUp { int port = redis.getMappedPort(6379); jedis = new Jedis(redis.getHost, port); }

5、运行单元测试

@Testcontainers(disabledWithoutDocker = true)public class RedisTest { @Container private static GenericContainer redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6")) .withExposedPorts(6379); private Jedis jedis; @BeforeEach public void setUp { int port = redis.getMappedPort(6379); jedis = new Jedis(redis.getHost, port); } @AfterEach public void tearDown { if (jedis != null) { jedis.close; } } @Test public void testRedisConnectionAndSetAndGet { // 测试连接和简单存取 String key = "testKey"; String value = "testValue"; jedis.set(key, value); String result = jedis.get(key); assert result.equals(value); }

我们可以先观察一下docker容器,可以发现redis容器已经成功运行

再观察一下单元测试结果,和我们预期一样

单元测试结束后,我们再看下容器

发现容器已经销毁

上述的例子在官网也有详细教程,可以查看如下链接

https://java.testcontainers.org/quickstart/junit_5_quickstart/

目前我们项目基本都是和springboot集成,接下来我们简单演示一下testcontainers、springboot、redis集成

完整例子如下

@SpringBootTest(classes = TestcontainersApplication.class,webEnvironment = SpringBootTest.WebEnvironment.NONE)@Testcontainers(disabledWithoutDocker = true)public class RedisContainerByDynamicPropertySourceTest { @Autowired private StringRedisTemplate redisTemplate; @Container private static GenericContainer redis = new GenericContainer<>(DockerImageName.parse("redis:6.2.6")) .withExposedPorts(6379);// @BeforeEach// public void setUp {//// System.setProperty("spring.redis.host", redis.getHost);// System.setProperty("spring.redis.port", redis.getMappedPort(6379).toString);// } /** * Spring TEST 5.2.5才引入DynamicPropertySource * @param registry */ @DynamicPropertySource private static void registerRedisProperties(DynamicPropertyRegistry registry) { registry.add("spring.redis.host", redis::getHost); registry.add("spring.redis.port", -> redis.getMappedPort(6379) .toString); } @Test public void testRedisConnectionAndSetAndGet { // 测试连接和简单存取 String key = "testKey"; String value = "testValue"; redisTemplate.opsForValue.set(key, value); String result = redisTemplate.opsForValue.get(key); assert Objects.equals(result, value); }}

核心的代码是

@DynamicPropertySource private static void registerRedisProperties(DynamicPropertyRegistry registry) { registry.add("spring.redis.host", redis::getHost); registry.add("spring.redis.port", -> redis.getMappedPort(6379) .toString); }

这个注解是spring5.2.5之后才有,当你事先不知道属性的值时,通过@DynamicPropertySource和DynamicPropertyRegistry 搭配可以实现动态属性绑定。详细介绍可以查看spring官网

https://docs.spring.io/spring-framework/reference/testing/testcontext-framework/ctx-management/dynamic-property-sources.html

注: 如果springboot版本比较低,则需要在项目pom引入如下gav,才能使用DynamicPropertySource

5.2.15.RELEASE org.springframework spring-test ${spring.version} test org.springframework spring-core ${spring.version} test

查看单元测试结果

在使用Testcontainers踩到的坑

注: 因为我window没开启虚拟化,因此没法安装docker desktop。因此我的示例都是连接远程服务器进行测试

因为要连接到远程的docker服务器,因此需要开启2375端口。开启步骤如下

vim /usr/lib/systemd/system/docker.service将默认的ExecStart=/usr/bin/dockerd -H unix://var/run/docker.sock 修改为如下ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375

直接追加就行,很多网上都是写

ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock

这么写会报错。修改后,执行

systemctl daemon-reload service docker restart

通过

ps -ef | grep docker

查看2375端口是否开启

被挖过矿的朋友应该会知道,很多宿主机就是因为公网暴露2375端口,结果被当成矿机。因此可以通过ssh工具创建隧道,通过隧道访问。示例

不过我这边也是因为通过隧道访问,导致后面非常繁琐

开始讲解坑点

坑一:Testcontainers无法连接到远程docker

一开始我是通过

System.setProperty("DOCKER_HOST","tcp://192.168.0.1:2375")

进行设置,因为我设置的点比Testcontainers创建容器的时间晚,因此导致Testcontainers连接的是本地docker,因为我本地没安装docker,导致无法连接上。

我们可以通过在idea上设置

不过有个博主更厉害,他直接通过代码修改。修改代码内容如下

注: 项目的pom需引入如下GAV

com.github.docker-java docker-java 3.2.13 /** * testContainer的docker自定义连接策略 */@Slf4jpublic class MyDockerClientProviderStrategy extends DockerClientProviderStrategy { private final DockerClientConfig dockerClientConfig; private static final String DOCKER_HOST = "tcp://127.0.0.1:2375"; /** * 初始化的时候配置dockerClientConfig,我们通过docker-java来连接docker */ public MyDockerClientProviderStrategy { DefaultDockerClientConfig.Builder configBuilder = DefaultDockerClientConfig.createDefaultConfigBuilder; configBuilder.withDockerHost(DOCKER_HOST); //通过如下配置:关闭RYUK,解决Could not connect to Ryuk at localhost System.setProperty("TESTCONTAINERS_RYUK_DISABLED","true");// // 开启dockerTLS校验// configBuilder.withDockerTlsVerify(true);// // 密钥所在文件夹,换到你的项目目录中即可// configBuilder.withDockerCertPath("C:\Users\Administrator\Desktop\docker"); dockerClientConfig = configBuilder.build; } /** * 这里定义docker连接配置 */ @Override public TransportConfig getTransportConfig { return TransportConfig.builder .dockerHost(dockerClientConfig.getDockerHost) .sslConfig(dockerClientConfig.getSSLConfig) .build; } /** * 对应上面第二个filter,固定返回true即可。 */ @Override protected boolean isApplicable { return true; } @Override public String getDescription { return "my-custom-strategy"; }}

在src/main/resources创建META-INF/services/org.testcontainers.dockerclient.DockerClientProviderStrategy

文件内容如下

com.github.lybgeek.testcontainers.MyDockerClientProviderStrategy

其实就spi机制。那个博主的文章内容如下,感兴趣的朋友可以看看

https://blog.csdn.net/LHFFFFF/article/details/127117917

坑二:Could not connect to Ryuk at localhost

我也不懂这个是啥,通过官方的issue

https://github.com/testcontainers/testcontainers-java/issues/3609#issuecomment-769615098

设置

TESTCONTAINERS_RYUK_DISABLED=true

禁用RYUK

关了貌似也没啥影响

坑三:Timed out waiting for container port to open (localhost ports: [] should be listening)

一开始我是通过隧道访问,后面发现每次启动,testcontainer创建的容器端口会变。示例

比如是端口32788,再启动会变成32789。后面我就设置一段随机端口的安全组,比如允许30000-40000端口段可以访问。于是问题就暂时解决

总结

本文仅仅只是抛砖引玉,Testcontainers的官网有更多详细的例子,大家感兴趣可以去了解一下

demo链接

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/737953.html
0
最新回复(0)