在超大数据集下 DuckDB 与 MySQL 查询速度对比聊

一、什么是urllib3urllib3 是一个用于处理 HTTP 请求和连接池的强大、用户友好的 Python 库。它可以帮助你发送各种 HTTP 请求GET, POST, PUT, DELETE等。管理连接池提高网络请求效率。处理重试和重定向。支持并发和线程安全。更好地处理SSL/TLS验证。二、应用场景urllib3 广泛应用于以下实际场景Web爬虫: 抓取网页内容构建数据采集系统。API客户端: 与 RESTful API 进行交互构建自动化工具。自动化测试: 模拟HTTP请求测试Web服务。网络服务集成: 在应用程序中集成第三方网络服务。下载文件: 从互联网上下载各种文件。三、如何安装使用 pip 安装pip install urllib3# 如果安装慢的话推荐使用国内镜像源pip install urllib3 -i https://pypi.tuna.tsinghua.edu.cn/simple/使用 PythonRun 在线运行代码无需本地安装四、示例代码发送一个GET请求并检查状态码import urllib3# 创建一个PoolManager实例用于管理HTTP连接池http urllib3.PoolManager()# 指定要请求的URLurl http://httpbin.org/get# 发送GET请求try:response http.request(GET, url)# 检查响应的状态码是否为200OKif response.status 200:print(f请求成功状态码: {response.status})print(响应数据:)# 将响应的字节数据解码为UTF-8字符串并打印print(response.data.decode(utf-8))else:# 如果状态码不是200则打印错误信息print(f请求失败状态码: {response.status})print(f错误信息: {response.data.decode(utf-8)})except urllib3.exceptions.MaxRetryError as e:# 捕获连接重试错误print(f连接失败或重试次数超出限制: {e})except urllib3.exceptions.NewConnectionError as e:# 捕获新建连接错误print(f无法建立连接: {e})except Exception as e:# 捕获其他所有可能的异常print(f发生未知错误: {e})使用 PythonRun 在线运行这段代码结果如下请求成功状态码: 200响应数据:{args: {},headers: {Accept-Encoding: identity,Host: httpbin.org,User-Agent: python-urllib3/1.26.18,X-Amzn-Trace-Id: Root1-65f57a3e-6d4b2e6503c75f4d1e041300},origin: 106.120.246.101,url: http://httpbin.org/get}偎凶溉凹