基于java线程池读取单个SQL数据库表
作者:Cedric是陈大泽 发布时间:2024-01-25 08:17:00
标签:java,线程池,数据库
任务:基于线程池来操作MySQL,测试单台机器读写MySQL单表的效率。
思路:创建一个大小合适的线程池,让每个线程分别连接到数据库并进行读取输出操作。
连接到数据库
import java.sql.DriverManager;
import java.sql.SQLException;
import com.mysql.jdbc.Statement;
public class TEXT {
}
class MySQLOpen {
private Connection con = null;
private static String driver = "com.mysql.jdbc.Driver";
private static String url = "jdbc:mysql://localhost:3306/phpmyadmin";
private static String username = "root";
private static String password = "root";
private static Statement NULL = null;
public void MysqlOpen() {
try {
Class.forName(driver); //加载驱动类
con = DriverManager.getConnection(url, username, password); //连接数据库
if (!con.isClosed())
System.out.println("***数据库成功连接***");
} catch (ClassNotFoundException e) {
System.out.println("找不到驱动程序类,加载驱动失败");
e.printStackTrace();
} catch (SQLException e) {
System.out.println("数据库连接失败");
e.printStackTrace();
}
}
}
利用statement类中的executeQuery方法操作MySQL
Statement state = (Statement) con.createStatement();
ResultSet sql = state.executeQuery("select * from user where id between 1 and 5");
利用sql.next()循环遍历取出想要的数据
while (sql.next()) {
String id = sql.getString(1);
String username = sql.getString(3);
String text = sql.getString(6);
System.out.println(id+"\t"+username+"\t"+text);
}
以上就已经实现了主线程访问并操作数据库的相应内容。
创建线程池,设置好相应参数
ThreadPoolExecutor executor = new ThreadPoolExecutor(5, 15, 200, TimeUnit.MILLISECONDS,
new ArrayBlockingQueue<Runnable>(5));
利用for循环去创建线程即可。
计算效率
long start = System.currentTimeMillis();
long end = System.currentTimeMillis();
System.out.println("平均每秒可输出: " + 100000 / (end - start) + " 条");
要注意主线程创建好其他线程后就继续往下执行了,所以要有一个判断其他线程是否结束的语句
while (true) {
if (executor.getActiveCount() == 0)
break;
}
可以利用Thread.activeCount()看一还有多少 活跃的线程。
System.out.println("activeCountMain1 : " + Thread.activeCount());
主要的思路就再上面,现在贴出整理好的代码:
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
import com.mysql.jdbc.Statement;
public class Main {
public static void main(String[] args) {
ThreadPoolExecutor executor = new ThreadPoolExecutor(5, 15, 200, TimeUnit.MILLISECONDS,
new ArrayBlockingQueue<Runnable>(5));
long start = System.currentTimeMillis();
System.out.println("activeCountMain1 : " + Thread.activeCount());
for (int i = 1; i <= 20; i++) {
MySQL mysql = new MySQL(i);
executor.execute(mysql);
System.out.println("线程池中线程数目:" + executor.getPoolSize() + ",队列中等待执行的任务数目:" + executor.getQueue().size()
+ ",已执行玩别的任务数目:" + executor.getCompletedTaskCount());
}
executor.shutdown();
while (true) {
if (executor.getActiveCount() == 0)
break;
}
System.out.println("activeCountMain2 : " + Thread.activeCount());
long end = System.currentTimeMillis();
System.out.println("平均每秒可输出: " + 100000 / (end - start) + " 条");
}
}
class MySQL implements Runnable {
private Connection con = null;
private static String driver = "com.mysql.jdbc.Driver";
private static String url = "jdbc:mysql://localhost:3306/phpmyadmin";
private static String username = "root";
private static String password = "root";
private static Statement NULL = null;
private final int taskNum;
public MySQL(int taskNum) {
this.taskNum = taskNum;
}
public Statement MysqlOpen() {
try {
Class.forName(driver); //加载驱动类
con = DriverManager.getConnection(url, username, password); //连接数据库
if (!con.isClosed())
System.out.println("***数据库成功连接***");
Statement state = (Statement) con.createStatement();
return state;
} catch (ClassNotFoundException e) {
System.out.println("找不到驱动程序类,加载驱动失败");
e.printStackTrace();
} catch (SQLException e) {
System.out.println("数据库连接失败");
e.printStackTrace();
}
return NULL;
}
@Override
public void run() {
readMySQL();
}
public void readMySQL() {
ResultSet sql = null;
Statement state = MysqlOpen();
try {
sql = state.executeQuery("select * from sina_user_weibos_1386622641 where id between "
+ ((taskNum - 1) * 5000) + " and " + (taskNum * 5000));
System.out.println("---------task " + taskNum + "正在执行---------");
while (sql.next()) {
String id = sql.getString(1);
String wid = sql.getString(2);
String username = sql.getString(3);
String repostscount = sql.getString(4);
String commentscount = sql.getString(5);
String text = sql.getString(6);
String createat = sql.getString(7);
String source = sql.getString(15);
String lasttime = sql.getString(17);
System.out.println(id + "\t" + wid + "\t" + username + "\t" + repostscount + "\t" + commentscount + "\t"
+ text + "\t" + createat + "\t" + source + "\t" + lasttime);
}
} catch (SQLException e) {
e.printStackTrace();
} finally {
try {
sql.close();
state.close();
con.close();
} catch (Exception e) {
e.printStackTrace();
}
}
System.out.println("---------task " + taskNum + "执行完毕---------");
}
}
来源:https://blog.csdn.net/qq_27075943/article/details/51208503


猜你喜欢
- 脚本如下: drop table table1; CREATE TABLE `andrew`.`table1` ( `name` VARCH
- 本文实例讲述了Python常用时间操作。分享给大家供大家参考,具体如下:我们先导入必须用到的一个module>>> imp
- 永远不要相信用户输入的内容具有适当的大小或者包含适当的字符。在使用其做出决策之前应该始终对用户输入进行验证。最佳的选择是创建一个
- lambda 语法lambda 函数的语法只包含一个语句,表现形式如下:lambda [arg1 [,arg2,.....argn]]:ex
- 误区10.数据库镜像在故障发生后,马上就能发现 错误 市面上大肆宣传数据库镜像技术可以在故障发生后,立即检测到错误并进行故障转移。 但事实并
- 开启xp_cmdshell: exec sp_configure 'show advance
- Python2.6 之前:字符串转换为整形和浮点型>>>import string>>>string.a
- pandas返回缺失值位置有的时候我们可能需要获取一些缺失值的信息,因此我们需要获取这些缺失值在DataFrame中的位置。假如我们的Dat
- 基础知识实际上,“运算符重载”只是意味着在类方法中拦截内置的操作……当类的实例出现在内置操作中,Python自动调用你的方法,并且你的方法的
- UNIX时间戳转换为日期用函数FROM_UNIXTIME()select FROM_UNIXTIME(1156219870);日期
- 一、什么是数据库连接池就是一个容器持有多个数据库连接,当程序需要操作数据库的时候直接从池中取出连接,使用完之后再还回去,和线程池一个道理。二
- 普通爬虫正常流程:数据来源分析发送请求获取数据解析数据保存数据环境介绍python 3.8pycharm 2021专业版【付费VIP完整版】
- 今天出于需要,要将爬虫爬取的一些数据整理成二维数组,再编码成json字符串传入数据库那么问题就来了,在php中这个过程很简便 ,类似这样:
- 问题描述 项目使用的vue2.0开发,项目中需要一个富文本编辑器,楼主经过一番心理挣扎选择了vue-quill-editor。具体如何引用
- 一般情况下,网站的图片代码是这样的。<img src="./images/test.jpg"
- 先准备好安装软件。从官网下载最新的pycharm版本:https://www.jetbrains.com/pycharm/download/
- 本文实例讲述了wxPython定时器wx.Timer简单应用。分享给大家供大家参考。具体如下:# -*- coding: utf-8 -*-
- Python的turtle模块画国旗主要用到两个函数:draw_rentangle和draw_star。至于函数的调用就和我们学的C,C++
- 一般情况下,URL 中的参数应使用 url 编码规则,即把参数字符串中除了 -_. 之外的所有非字母数字字符都将被替换成百分号(%)后跟两位
- SqlServer 在事务中获得自增ID实例代码在sqlserver 中插入数据时,如何返回自增的主键ID,方式有很多,这里提