Неверное поле count или ошибка синтаксиса

At the time this question was asked, pandas 0.23.0 had just been released. That version changed the default behaviour of .to_sql() from calling the DBAPI .executemany() method to constructing a table-value constructor (TVC) that would improve upload speed by inserting multiple rows with a single .execute() call of an INSERT statement. Unfortunately that approach often exceeded T-SQL’s limit of 2100 parameter values for a stored procedure, leading to the error cited in the question.

Shortly thereafter, a subsequent release of pandas added a method= argument to .to_sql(). The default – method=None – restored the previous behaviour of using .executemany(), while specifying method="multi" would tell .to_sql() to use the newer TVC approach.

Around the same time, SQLAlchemy 1.3 was released and it added a fast_executemany=True argument to create_engine() which greatly improved upload speed using Microsoft’s ODBC drivers for SQL Server. With that enhancement, method=None proved to be at least as fast as method="multi" while avoiding the 2100-parameter limit.

So with current versions of pandas, SQLAlchemy, and pyodbc, the best approach for using .to_sql() with Microsoft’s ODBC drivers for SQL Server is to use fast_executemany=True and the default behaviour of .to_sql(), i.e.,

connection_uri = (
    "mssql+pyodbc://scott:tiger^5HHH@192.168.0.199/db_name"
    "?driver=ODBC+Driver+17+for+SQL+Server"
)
engine = create_engine(connection_uri, fast_executemany=True)
df.to_sql("table_name", engine, index=False, if_exists="append")

This is the recommended approach for apps running on Windows, macOS, and the Linux variants that Microsoft supports for its ODBC driver. If you need to use FreeTDS ODBC, then .to_sql() can be called with method="multi" and chunksize= as described below.

---

(Original answer)

Prior to pandas version 0.23.0, to_sql would generate a separate INSERT for each row in the DataTable:

exec sp_prepexec @p1 output,N'@P1 int,@P2 nvarchar(6)',
    N'INSERT INTO df_to_sql_test (id, txt) VALUES (@P1, @P2)',
    0,N'row000'
exec sp_prepexec @p1 output,N'@P1 int,@P2 nvarchar(6)',
    N'INSERT INTO df_to_sql_test (id, txt) VALUES (@P1, @P2)',
    1,N'row001'
exec sp_prepexec @p1 output,N'@P1 int,@P2 nvarchar(6)',
    N'INSERT INTO df_to_sql_test (id, txt) VALUES (@P1, @P2)',
    2,N'row002'

Presumably to improve performance, pandas 0.23.0 now generates a table-value constructor to insert multiple rows per call

exec sp_prepexec @p1 output,N'@P1 int,@P2 nvarchar(6),@P3 int,@P4 nvarchar(6),@P5 int,@P6 nvarchar(6)',
    N'INSERT INTO df_to_sql_test (id, txt) VALUES (@P1, @P2), (@P3, @P4), (@P5, @P6)',
    0,N'row000',1,N'row001',2,N'row002'

The problem is that SQL Server stored procedures (including system stored procedures like sp_prepexec) are limited to 2100 parameters, so if the DataFrame has 100 columns then to_sql can only insert about 20 rows at a time.

We can calculate the required chunksize using

# df is an existing DataFrame
#
# limit based on sp_prepexec parameter count
tsql_chunksize = 2097 // len(df.columns)
# cap at 1000 (limit for number of rows inserted by table-value constructor)
tsql_chunksize = 1000 if tsql_chunksize > 1000 else tsql_chunksize
#
df.to_sql('tablename', engine, index=False, if_exists='replace',
          method='multi', chunksize=tsql_chunksize)

However, the fastest approach is still likely to be:

• dump the DataFrame to a CSV file (or similar), and then

• have Python call the SQL Server bcp utility to upload that file into the table.

Внешние источники данных

Я

   BubbleGumm

15.08.16 — 13:11

   BubbleGumm

1 — 15.08.16 — 13:12

Если не устанавливаю это поле, то все ОК

   Зая Бусечка

2 — 15.08.16 — 13:13

запрос не показываешь.

и вообще — кривым инструментом пользуешься.

   BubbleGumm

3 — 15.08.16 — 13:16

   BubbleGumm

4 — 15.08.16 — 13:24

Вообще как записать двоичные данные во внешний источник?

   Aleksey

5 — 15.08.16 — 13:30

   BubbleGumm

6 — 15.08.16 — 13:32

(5) И?

   shuhard

7 — 15.08.16 — 13:46

(6) и там объяснено, почему нельзя писать в поле Count

   BubbleGumm

8 — 15.08.16 — 13:50

(7) Какое поле Count??

Я пишу в поле под именем Data, если под Count подразумевается ключевое поле счетчик, то никто в него ничего не пишет

   DmitrO

9 — 15.08.16 — 13:52

   BubbleGumm

10 — 15.08.16 — 13:55

(9) С уникальным идентификатором тем не менее все ОК, а он тоже имеет тип двоичные данные

   DmitrO

11 — 15.08.16 — 13:59

   BubbleGumm

12 — 15.08.16 — 14:00

(11) Да и фиг с ними, переделал тип на скл в неограниченную строку, пишу через Base64Строка

   DmitrO

13 — 15.08.16 — 14:02

(12)обошел, молодец..

Но бог плачет, когда об ошибках платформы не сообщают разработчикам.

да время появится, напишу возможно

Нравится ресурс? Помоги проекту!

[ Script execution time: 0,0397 ]   [ 15 queries used ]   [ Generated: 5.06.23, 05:31 GMT ]  

Я получаю эту ошибку, когда пытаюсь вызвать хранимую процедуру в QT с помощью QODBC:

QODBCResult :: exec: Не удалось выполнить оператор: «[Microsoft] [драйвер SQL Server ODBC] Поле COUNT неверно или синтаксическая ошибка

Количество параметров верное, синтаксис выглядит мне хорошо. Процедура выполняется отлично в Management Studio. Что может быть проблемой?

QSqlQuery query(db1);
query.exec("SELECT * from Teachers"); //test query
TableWidget *table = ui->tableWidget;
for (int i = 0; i < table->rowCount(); i++)
{    
    QComboBox *combo = static_cast<QComboBox*>(table->cellWidget(i,0));
    qDebug() << query.prepare("{CALL add_syllabus_line (?,?,?,?,?,?,?,?,?)}");
    query.bindValue("teacher_name", teacherName);
    query.bindValue("subject_name", "????");
    query.bindValue("temporary_name", ratingName);
    query.bindValue("type_name", combo->currentText());
    query.bindValue("activity_name", table->item(i, 1)->text());
    query.bindValue("min_score", table->item(i, 2)->text().toInt());
    if (propertiesInstance.fixed) query.bindValue("max_score", 0);
    else query.bindValue("max_score", table->item(i, 3)->text().toInt());
    query.bindValue("max_score_exists", propertiesInstance.fixed);
    query.bindValue("evaluation_by_exam", propertiesInstance.exam);

    if (!query.exec())
    {
       qDebug() << query.lastError();
    }
}

Процедура:

ALTER PROCEDURE [dbo].[add_syllabus_line] 

@teacher_name NVARCHAR(50),
@subject_name NVARCHAR(50),
@temporary_name NVARCHAR(50),
@type_name NVARCHAR(50),
@activity_name NVARCHAR(50),
@min_score int,
@max_score int,
@max_score_exists bit,
@evaluation_by_exam bit

AS
BEGIN
SET NOCOUNT ON;

DECLARE @teacher_id int;
DECLARE @subject_id int; 
DECLARE @type_id int; 

SELECT @teacher_id = Teacher_id FROM Teachers WHERE Teacher_name = @teacher_name;
SELECT @type_id = Activity_type_id FROM Activity_types WHERE Activity_type_name = @type_name;
SELECT @subject_id = subject_id FROM Subjects WHERE Subject_name = @subject_name;

INSERT INTO Syllabi (Teacher_id, 
                    Subject_id, 
                    Temporary_name,
                    Activity_type_id,
                    Activity_title,
                    Activity_min_score,
                    Activity_max_score,
                    Max_score_exists,
                    Evaluation_by_exam) VALUES (@teacher_id,
                                                @subject_id,
                                                @temporary_name,
                                                @type_id,
                                                @activity_name,
                                                @min_score,
                                                @max_score,
                                                @max_score_exists,
                                                @evaluation_by_exam);
END

query.prepare возвращает true.

Я запускаю трассировку профилировщика, и запрос там даже не показывает, только тестовый.

выберите 504, c.name, c.description, c.definition from master.dbo.syscharsets c где c.id = convert (tinyint, databasepropertyex (db_name(), ‘sqlcharset’)) go

exec sp_datatype_info 11 go

SET QUOTED_IDENTIFIER ON go

declare @p1 int set @p1 = 180150003
declare @p3 int
set @p3 = 8 declare @p4 int set @p4 = 1 declare @p5 int set @p5 = 3 exec sp_cursoropen @p1 output, N’SELECT * from Teachers ‘, @p3 output, @p4 output, @p5 output select @p1, @p3, @p4, @p5

exec sp_cursorclose 180150003 go