?

Log in

No account? Create an account

AOL база запросов - импорт в mysql

Dec. 13th, 2006 | 06:04 pm
mood: tiredtired
music: AWM Radio 128

поюзав Google нашел несколько решений, стащил с сайта Microsost скрипт показывающий время, написал cmd файл и вот что из всего этого получилось:

cmd file
c:
cd C:\Program Files\MySQL\MySQL Server 5.0\bin\
echo Start time:>>"log.txt"
%WINDIR%\system32\cscript.exe //Nologo "time.vbs" >>"log.txt"

mysql -uroot -pmypassword -D aol< QUERIES.SQL
quit;
echo Finish time:>>"log.txt"
%WINDIR%\system32\cscript.exe //Nologo "time.vbs" >>"log.txt"


time.vbs
strComputer = "."
Set objWMIService = GetObject("winmgmts:" _
 & "{impersonationLevel=impersonate}!\\" & strComputer & "\root\cimv2")
Set colItems = objWMIService.ExecQuery("Select * from Win32_LocalTime")
For Each objItem in colItems
    Wscript.Echo objItem.Hour & ":" & objItem.Minute & ":" & objItem.Second
Next


queries.sql
LOAD DATA LOCAL INFILE 'user-ct-test-collection-01.txt' 
INTO TABLE aoldata FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 
(anonid, query, querytime, itemrank, clickurl);

LOAD DATA LOCAL INFILE 'user-ct-test-collection-02.txt' 
INTO TABLE aoldata FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' 
(anonid, query, querytime, itemrank, clickurl);

ну итд, пришлось строчки покоцать, т.к. весь журнал разъехался по ширине


создание БД и таблиц
CREATE TABLE aoldata (anonid integer, query varchar(1024), 
querytime datetime, itemrank integer, clickurl varchar(1024)) ENGINE=myisam;
это запускать после того как заполнена база: CREATE INDEX aoldata_index on aoldata (query);


Возможно это не лучшее решение по части организации БД, нашел еще вот это
CREATE TABLE aoldata (anonid int unsigned not null, 
query varchar(255), querytime datetime, itemrank int unsigned, 
clickurl varchar(255), PRIMARY KEY(anonid, query));

но немного смущает размер query в 255 символов, шанс что кто-то введет запрос больше 255 символо конечно небольшой, но терять эти несколько процентов не хочется


После запуска cmd файла начался непрекращающийся треск винта, основная проблема в скорости имхо была из за него и из-за того что по мере добавления строк сразу же создавался индекс. На третьем файле меня это достало, т.к. в базу было добавлено всего ~500 метров и чуть больше миллиона строк, а ушло на это больше 50 минут, решил тогда убить таблицу и заполнить базу сначала без индекса. Результат не заставил себя ждать:

Start time:
17:41:0
Finish time:
17:43:35
(содержимое файла log.txt ради которого и создавался этот vbs+cmd файл)

mysql> SELECT COUNT(*) FROM aoldata;
+----------+
| COUNT(*) |
+----------+
| 36389577 |
+----------+
1 row in set (0.00 sec)

Data length: 1,8 Gb; Index length: 1 kB


PS: конфигурация компа
Intel "Core 2 Duo E6300" (1.86ГГц, 2МБ, 1066МГц, EM64T)
1ГБ DDR II SDRAM Kingston "ValueRAM" KVR667D2N5/1G (PC5300, 667МГц)
ASUS "P5B-E"
74ГБ Western Digital "Raptor WD740ADFD" 10000об./мин., 16МБ (SATA) (ОС WinXP SP2, на нем же и БД)
400ГБ Samsung "SpinPoint T133S HD401LJ" 7200об./мин., 16МБ (SATA II)

MySQL запущен с конфигом my-huge.ini, жрет 256 метров оперативки, при создании индекса грузит одно ядро на 40%
достал меня этот AOL сегодня, решил отложить создание индекса для бд

UPD: надо будет еще посмотреть насколько индекс увеличит скорость выборки из БД, сейчас попробовал:
select * from aoldata where query like '%lyrics%' limit 1000;

1000 rows in set (0.31 sec)
не так уж и медленно

Link | Leave a comment |

Php

Oct. 15th, 2006 | 08:56 pm

Understanding the Zend Framework
How to turn your PHP application into a bot
Mimic form submissions in PHP
PHP.facts
Tags:

Link | Leave a comment |

Реализация вложенных меню и каталогов в MySQL

Oct. 13th, 2006 | 07:33 pm

http://talks.php.net/show/ezp-inside-out/15
Tags:

Link | Leave a comment |

Видео с реальной дымовой шашкой

Oct. 5th, 2006 | 05:18 am

Хотя вернее будет наверно сказать использован реальный дымовой состав для дымовых шашек. Автор не я :)

Tags: ,

Link | Leave a comment |

Интересные блоги

Sep. 28th, 2006 | 02:15 pm

Link | Leave a comment |

Английский

Sep. 28th, 2006 | 04:01 am

Решив больше практиковаться в английском и не только в чтении и прослушивании англоязычной литературы решил открыть англоязычную версию этого блога, пока осилил только три поста. Думаю англоязычный блог принесет пользу хотя бы в том что возможно хоть кто то укажет на мои ошибки в английском.

зы: опять спать ложусь в 4 утра

Link | Leave a comment {5} |

Логин на форум smf и редирект обратно

Sep. 25th, 2006 | 01:52 am

Начал опять изучать php, первым делом решил написать фишку для того чтобы можно было логинится через форум SMF. Задача была следующая: с главной страницы зарегестрироваться через форум и опять вернутся на ту же страницу.

Код:


<?php

    
require("forum/SSI.php");

    global 
$context;



    if (
$context['user']['is_guest']) {

        
ssi_login("http://".$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF']);

    } else {

        echo 
" ";

        
ssi_logout("http://".$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF']);

        echo 
"<br><br>";

    }

?>



keywords: php smf forum login redirect
полезные ссылки: SSI примеры для форума SMF
за основу взят код из этой темы на форуме SMF

Link | Leave a comment |

Альфа банк

Sep. 17th, 2006 | 08:43 pm

Определенно Альфа банк начинает мне нравится все больше, особенно в сравнении со Сбербанком. В Сбере чтобы что нибудь вообще сделать каждый раз надо писать заявление и ждать когда оно пройдет. Нужно завести дополнительную карту к счету, хочешь подключить интернет-банк - пиши заявление. Для того чтобы со сберовской карты пополнять счета мобильных телефонов нужно внести эти телефоны опять таки с помощью этого заявления.
В альфе с этим проще, заходишь в интернет-банк, набираешь номер счета (стрим для примера), пишешь сумму - через секунду обновляю страницу личного кабинете стрим, деньги уже там, тоже самое с мобилой.

Альфа-банк

Link | Leave a comment |

О том как правильно надо программировать

Aug. 21st, 2006 | 11:49 pm
location: Дом

Достаточно интересная статья как с помощью небольших изменений в php коде можно получить значительное увеличение производительности веб-приложения. http://talks.php.net/show/oscon06/

Link | Leave a comment |

Общественное мнение

Aug. 21st, 2006 | 11:42 pm
location: Дом

Смишно. Как всегда все думают, что то чего они не видят не существует. http://www.umaxforum.com/topic/12/4502/ "Про шпионoв гyгли, Секретные лаборатории"

Прямо как в фильме ДМБ:
- "Видишь суслика?"
- "Неа"
- "А он есть"

гы, а вот и работа такая тоже есть

Link | Leave a comment |