Beyond Compare 3 - Comparaison automatique de multiple fichier (Data Compare)

[Chaveex]

Bonjour à tous,

Je vous remercie pour le travail effectué sur Beyond Compare qui fonctionne vraiment bien !

Dans le cadre d'un travail de non régression, je dois comparer à l'aide de Beyond Compare des fichiers .txt issues de deux environnements distincts en définissant mes propres clés de comparaison.
Seulement voilà, il y a des centaines de fichiers txt générés à comparer, ce qui nous fait perdre un temps fou.
Alors je me suis lancé dans divers script qui permettaient de lancer Beyond compare avec ce paramètrage :

bcscript.txt

log verbose append:"C:\Users\xxxx\yyyyyy\POCBeyondCompare\logs\logtest.txt"
beep
load "%1" "%2"
expand all
select all
data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css"

run_compare.bat

"C:\\xxxxxxxx\\Scooter Software\\Beyond Compare\\bcompare.exe" "@C:\\Users\\xxxxxx\\yyyyyy\\POCBeyondCompare\\bcscript.txt" "C:\\Users\\xxxxxx\\yyyyyy\\POCBeyondCompare\\A" "C:\\Users\\xxxxxx\\yyyyyy\\POCBeyondCompare\\B" "C:\\xxxxxx\\yyyyyy\\Documents\\POCBeyondCompare\\Results\\bcreport_2209.html"

Seulement voilà, on peut apparement pas choisir les clés de comparaison en passant par les scripts.

J'ai alors vu qu'on pouvait les modifier dans les BCSessions.xml dans la balise

<Keys Value="2;3;7" />

Je me suis alors lancé dans le développement d'un programme qui me générait un BCSessions.xml en fonction de paramètrage défini dans une feuille Excel, ce xml généré contient différents

<TDataCompareSession>

.

J'ai ici le BCSessions.xml généré

<?xml version="1.0" encoding="UTF-8"?>
<BCSessions>
    <TSessionFolder>
        <Items>
            <TDataCompareSession Value="file1.txt and file2.txt">
                <Rules>
                    <Cols>
                        <Keys Value="2;4;8;10"/>
                    </Cols>
                </Rules>
                <Specs>
                    <Left Value="C:/Users/981210/Documents/POCBeyondCompare/A/file1.txt"/>
                    <Right Value="C:/Users/981210/Documents/POCBeyondCompare/B/file2.txt"/>
                </Specs>
                <State>
                    <DisplayFilter Value="[showLeftMod, showRightMod, showDiffMod]"/>
                </State>
            </TDataCompareSession>
            <TDataCompareSession Value="monfichier1 and monfichier2">
                <Rules>
                    <Cols>
                        <Keys Value="2;4;8;11"/>
                    </Cols>
                </Rules>
                <Specs>
                    <Left Value="C:/Users/981210/Documents/POCBeyondCompare/A/file3.txt"/>
                    <Right Value="C:/Users/981210/Documents/POCBeyondCompare/B/file4.txt"/>
                </Specs>
                <State>
                    <DisplayFilter Value="[showLeftMod, showRightMod, showDiffMod]"/>
                </State>
            </TDataCompareSession>
            <TDataCompareSession Value="file5.txt and file6.txt">
                <Rules>
                    <Cols>
                        <Keys Value="2;4;8;12"/>
                    </Cols>
                </Rules>
                <Specs>
                    <Left Value="C:/Users/981210/Documents/POCBeyondCompare/A/file5.txt"/>
                    <Right Value="C:/Users/981210/Documents/POCBeyondCompare/B/file6.txt"/>
                </Specs>
                <State>
                    <DisplayFilter Value="[showLeftMod, showRightMod, showDiffMod]"/>
                </State>
            </TDataCompareSession>
        </Items>
    </TSessionFolder>
</BCSessions>

Une fois fénéré je glisse ce BCSession dans les AppData de BeyondCompare, mais en executant ce dernier, il ne prend pas en compte ma configuration...

Je commence à perdre espoir, n'y aurait il pas une solution à mon problème ?

(Petit rappel pour ce long poste, le problème : je souhaiterai comparer automatiquement plusieurs fichier .txt en définissant mes propres clés de comparaison)

Merci !

Chaveex

[Aaron]

Hello,

Excellent setup, and exactly what I would recommend in this case except for one detail:

The script would always use the default Data Compare session settings. It does not support individual, saved Data Compare sessions. You would need to run the program to edit BCSessions.xml, edit the default data session, run the script to generate the report, then run and edit the BCSessions.xml again to alter the default data session for the next script. This way, you are editing the same saved session before each report.

Adding the ability to define the keys for scripting is on our wishlist.


translate.google.com
Bonjour,

Excellente configuration, et c'est exactement ce que je recommande dans ce cas à un détail près:

Le script serait toujours utiliser les données par défaut Comparez les paramètres de session. Il ne prend pas en charge individuelle, les données enregistrées Comparez sessions. Vous auriez besoin pour exécuter le programme à modifier BCSessions.xml, modifier la session de données par défaut, exécutez le script pour générer le rapport, puis exécutez et modifier à nouveau la BCSessions.xml de modifier la session de données par défaut pour le script suivant. De cette façon, vous êtes en train d'éditer la même session enregistrée avant chaque rapport.

Ajout de la possibilité de définir les clés de script est sur notre liste.

[Chaveex]

Automation with BCState.xml ?

Hello Aaron !

Thank you for your answer !
I had tried this way, by editing BCSessions while Beyond Compare was running, and it worked.
But I am afraid to do this more than hundred times.. I have more than 100 files to compare.

There is not a way to run Beyond Compare one time with a specific Sessions where I put my hundred files to compare and their keys ? (using Data Compare)

And I have seen also a BCState.xml where I put something like this :

<TDataCompareState>
		<LeftMRUSpecs>
			<_0 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\A\file3.txt"/>
			<_1 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\A\risks.txt"/>
			<_2 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\A\file5.txt"/>
			<_3 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\B\file6.txt"/>
			<_4 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\A\file1.txt"/>
			<_5 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\BCCompareXmlGenerator-1.0.0\src\main\resources\BCSession-output.xml"/>
			<_6 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\TargetFiles\CRID_KONDOR.csv"/>
			<_7/>
		</LeftMRUSpecs>
		<MRUFonts>
			<_0 Value="Consolas;10"/>
		</MRUFonts>
		<RightMRUSpecs>
			<_0 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\B\file4.txt"/>
			<_1 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\B\risks.txt"/>
			<_2 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\B\file6.txt"/>
			<_3 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\B\file2.txt"/>
			<_4 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\BCCompareXmlGenerator-1.0.0\src\main\resources\BCSessions.xml"/>
			<_5 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\BCCompareXmlGenerator-1.0.0\src\main\resources\BCSession-output.xml"/>
			<_6 Value="C:\Users\xxxxxx\yyyyyyy\POCBeyondCompare\ReferenceFiles\CRID_KONDOR.csv"/>
			<_7/>
		</RightMRUSpecs>
		<SessionFormPosStr Value="522;233;1055;775"/>
	</TDataCompareState>

In this way Beyond Compare had saved my configuration with files to compare whereas BCSessions.xml is always reset and my files desappear from the loading session.
If I mix a set-up with BCState and BCSession, Can I get my automate with matching keys ?

Chaveex.

FRANCAIS

Bonjour Aaron,

Merci pour ta réponse !
J'ai essayé ta solution, en modifiant BCsessions alors que Beyond Compare est entrain de tourner, et ça à marché.
Mais j'ai peur qu'en utilisant ce moyen, je doive réitérer l'opération plus de 100 fois, en effet j'ai plus de 100 fichiers à comparer...

Il n'y a pas un moyen de lancer une fois Beyond Compare avec une Session spécifique ou je peux mettre mes 100 fichiers à comparer ainsi que leurs clé de matching ? (en utilisant le mode Data Compare)

J'ai vu également un fichier BCState.xml où j'ai inséré des lignes et cela donne le resultat suivant (voir au dessus la partie HTML Code)

De cette manière Beyond Compare a sauvegardé ma configuration avec les fichiers à comparer alors que BCSessions.xml est toujours remis à 0 et mes fichiers disparaissent de 'loading session" de Beyond Compare.
Si je fais un mix des set-up BCState et BCSession, Puis je atteindre cette automatisation avec les matching keys ?

Chaveex.

[Chaveex]

If I understand,

Beyond Compare does not take an edited BCSessions.xml into account if the tag

<LastModified />

is not specified ?

I tried to create a new BCSessions.xml by copy paste the one generated by Beyond Compare, and then I added a

<TDataCompareSession>

containing new files,theirs matching keys and finally a random LastModified date and it did take it into account.

So does it will work if I generate a big BCSessions.xml containing all my files path with a ramdom LastModified date for each file ?

FRANCAIS

Si je comprend bien,

Beyond Compare ne prend pas en compte les BCSessions.xml édité si la balise

<LastModified />

n'est pas spécifié ?

J'ai essayé de créer un nouveau BCSessions.xml en copiant collant celui généré par Beyond Compare, ensuiste j'ai ajouté mon propre

<TDataCompareSession>

contenant un nouveau fichier ainsi que ses clés et finalement une LastModified date aléatoire et BC l'a pris en compte !

Alors est ce que ca va fonctionner si je génère un enorme BCSessions.xml contenant le chemin de tous mes fichiers avec une date random pour chacun ?


Chaveex

[Aaron]

Hello,

What I would recommend is editing the default Data Compare once in the GUI by defining the key columns as non-default. This will create the necessary XML structure. You can then modify just the Key Column node to define which items should be keys before each run.

You shouldn't need to edit the BCState.xml. The MRU list is defining the dropdown control of the last used files before the loaded files (to easily switch to files used in the past). The Session is what defines the currently loaded files. The Script does not use the the default Data Compare to control which files are loaded; it is only using the Session Settings (including Unimportance, column order, or Key columns). The files for the data-report are passed in as parameters in the script, or by selecting them from a folder loaded in script:

bcompare.exe bcscript.txt "c:\file1.txt" "c:\file2.txt" "c:\bcreport.txt"

data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css" "%1" "%2"


translate.google.com
Bonjour,

Ce que je recommande est de modifier les données par défaut Comparer fois dans l'interface graphique en définissant les colonnes clés non-défaut. Cela va créer la structure XML nécessaire. Vous pouvez ensuite modifier simplement le nœud Colonne de la clé de définir les éléments qui doivent être des clés avant chaque course.

Vous ne devriez pas avoir à modifier le BCState.xml. La liste MRU est de définir le contrôle de la liste déroulante des derniers fichiers utilisés avant les fichiers chargés (de passer facilement de fichiers utilisés dans le passé). La session est ce qui définit les fichiers actuellement chargés. Le script n'utilise pas le défaut de comparaison de données pour contrôler les fichiers sont chargés; il utilise uniquement les paramètres de la session (y compris l'insignifiance, l'ordre des colonnes, ou des colonnes clés). Les fichiers de données-rapport sont passés en tant que paramètres dans le script, ou en les sélectionnant dans un dossier chargé dans le script:

bcompare.exe bcscript.txt "c:\file1.txt" "c:\file2.txt" "c:\bcreport.txt"

data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css" "%1" "%2"

[Chaveex]

Thank you Aaron !

I have done what you advised me to do. I did not run the following command as you said :
bcompare.exe bcscript.txt "c:\file1.txt" "c:\file2.txt" "c:\bcreport.txt"
And it does reports all files I wanted. So finally I have a semi automatically comparator. Here is the summary of what I have done while Scooter team develop the possibility to set keys into a script.

First step, I generate a XML file with a program I have made which read from an excel the values I want


Then my XML is generated :

<TDataCompareSession Value="sahibou.txt and sahibou.txt">
                <LastModified Value="09/10/2014 17:35:14"/>
                <Rules>
                    <Cols>
                        <Keys Value="1;3"/>
                    </Cols>
                </Rules>
                <Specs>
                    <Left Value="C:/Users/xxxx/yyyy/POCBeyondCompare/A/sahibou.txt"/>
                    <Right Value="C:/Users/xxxx/yyyy/POCBeyondCompare/B/sahibou.txt"/>
                </Specs>
                <State>
                    <DisplayFilter Value="[showLeftMod, showRightMod, showDiffMod]"/>
                </State>
            </TDataCompareSession>
            <TDataCompareSession Value="biba.txt and babi.txt">
                <LastModified Value="05/10/2014 17:35:14"/>
                <Rules>
                    <Cols>
                        <Keys Value="2;4;7"/>
                    </Cols>
                </Rules>
                <Specs>
                    <Left Value="C:/Users/xxxx/yyyy/POCBeyondCompare/A/biba.txt"/>
                    <Right Value="C:/Users/xxxx/yyyy/POCBeyondCompare/B/babi.txt"/>
                </Specs>
                <State>
                    <DisplayFilter Value="[showLeftMod, showRightMod, showDiffMod]"/>
                </State>
            </TDataCompareSession>

Next, as Aaron said, I open Beyond Compare, run a session, edit the BCSessions.xml by replacing <TDataCompareSession> by my <TDataCompareSession> even if there are several tags.

And finally I run this script (.bat) :

"C:\\zzzz\\Scooter Software\\Beyond Compare\\bcompare.exe" "@C:\\Users\\xxxx\\yyyy\\POCBeyondCompare\\bcscript.txt" "C:\\Users\\xxxx\\yyyy\\POCBeyondCompare\\A" "C:\\Users\\xxxx\\yyyy\\POCBeyondCompare\\B" "C:\\Users\\xxxx\\yyyy\\POCBeyondCompare\\Results\\bcreport_2209.html"

with the following bcscript.txt

log verbose append:"C:\Users\xxxx\yyyy\POCBeyondCompare\logs\logtest.txt"
beep
load "%1" "%2"
expand all
select all
data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css"

And finally I got my report !!



I hope it would help someone in the futur.
Thank you again Aaron !

Chaveex


FRANCAIS

Merci beaucoup Aaron !

J'ai fait ce que tu m'as conseillé de faire. J'ai lancé la commande suivant comme tu disais :
bcompare.exe bcscript.txt "c:\file1.txt" "c:\file2.txt" "c:\bcreport.txt"
Et cela à créé le reports que j'attendais. Donc finalement, j'ai mon comparateur semi automatique. Et voici le résumé de ce que j'ai fait en attendant que les clés inclues dans les scripts soient développé par l'équipe Scooter :

Premièrement, j'ai généré un fichier XML avec un programme que j'ai développé qui va lire dans un fichier Excel et qui créer un XML avec les valeurs contenu dans le feuillet. (Voir au dessus)

Le XML généré est visible au début du post.

Ensuite, comme Aaron expliquait, j'ai ouvert Beyond Compare, lancé une session à blanc, pour générer un BCSessions.xml, et je l'ai éditer pour remplacer les balises <TDataCompare> par celle que j'ai généré même si il y en a plusieurs.

Et j'ai finalement lancé les scripts (voir plus haut) pour avoir un report de mes comparaisons (voir screen plus haut également)

Merci Aaron !

Chaveex

[Amal Jacob]

Dear All,
This same requirement was present for me.
I am also using BC3.
I need to compare many txt/xls files present in two folders and need to get the difference.
I followed all the steps mentioned above.
Modified the BCsessions file accordingly
and Ran the script mentioned but the output is not showing any differences, its just showing those values.(PFA)
Should it be the issue with the script?, can you please check what i am doing wrong


Script:

log verbose append:"C:\Autotest\logtext.txt"
beep
load "%1" "%2"
expand all
select all
data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css"

CMD command

cd C:\Program Files (x86)\Beyond Compare 3
BCompare.exe "@C:\Autotest\bcscript.txt" "C:\Autotest\pre" "C:\Autotest\post" "C:\Autotest\logtext.html"

BCsession.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- Produced by Beyond Compare 3 from Scooter Software -->
<BCSessions>
<TSessionFolder>
<Items>
<TSessionFolder>
<Items>
<TDataCompareSession Value="post2.txt %3C--%3E pre2.txt">
<LastModified Value="2019-07-07 00:08:47"/>
<Rules>
<Cols>
<Keys Value="2"/>
</Cols>
</Rules>
<Specs>
<Left Value="C:\Autotest\post\post2.txt"/>
<Right Value="C:\Autotest\pre\pre2.txt"/>
</Specs>
</TDataCompareSession>
<TDataCompareSession Value="pre2.txt %3C--%3E post2.txt">
<LastModified Value="2019-07-07 00:03:18"/>
<Specs>
<Left Value="C:\Autotest\pre\pre2.txt"/>
<Right Value="C:\Autotest\post\post2.txt"/>
</Specs>
</TDataCompareSession>
</Items>
</TSessionFolder>
</Items>
</TSessionFolder>
</BCSessions>

[Aaron]

Hello,

No problem. The script is loading two files into the default settings, and it looks like your manual edits are made to a saved (other) Data Compare session (which wouldn't be used by the script). Script supports loading a saved Folder Compare (which can reference a saved Data Compare session), but I would recommend updating the global default Data Compare settings instead.

To see which items to update in your BCSession.xml, I recommend:
1) save off a current copy of your whole BCSessions.xml
2) Launch the graphical interface, expand the New folder in the saved Sessions list on the left. Select Data Compare and Edit Defaults
3) Edit the Columns tab, and set the Key to column 2, and disable Key on column 1, then Save the new Defaults.
4) Close BC4. Save off a new copy of BCSessions.xml.
5) relaunch BC4 and compare the old BCSessions.xml with the updated global defaults new BCSessions.xml. This will help direct you exactly to the nodes that need editing, and also show how the settings are altered as they are changed by the graphical interface. (This can help you find how to change any setting this way).

[Amal Jacob]

Dear Aaron,

Just to debug the issue, i didn't modify the BCsession.xml.
I simply ran the script with default settings but still i am not getting the difference
Is the script wrong?

My current test scenario is
1. one folder called PRE in which there are two txt files pre1 and pre2
2. another folder called POST in which there are post1 and post2
3. I need to compare pre1,post1 and pre2,post2

Please help and guide

CMD command:
cd C:\Program Files (x86)\Beyond Compare 3
BCompare.exe "@C:\Autotest\bcscript.txt" "C:\Autotest\pre" "C:\Autotest\post" "C:\Autotest\logtext.html"

bcscript
log verbose append:"C:\Autotest\logtext.txt"
beep
load "%1" "%2"
expand all
select all
data-report layout:side-by-side options:display-mismatches,ignore-unimportant output-to:"%3" output-options:wrap-word,html-custom="../styles.css"

Please find the output file attached

[Aaron]

Hello,

From this script, it looks like the two folders are loaded, the file names are different between the left and right sides (they aren't lining up), which causes their entire content to be different.

Independent of the script, if you load the graphical interface, and load your base folders, what is shown? You can generate a report from here as well by selecting all files (Edit menu -> Expand All, Edit menu -> Select All Files), then using the Actions menu -> File Compare Report.

If the file names match in the base folders (left vs. right), then they should align and compare as expected. You can also define Alignment Overrides as a Pro feature Session Setting.

The key is to configure the interface first, as a building block towards scripting. Script, for example, then needs to run as the same Windows User account in order to use the same (updated) Data Compare default Session Settings.

[Amal Jacob]

Dear Aaron,

Thanks for the tip, I made the names same on both sides.
Now I got the script working for comparing items in two folder but I am unable to set the Keys manually.
I gave different keys in BCsession.xml but its still taking column 1 by default.
How to handle this.
Please help.

My BCsession.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- Produced by Beyond Compare 3 from Scooter Software -->
<BCSessions>
<TSessionFolder>
<Items>
<TSessionFolder>
<Items>
<TDataCompareSession Value="pre1.xlsx">
<LastModified Value="2019-07-12 16:54:27"/>
<Rules>
<Cols>
<Keys Value="4"/>
</Cols>
</Rules>
<Specs>
<Left Value="C:\Autotest\pre\pre1.xlsx"/>
<Right Value="C:\Autotest\post\pre1.xlsx"/>
</Specs>
</TDataCompareSession>
<TDataCompareSession Value="pre2.xlsx">
<LastModified Value="2019-07-12 15:54:27"/>
<Rules>
<Cols>
<Keys Value="3"/>
</Cols>
</Rules>
<Specs>
<Left Value="C:\Autotest\pre\pre2.xlsx"/>
<Right Value="C:\Autotest\post\pre2.xlsx"/>
</Specs>
</TDataCompareSession>
</Items>
</TSessionFolder>
</Items>
</TSessionFolder>
</BCSessions>

My Output



Please Guide.

[Amal Jacob]

Dear Team,
Could you please help me with the above
Kind Regards
Amal

[Aaron]

Hello,

That looks like you've updated a specific session. Please give this a try:

Navigate to your BCSessions.xml and save a Copy (a historical record to compare against in a minute).
Open BC3.
On the first Home screen, in the saved Session list, expand the "Edit session defaults" folder and select the Data Compare session.
Edit the defaults for the Data Compare session, and set the Key columns as needed (Key column 3 and 4, and disable column 1)
Save, then Close BC3, and then compare the current BCSessions.xml to the saved BCSessions.xml to see where default Keys are set.

If each file needs different keys in a specific folder compare, then you'll need to set this up entirely in the interface with a saved Folder Compare. Instead of the script loading %1 and %2, you can:
Open BC3
Load a new folder compare session with folder1 and folder2 loaded.
Double click on a specific file.
Use the Child Session's Session menu -> Session Settings, Columns tab, and set the Key (disable Key col1, set to another col). In the Session Settings dialog, bottom dropdown update from "Use only for this view" to "Use for these files in parent session" (or use for all files if you want for every file for this specific session).
Close the child compare, and double click each other file pair that needs customized columns.
Save the parent Folder Compare session.

You can then script to
load "session name"
which will load the session, folders, and child items as configured. You could theoretically also modify the BCSessions.xml (like above), but this would require knowing both the base folders and fixing any relative child item paths before calling to the BCScript.